Transformers préentraînés pour valoriser les actions et investir selon les facteurs

Résumé

L’article propose un modèle Transformer à direction unique, SERT, pour valoriser les grandes capitalisations US et applique des Transformers préentraînés à la valorisation des actions et à l’investissement factoriel. Il compare ces approches aux Transformers classiques et aux Transformers à encodeur seul sur les périodes précédant la pandémie, pendant celle-ci et sur l’année suivante, en portant une attention particulière aux performances en période de tension sur les marchés. Les auteurs rapportent que SERT obtient le R² hors échantillon le plus élevé lors des fluctuations extrêmes du marché, suivi des Transformers préentraînés.

Une stratégie de suivi de tendance fondée sur les modèles est présentée comme un moyen de couvrir le risque de baisse lors de chocs. Dans le scénario de coûts de transaction statiques de la période pandémique, le ratio de Sortino de SERT serait supérieur de 47% à celui de l’achat-conservation pour un portefeuille pondéré à parts égales, et de 28% pour un portefeuille pondéré par la valeur. L’article constate également qu’un filtre de signal softmax n’améliore pas les performances de la stratégie, que l’ajout de têtes d’attention n’apporte que des gains non significatifs et que l’application préalable d’une normalisation de couche n’est pas utile dans ce cas. Ces résultats sont propres aux périodes et au cadre de l’étude ; le texte fourni ne précise ni les hypothèses relatives aux coûts de transaction ni les détails d’une validation plus large.

Idées clés

• SERT est proposé pour valoriser des actions US à grande capitalisation, aux côtés d’approches fondées sur des Transformers préentraînés.
• Les modèles sont comparés aux Transformers classiques et à ceux à encodeur seul sur trois périodes couvrant la pandémie de COVID-19.
• SERT obtient le R² hors échantillon le plus élevé rapporté lors de fluctuations extrêmes du marché.
• La stratégie de suivi de tendance fondée sur le modèle est présentée comme une couverture contre le risque de baisse lors de chocs.
• Dans le scénario de coûts indiqué pour la période pandémique, le ratio de Sortino de SERT dépasse celui de l’achat-conservation pour les deux méthodes de pondération du portefeuille.
• Le filtre softmax testé, les têtes d’attention supplémentaires et l’ordre de normalisation des couches n’améliorent pas sensiblement les performances de la stratégie.

Étiquettes

# Asset Pricing in Pre-trained Transformer


# Asset Pricing in Pre-trained Transformer









This paper proposes an innovative Transformer model, Single-directional representative from Transformer (SERT), for US large capital stock pricing. It also innovatively applies the pre-trained Transformer models under the stock pricing and factor investment context. They are compared with standard Transformer models and encoder-only Transformer models in three periods covering the entire COVID-19 pandemic to examine the model adaptivity and suitability during the extreme market fluctuations. Namely, pre-COVID-19 period, COVID-19 period and 1-year post-COVID-19. The best proposed SERT model achieves the highest out-of-sample $R^2$, 11.94\% and 11.47\% respectively, when extreme market fluctuation takes place, followed by pre-trained Transformer models (11.13\% and 9.72\%). Their Trend-following-based strategy's performance also proves their excellent capability for hedging downside risks during market shocks. The proposed SERT model achieves a Sortino ratio 47\% higher than the buy-and-hold benchmark in the equal-weighted portfolio and 28\% higher in the value-weighted portfolio in the static transaction cost scenario when the pandemic period is considered. It proves that Transformer models have a strong ability to capture patterns of temporal sparsity in asset pricing factor models, especially with high volatility. I also find the softmax signal filter as the common configuration of Transformer models in alternative contexts, which only eliminates differences between models, but does not improve strategy-wise performance, while increasing attention heads improves the model performance insignificantly and applying the 'layer normalization first' method does not boost the model performance in our case.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.