Transformers pré-treinados para precificação de ações e investimento em fatores

Resumo

O artigo propõe um modelo Transformer unidirecional, SERT, para precificar ações US de grande capitalização e aplica Transformers pré-treinados à precificação de ações e ao investimento em fatores. Compara essas abordagens com Transformers padrão e apenas com codificador em períodos anteriores à pandemia, durante a pandemia e no ano seguinte, com atenção ao desempenho sob estresse de mercado. Os autores relatam que SERT apresenta o maior R² fora da amostra durante flutuações extremas do mercado, seguido pelos Transformers pré-treinados.

Uma estratégia de seguimento de tendência baseada nos modelos é apresentada como forma de proteger contra o risco de queda durante choques. No cenário de custos de transação estáticos do período da pandemia, o índice de Sortino de SERT é relatado como 47% acima do compre e mantenha para uma carteira ponderada igualmente e 28% acima para uma carteira ponderada por valor. O artigo também conclui que um filtro de sinal softmax não melhora o desempenho da estratégia, enquanto mais cabeças de atenção geram apenas ganhos insignificantes e aplicar primeiro a normalização de camada não ajuda neste caso. Esses resultados são específicos aos períodos e à configuração do estudo; o texto fornecido não apresenta as premissas de custos de transação nem detalhes de validação mais ampla.

Ideias principais

• SERT é proposto para precificar ações US de grande capitalização, junto com abordagens Transformer pré-treinadas.
• Os modelos são comparados com Transformers padrão e apenas com codificador em três períodos que abrangem a pandemia de COVID-19.
• SERT alcança o maior R² fora da amostra relatado durante flutuações extremas do mercado.
• A estratégia de seguimento de tendência baseada nos modelos é apresentada como proteção contra o risco de queda durante choques.
• No cenário de custos informado para o período da pandemia, o índice de Sortino de SERT supera o de compre e mantenha nos dois métodos de ponderação da carteira.
• O filtro softmax testado, as cabeças de atenção adicionais e a ordem de normalização de camada não melhoram materialmente o desempenho da estratégia.

Tags

# Asset Pricing in Pre-trained Transformer


# Asset Pricing in Pre-trained Transformer









This paper proposes an innovative Transformer model, Single-directional representative from Transformer (SERT), for US large capital stock pricing. It also innovatively applies the pre-trained Transformer models under the stock pricing and factor investment context. They are compared with standard Transformer models and encoder-only Transformer models in three periods covering the entire COVID-19 pandemic to examine the model adaptivity and suitability during the extreme market fluctuations. Namely, pre-COVID-19 period, COVID-19 period and 1-year post-COVID-19. The best proposed SERT model achieves the highest out-of-sample $R^2$, 11.94\% and 11.47\% respectively, when extreme market fluctuation takes place, followed by pre-trained Transformer models (11.13\% and 9.72\%). Their Trend-following-based strategy's performance also proves their excellent capability for hedging downside risks during market shocks. The proposed SERT model achieves a Sortino ratio 47\% higher than the buy-and-hold benchmark in the equal-weighted portfolio and 28\% higher in the value-weighted portfolio in the static transaction cost scenario when the pandemic period is considered. It proves that Transformer models have a strong ability to capture patterns of temporal sparsity in asset pricing factor models, especially with high volatility. I also find the softmax signal filter as the common configuration of Transformer models in alternative contexts, which only eliminates differences between models, but does not improve strategy-wise performance, while increasing attention heads improves the model performance insignificantly and applying the 'layer normalization first' method does not boost the model performance in our case.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.