Предобученные трансформеры для оценки акций и инвестиций в факторы

Сводка

В статье предложена однонаправленная модель Transformer, SERT, для оценки акций крупных компаний US; предобученные трансформеры применяются для оценки акций и инвестиций в факторы. Эти подходы сравниваются со стандартными трансформерами и моделями только с энкодером для периодов до пандемии, во время неё и в течение года после, с особым вниманием к результатам в условиях рыночного стресса. Авторы сообщают, что SERT показала наибольший вневыборочный R² во время резких колебаний рынка, за ней следуют предобученные трансформеры.

Стратегия следования за трендом на основе этих моделей представлена как способ хеджирования риска снижения во время шоков. В сценарии со статичными транзакционными издержками за период пандемии, по сообщению авторов, коэффициент Сортино модели SERT превышает показатель стратегии «купить и держать» на 47% для равновзвешенного портфеля и на 28% для портфеля с весами по стоимости. В статье также установлено, что фильтр сигналов softmax не улучшает результаты стратегии, увеличение числа голов внимания даёт лишь статистически незначимый прирост, а предварительное применение нормализации слоёв в данном случае не помогает. Эти результаты относятся к периодам и условиям исследования; в представленном тексте не указаны допущения о транзакционных издержках или подробности более широкой проверки.

Ключевые идеи

• Модель SERT предложена для оценки акций крупных компаний US наряду с подходами на основе предобученных трансформеров.
• Модели сравниваются со стандартными трансформерами и моделями только с энкодером в течение трёх периодов, охватывающих пандемию COVID-19.
• Во время резких колебаний рынка модель SERT показала наибольший вневыборочный R².
• Стратегия следования за трендом на основе модели представлена как способ хеджирования риска снижения во время шоков.
• В указанном сценарии издержек за период пандемии коэффициент Сортино модели SERT превышает показатель стратегии «купить и держать» при обоих способах взвешивания портфеля.
• Проверенные фильтр softmax, дополнительные головы внимания и порядок нормализации слоёв существенно не улучшают результаты стратегии.

Теги

# Asset Pricing in Pre-trained Transformer


# Asset Pricing in Pre-trained Transformer









This paper proposes an innovative Transformer model, Single-directional representative from Transformer (SERT), for US large capital stock pricing. It also innovatively applies the pre-trained Transformer models under the stock pricing and factor investment context. They are compared with standard Transformer models and encoder-only Transformer models in three periods covering the entire COVID-19 pandemic to examine the model adaptivity and suitability during the extreme market fluctuations. Namely, pre-COVID-19 period, COVID-19 period and 1-year post-COVID-19. The best proposed SERT model achieves the highest out-of-sample $R^2$, 11.94\% and 11.47\% respectively, when extreme market fluctuation takes place, followed by pre-trained Transformer models (11.13\% and 9.72\%). Their Trend-following-based strategy's performance also proves their excellent capability for hedging downside risks during market shocks. The proposed SERT model achieves a Sortino ratio 47\% higher than the buy-and-hold benchmark in the equal-weighted portfolio and 28\% higher in the value-weighted portfolio in the static transaction cost scenario when the pandemic period is considered. It proves that Transformer models have a strong ability to capture patterns of temporal sparsity in asset pricing factor models, especially with high volatility. I also find the softmax signal filter as the common configuration of Transformer models in alternative contexts, which only eliminates differences between models, but does not improve strategy-wise performance, while increasing attention heads improves the model performance insignificantly and applying the 'layer normalization first' method does not boost the model performance in our case.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.