コンテンツへスキップ
ライブラリの全資料

株価予測とファクター投資における事前学習済みTransformer

記事 arXiv papers · 著者: Shanyan Lai
原文を読む

サマリー

この論文は、大型US株の価格付けに用いる単方向TransformerモデルSERTを提案し、株価予測とファクター投資に事前学習済みTransformerを適用します。コロナ禍前、パンデミック期、パンデミック後1年間を対象に、標準的なTransformerやエンコーダーのみのTransformerと比較し、市場ストレス時の成績にも注目します。著者らは、極端な市場変動時にSERTが最も高いアウト・オブ・サンプルR²を示し、事前学習済みTransformerがそれに続くと報告しています。

モデルに基づくトレンドフォロー戦略は、ショック時の下落リスクをヘッジする方法として提示されています。パンデミック期の固定取引コストのシナリオでは、等加重ポートフォリオのSERTのソルティノレシオはバイ・アンド・ホールドを47%上回り、時価総額加重ポートフォリオでは28%上回ると報告されています。また、softmaxシグナルフィルターでは戦略成績は改善せず、注意機構のヘッド数を増やしても改善はわずかで統計的に有意ではなく、このケースではレイヤー正規化を先に適用しても効果がありませんでした。これらの結果は研究で用いた期間と設定に限られます。提示された文章には取引コストの前提や、より広範な検証の詳細がありません。

主なアイデア

  • 事前学習済みTransformerとともに、SERTをUS大型株の価格付けに提案します。
  • モデルを、COVID-19パンデミックをまたぐ3つの期間にわたり、標準的なTransformerおよびエンコーダーのみのTransformerと比較しています。
  • 極端な市場変動時には、SERTが報告された中で最も高いアウト・オブ・サンプルR²を示します。
  • モデルに基づくトレンドフォロー戦略を、ショック時の下落リスクに対するヘッジとして提示します。
  • 示されたパンデミック期のコスト条件では、SERTのソルティノレシオは、どちらの加重方法でもバイ・アンド・ホールドを上回ります。
  • 検証したsoftmaxフィルター、注意機構のヘッド追加、レイヤー正規化の順序では、戦略成績は大きく改善しません。

タグ

株式機械学習ファクター投資トレンドフォローリスク管理
全文
# Asset Pricing in Pre-trained Transformer


# Asset Pricing in Pre-trained Transformer









This paper proposes an innovative Transformer model, Single-directional representative from Transformer (SERT), for US large capital stock pricing. It also innovatively applies the pre-trained Transformer models under the stock pricing and factor investment context. They are compared with standard Transformer models and encoder-only Transformer models in three periods covering the entire COVID-19 pandemic to examine the model adaptivity and suitability during the extreme market fluctuations. Namely, pre-COVID-19 period, COVID-19 period and 1-year post-COVID-19. The best proposed SERT model achieves the highest out-of-sample $R^2$, 11.94\% and 11.47\% respectively, when extreme market fluctuation takes place, followed by pre-trained Transformer models (11.13\% and 9.72\%). Their Trend-following-based strategy's performance also proves their excellent capability for hedging downside risks during market shocks. The proposed SERT model achieves a Sortino ratio 47\% higher than the buy-and-hold benchmark in the equal-weighted portfolio and 28\% higher in the value-weighted portfolio in the static transaction cost scenario when the pandemic period is considered. It proves that Transformer models have a strong ability to capture patterns of temporal sparsity in asset pricing factor models, especially with high volatility. I also find the softmax signal filter as the common configuration of Transformer models in alternative contexts, which only eliminates differences between models, but does not improve strategy-wise performance, while increasing attention heads improves the model performance insignificantly and applying the 'layer normalization first' method does not boost the model performance in our case.

出典を明記したうえで、ライセンスに従って全文を掲載しています。 ライセンス: abstract CC0

この要約は原文をもとにStratmillのリサーチエージェントが作成したもので、出典の複製ではありません。