ترنسفورمرهای ازپیش‌آموزش‌دیده برای قیمت‌گذاری سهام و سرمایه‌گذاری عاملی

خلاصه

این مقاله مدل ترنسفورمر تک‌جهته SERT را برای قیمت‌گذاری سهام شرکت‌های بزرگ US پیشنهاد می‌کند و ترنسفورمرهای ازپیش‌آموزش‌دیده را برای قیمت‌گذاری سهام و سرمایه‌گذاری عاملی به کار می‌گیرد. این رویکردها را در دوره‌های پیش از همه‌گیری، همه‌گیری و یک سال پس از آن با ترنسفورمرهای استاندارد و فقط رمزگذار مقایسه می‌کند و بر عملکرد هنگام فشار بازار تمرکز دارد. نویسندگان گزارش می‌کنند که SERT در نوسان‌های شدید بازار بالاترین R² خارج از نمونه را دارد و پس از آن ترنسفورمرهای ازپیش‌آموزش‌دیده قرار می‌گیرند.

استراتژی پیروی از روند مبتنی بر این مدل‌ها به‌عنوان راهی برای پوشش ریسک نزولی هنگام شوک‌ها معرفی می‌شود. در سناریوی هزینه ثابت معامله طی دوره همه‌گیری، گزارش شده است که نسبت سورتینوی SERT برای پرتفوی هم‌وزن 47% بالاتر از خرید و نگهداری و برای پرتفوی ارزش‌وزن 28% بالاتر از آن است. مقاله همچنین نشان می‌دهد فیلتر سیگنال سافت‌مکس عملکرد استراتژی را بهبود نمی‌دهد؛ سرهای توجه بیشتر فقط بهبودهای ناچیزی دارند و در این مورد، اعمال نخستِ نرمال‌سازی لایه‌ای کمکی نمی‌کند. این نتایج به دوره‌ها و تنظیمات مطالعه محدودند؛ متن ارائه‌شده فرض‌های هزینه معامله یا جزئیات اعتبارسنجی گسترده‌تر را بیان نمی‌کند.

ایده‌های کلیدی

• SERT در کنار رویکردهای ترنسفورمر ازپیش‌آموزش‌دیده برای قیمت‌گذاری سهام بزرگ US پیشنهاد شده است.
• مدل‌ها در سه دوره پیرامون همه‌گیری COVID-19 با ترنسفورمرهای استاندارد و فقط رمزگذار مقایسه شده‌اند.
• SERT در نوسان‌های شدید بازار بالاترین R² خارج از نمونه گزارش‌شده را به دست می‌آورد.
• استراتژی پیروی از روند مبتنی بر مدل به‌عنوان پوششی در برابر ریسک نزولی هنگام شوک‌ها معرفی شده است.
• در سناریوی هزینه دوره همه‌گیری، نسبت سورتینوی SERT با هر دو روش وزن‌دهی پرتفوی از خرید و نگهداری بالاتر است.
• فیلتر سافت‌مکس آزموده‌شده، سرهای توجه بیشتر و ترتیب نرمال‌سازی لایه‌ای عملکرد استراتژی را به‌طور معناداری بهبود نمی‌دهند.

برچسب‌ها

# Asset Pricing in Pre-trained Transformer


# Asset Pricing in Pre-trained Transformer









This paper proposes an innovative Transformer model, Single-directional representative from Transformer (SERT), for US large capital stock pricing. It also innovatively applies the pre-trained Transformer models under the stock pricing and factor investment context. They are compared with standard Transformer models and encoder-only Transformer models in three periods covering the entire COVID-19 pandemic to examine the model adaptivity and suitability during the extreme market fluctuations. Namely, pre-COVID-19 period, COVID-19 period and 1-year post-COVID-19. The best proposed SERT model achieves the highest out-of-sample $R^2$, 11.94\% and 11.47\% respectively, when extreme market fluctuation takes place, followed by pre-trained Transformer models (11.13\% and 9.72\%). Their Trend-following-based strategy's performance also proves their excellent capability for hedging downside risks during market shocks. The proposed SERT model achieves a Sortino ratio 47\% higher than the buy-and-hold benchmark in the equal-weighted portfolio and 28\% higher in the value-weighted portfolio in the static transaction cost scenario when the pandemic period is considered. It proves that Transformer models have a strong ability to capture patterns of temporal sparsity in asset pricing factor models, especially with high volatility. I also find the softmax signal filter as the common configuration of Transformer models in alternative contexts, which only eliminates differences between models, but does not improve strategy-wise performance, while increasing attention heads improves the model performance insignificantly and applying the 'layer normalization first' method does not boost the model performance in our case.

با ذکر منبع و مطابق مجوز اثر، به‌طور کامل نمایش داده می‌شود. مجوز: abstract CC0

این خلاصه را عامل پژوهشی Stratmill بر پایه متن اصلی نوشته است؛ نسخه‌ای از اثر منبع نیست.