Transformer tiền huấn luyện để định giá cổ phiếu và đầu tư nhân tố

Tóm tắt

Bài nghiên cứu đề xuất mô hình Transformer một chiều, SERT, để định giá cổ phiếu vốn hóa lớn của US, đồng thời áp dụng Transformer tiền huấn luyện vào định giá cổ phiếu và đầu tư nhân tố. Nghiên cứu so sánh các cách tiếp cận này với Transformer tiêu chuẩn và Transformer chỉ gồm bộ mã hóa qua các giai đoạn trước đại dịch, trong đại dịch và một năm sau đại dịch, chú trọng hiệu suất khi thị trường căng thẳng. Các tác giả cho biết SERT có R² ngoài mẫu cao nhất trong những biến động thị trường cực đoan, tiếp theo là Transformer tiền huấn luyện.

Chiến lược theo xu hướng dựa trên các mô hình được trình bày như một cách phòng hộ rủi ro giảm giá khi có cú sốc. Trong kịch bản chi phí giao dịch tĩnh ở giai đoạn đại dịch, tỷ lệ Sortino của SERT được báo cáo cao hơn chiến lược mua và nắm giữ 47% đối với danh mục trọng số bằng nhau và cao hơn 28% đối với danh mục trọng số theo giá trị. Nghiên cứu cũng nhận thấy bộ lọc tín hiệu softmax không cải thiện hiệu suất chiến lược; thêm đầu chú ý chỉ đem lại mức tăng không đáng kể, còn áp dụng chuẩn hóa lớp trước không giúp ích trong trường hợp này. Các kết quả này chỉ áp dụng cho giai đoạn và thiết lập của nghiên cứu; văn bản được cung cấp không nêu giả định về chi phí giao dịch hay thông tin kiểm chứng rộng hơn.

Ý chính

• SERT được đề xuất để định giá cổ phiếu vốn hóa lớn US, bên cạnh các cách tiếp cận Transformer tiền huấn luyện.
• Các mô hình được so sánh với Transformer tiêu chuẩn và Transformer chỉ gồm bộ mã hóa qua ba giai đoạn bao trùm COVID-19.
• SERT đạt R² ngoài mẫu cao nhất được báo cáo trong những biến động thị trường cực đoan.
• Chiến lược theo xu hướng dựa trên mô hình được trình bày như một cách phòng hộ rủi ro giảm giá khi có cú sốc.
• Trong kịch bản chi phí ở giai đoạn đại dịch được nêu, tỷ lệ Sortino của SERT cao hơn chiến lược mua và nắm giữ với cả hai cách tính trọng số danh mục.
• Bộ lọc softmax được thử nghiệm, các đầu chú ý bổ sung và thứ tự chuẩn hóa lớp không cải thiện đáng kể hiệu suất chiến lược.

Thẻ

# Asset Pricing in Pre-trained Transformer


# Asset Pricing in Pre-trained Transformer









This paper proposes an innovative Transformer model, Single-directional representative from Transformer (SERT), for US large capital stock pricing. It also innovatively applies the pre-trained Transformer models under the stock pricing and factor investment context. They are compared with standard Transformer models and encoder-only Transformer models in three periods covering the entire COVID-19 pandemic to examine the model adaptivity and suitability during the extreme market fluctuations. Namely, pre-COVID-19 period, COVID-19 period and 1-year post-COVID-19. The best proposed SERT model achieves the highest out-of-sample $R^2$, 11.94\% and 11.47\% respectively, when extreme market fluctuation takes place, followed by pre-trained Transformer models (11.13\% and 9.72\%). Their Trend-following-based strategy's performance also proves their excellent capability for hedging downside risks during market shocks. The proposed SERT model achieves a Sortino ratio 47\% higher than the buy-and-hold benchmark in the equal-weighted portfolio and 28\% higher in the value-weighted portfolio in the static transaction cost scenario when the pandemic period is considered. It proves that Transformer models have a strong ability to capture patterns of temporal sparsity in asset pricing factor models, especially with high volatility. I also find the softmax signal filter as the common configuration of Transformer models in alternative contexts, which only eliminates differences between models, but does not improve strategy-wise performance, while increasing attention heads improves the model performance insignificantly and applying the 'layer normalization first' method does not boost the model performance in our case.

Hiển thị toàn văn kèm ghi nguồn theo giấy phép của tài liệu gốc. Giấy phép: abstract CC0

Bản tóm tắt này do tác nhân nghiên cứu của Stratmill biên soạn từ tài liệu gốc; đây không phải bản sao của tài liệu.