Vortrainierte Transformer für Aktienbewertung und Faktoranlagen

Zusammenfassung

Die Arbeit schlägt das unidirektionale Transformer-Modell SERT zur Bewertung von Large-Cap-Aktien aus den US vor und setzt vortrainierte Transformer für Aktienbewertung und Faktoranlagen ein. Sie vergleicht diese Ansätze über die Zeiträume vor der Pandemie, während der Pandemie und im Jahr danach mit Standard- und Encoder-only-Transformern, wobei die Performance in Marktstressphasen besonders betrachtet wird. Die Autoren berichten, dass SERT bei extremen Marktschwankungen das höchste Out-of-Sample-R² erzielt, gefolgt von vortrainierten Transformern.

Eine auf den Modellen basierende Trendfolgestrategie wird als Möglichkeit vorgestellt, das Abwärtsrisiko während Schocks abzusichern. Im Szenario mit statischen Transaktionskosten für den Pandemiezeitraum liegt die Sortino-Ratio von SERT laut Bericht bei einem gleichgewichteten Portfolio um 47% und bei einem nach Marktwert gewichteten Portfolio um 28% über Buy-and-Hold. Die Arbeit stellt außerdem fest, dass ein Softmax-Signalfilter die Strategie-Performance nicht verbessert, zusätzliche Attention-Heads nur unbedeutende Zugewinne bringen und eine vorangestellte Layer-Normalisierung in diesem Fall nicht hilft. Diese Ergebnisse gelten für die untersuchten Zeiträume und das Studiensetup; der bereitgestellte Text nennt weder Annahmen zu Transaktionskosten noch umfassendere Validierungsdetails.

Kernaussagen

• SERT wird neben vortrainierten Transformer-Ansätzen für die Bewertung von Large-Cap-Aktien aus den US vorgeschlagen.
• Die Modelle werden über drei Zeiträume rund um die COVID-19 hinweg mit Standard- und Encoder-only-Transformern verglichen.
• SERT erzielt bei extremen Marktschwankungen das höchste berichtete Out-of-Sample-R².
• Die modellbasierte Trendfolgestrategie wird als Absicherung gegen Abwärtsrisiken während Schocks vorgestellt.
• Im angegebenen Kostenszenario für den Pandemiezeitraum liegt die Sortino-Ratio von SERT bei beiden Portfolio-Gewichtungsmethoden über Buy-and-Hold.
• Der getestete Softmax-Filter, zusätzliche Attention-Heads und die Reihenfolge der Layer-Normalisierung verbessern die Strategie-Performance nicht wesentlich.

Schlagwörter

# Asset Pricing in Pre-trained Transformer


# Asset Pricing in Pre-trained Transformer









This paper proposes an innovative Transformer model, Single-directional representative from Transformer (SERT), for US large capital stock pricing. It also innovatively applies the pre-trained Transformer models under the stock pricing and factor investment context. They are compared with standard Transformer models and encoder-only Transformer models in three periods covering the entire COVID-19 pandemic to examine the model adaptivity and suitability during the extreme market fluctuations. Namely, pre-COVID-19 period, COVID-19 period and 1-year post-COVID-19. The best proposed SERT model achieves the highest out-of-sample $R^2$, 11.94\% and 11.47\% respectively, when extreme market fluctuation takes place, followed by pre-trained Transformer models (11.13\% and 9.72\%). Their Trend-following-based strategy's performance also proves their excellent capability for hedging downside risks during market shocks. The proposed SERT model achieves a Sortino ratio 47\% higher than the buy-and-hold benchmark in the equal-weighted portfolio and 28\% higher in the value-weighted portfolio in the static transaction cost scenario when the pandemic period is considered. It proves that Transformer models have a strong ability to capture patterns of temporal sparsity in asset pricing factor models, especially with high volatility. I also find the softmax signal filter as the common configuration of Transformer models in alternative contexts, which only eliminates differences between models, but does not improve strategy-wise performance, while increasing attention heads improves the model performance insignificantly and applying the 'layer normalization first' method does not boost the model performance in our case.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.