Risikobewusstes Reinforcement Learning für Pair Trading

Zusammenfassung

Dieses Dokument beschreibt CREDIT, einen Reinforcement-Learning-Ansatz für Pair Trading mit einer bidirektionalen Gated Recurrent Unit und zeitlicher Aufmerksamkeit. Die Architektur soll zeitliche Zusammenhänge in den Kursbewegungen zweier Vermögenswerte erfassen, darunter Muster, die möglicherweise übersehen werden, wenn Marktregime unabhängig voneinander betrachtet werden. Die Methode verwendet außerdem eine Belohnungsfunktion, die sowohl Handelsertrag als auch Risiko berücksichtigt und Trades mit hohen potenziellen Gewinnen und Verlusten unattraktiver machen soll.

Die Autoren stellen die Methode als Antwort auf häufiges Handeln, Transaktionskosten und Risikobereitschaft in früheren Reinforcement-Learning-Ansätzen dar. Sie berichten, dass CREDIT bestehende Reinforcement-Learning-Methoden übertrifft und in Experimenten mit fünf Jahren US-Aktiendaten erhebliche Gewinne erzielt. Der Auszug enthält weder Einzelheiten zu Vergleichsmodellen und Kostenannahmen noch Risikomessungen oder Zahlenwerte. Daher lässt sich Größe und Robustheit des berichteten Vorteils nicht beurteilen. Eine Performance in anderen Märkten oder Zeiträumen wird hier nicht belegt.

Kernaussagen

• CREDIT nutzt rekurrentes Lernen und zeitliche Aufmerksamkeit auf Kursverläufe für Pair Trading mit zwei Vermögenswerten.
• Die Belohnungsfunktion berücksichtigt sowohl Ertrag als auch Handelsrisiko.
• Der Entwurf soll längerfristige Kursmuster erlernen und übermäßiges Handeln reduzieren.
• Experimenten mit fünf Jahren US-Aktiendaten zufolge übertrifft die Methode andere Reinforcement-Learning-Ansätze.
• Der Auszug enthält nicht genügend Einzelheiten, um Robustheit oder reale Handelskosten zu bewerten.

Schlagwörter

# Mastering Pair Trading with Risk-Aware Recurrent Reinforcement Learning


# Mastering Pair Trading with Risk-Aware Recurrent Reinforcement Learning









Although pair trading is the simplest hedging strategy for an investor to eliminate market risk, it is still a great challenge for reinforcement learning (RL) methods to perform pair trading as human expertise. It requires RL methods to make thousands of correct actions that nevertheless have no obvious relations to the overall trading profit, and to reason over infinite states of the time-varying market most of which have never appeared in history. However, existing RL methods ignore the temporal connections between asset price movements and the risk of the performed trading. These lead to frequent tradings with high transaction costs and potential losses, which barely reach the human expertise level of trading. Therefore, we introduce CREDIT, a risk-aware agent capable of learning to exploit long-term trading opportunities in pair trading similar to a human expert. CREDIT is the first to apply bidirectional GRU along with the temporal attention mechanism to fully consider the temporal correlations embedded in the states, which allows CREDIT to capture long-term patterns of the price movements of two assets to earn higher profit. We also design the risk-aware reward inspired by the economic theory, that models both the profit and risk of the tradings during the trading period. It helps our agent to master pair trading with a robust trading preference that avoids risky trading with possible high returns and losses. Experiments show that it outperforms existing reinforcement learning methods in pair trading and achieves a significant profit over five years of U.S. stock data.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.