Rekurrentes Reinforcement Learning für Trading mit latenten Regimen

Zusammenfassung

Diese Arbeit untersucht optimalen Handel, wenn ein Signal einem mittelwertrückkehrenden Ornstein-Uhlenbeck-Prozess folgt, dessen Parameter sich je nach verborgenem Regime ändern. Sie kombiniert rekurrente neuronale Netze mit Reinforcement Learning, um aus Beobachtungen Informationen über den latenten Mittelwert, die Rückkehrgeschwindigkeit und die Volatilität des Signals abzuleiten und anschließend Handelsentscheidungen damit zu steuern.

Die Autoren schlagen drei Ansätze vor, die auf DDPG basieren: Einer übergibt rekurrente verborgene Zustände an den Handelsagenten, während zwei weitere geschätzte Regimewahrscheinlichkeiten oder Prognosen des nächsten Signalwerts liefern. Simulationen mit zunehmend komplexer Regimedynamik und eine empirische Anwendung auf den Aktienhandel mit Pairs-Trading sprechen hinsichtlich kumulativer Belohnung und Interpretierbarkeit für den Ansatz auf Basis von Wahrscheinlichkeiten. Die prognosebasierte Methode bringt nur begrenzten Zusatznutzen; die Methode mit verborgenen Zuständen schneidet zwischen den beiden anderen ab. Diese Ergebnisse legen nahe, dass die Darstellung abgeleiteter Informationen eine Rolle spielt. Die Belege stammen jedoch aus den beschriebenen Simulationen und der Anwendung und belegen keine Performance in anderen Märkten oder Einsatzbedingungen.

Kernaussagen

• Das Handelssignal wird als mittelwertrückkehrend modelliert; seine Parameter wechseln zwischen verborgenen Regimen.
• Ein rekurrentes Netzwerk gewinnt zeitliche Informationen aus Beobachtungen des Signals.
• Drei Ansätze mit DDPG liefern dem Agenten verborgene Zustände, Regimewahrscheinlichkeiten oder Signalprognosen.
• Der Ansatz mit Regimewahrscheinlichkeiten schneidet in den berichteten Simulationen und der Anwendung des Pairs-Trading am besten ab.
• Die dem Agenten bereitgestellten Informationen wirken sich auf die berichteten Belohnungen und die Interpretierbarkeit der Strategie aus.

Schlagwörter

# Deep reinforcement learning for optimal trading with partial information


# Deep reinforcement learning for optimal trading with partial information









Reinforcement Learning (RL) applied to financial problems has been the subject of a lively area of research. The use of RL for optimal trading strategies that exploit latent information in the market is, to the best of our knowledge, not widely tackled. In this paper we study an optimal trading problem, where a trading signal follows an Ornstein-Uhlenbeck process with regime-switching dynamics. We employ a blend of RL and Recurrent Neural Networks (RNN) in order to make the most at extracting underlying information from the trading signal with latent parameters. The latent parameters driving mean reversion, speed, and volatility are filtered from observations of the signal, and trading strategies are derived via RL. To address this problem, we propose three Deep Deterministic Policy Gradient (DDPG)-based algorithms that integrate Gated Recurrent Unit (GRU) networks to capture temporal dependencies in the signal. The first, a one -step approach (hid-DDPG), directly encodes hidden states from the GRU into the RL trader. The second and third are two-step methods: one (prob-DDPG) makes use of posterior regime probability estimates, while the other (reg-DDPG) relies on forecasts of the next signal value. Through extensive simulations with increasingly complex Markovian regime dynamics for the trading signal's parameters, as well as an empirical application to equity pair trading, we find that prob-DDPG achieves superior cumulative rewards and exhibits more interpretable strategies. By contrast, reg-DDPG provides limited benefits, while hid-DDPG offers intermediate performance with less interpretable strategies. Our results show that the quality and structure of the information supplied to the agent are crucial: embedding probabilistic insights into latent regimes substantially improves both profitability and robustness of reinforcement learning-based trading strategies.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.