Aprendizaje por refuerzo recurrente para trading con regímenes latentes
Resumen
Este artículo estudia el trading óptimo cuando una señal sigue un proceso de Ornstein-Uhlenbeck con reversión a la media, cuyos parámetros cambian según regímenes ocultos. Combina redes neuronales recurrentes con aprendizaje por refuerzo para inferir a partir de observaciones información sobre la media latente, la velocidad de reversión y la volatilidad de la señal, y después utiliza esa información para orientar las operaciones.
Los autores proponen tres enfoques basados en DDPG: uno transmite estados ocultos recurrentes al agente de trading y otros dos proporcionan probabilidades estimadas de régimen o pronósticos del siguiente valor de la señal. Las simulaciones con dinámicas de régimen cada vez más complejas y una aplicación empírica de trading por pares de acciones favorecen el enfoque basado en probabilidades por su recompensa acumulada e interpretabilidad. El método basado en pronósticos aporta un beneficio limitado, y el método de estados ocultos queda entre ambos. Estos resultados sugieren que importa cómo se representa la información inferida, pero la evidencia del documento procede de las simulaciones y la aplicación especificadas; no demuestra el rendimiento en otros mercados ni en condiciones de implementación distintas.
Ideas clave
- La señal de trading se modela con reversión a la media y parámetros que cambian entre regímenes ocultos.
- Una red recurrente extrae información temporal de las observaciones de la señal.
- Tres diseños de DDPG proporcionan al agente estados ocultos, probabilidades de régimen o pronósticos de la señal.
- El enfoque basado en probabilidades de régimen es el que mejor funciona en las simulaciones y la aplicación de trading por pares descritas.
- La información que se proporciona al agente influye tanto en las recompensas descritas como en la interpretabilidad de la estrategia.
Etiquetas
Texto completo
# Deep reinforcement learning for optimal trading with partial information # Deep reinforcement learning for optimal trading with partial information Reinforcement Learning (RL) applied to financial problems has been the subject of a lively area of research. The use of RL for optimal trading strategies that exploit latent information in the market is, to the best of our knowledge, not widely tackled. In this paper we study an optimal trading problem, where a trading signal follows an Ornstein-Uhlenbeck process with regime-switching dynamics. We employ a blend of RL and Recurrent Neural Networks (RNN) in order to make the most at extracting underlying information from the trading signal with latent parameters. The latent parameters driving mean reversion, speed, and volatility are filtered from observations of the signal, and trading strategies are derived via RL. To address this problem, we propose three Deep Deterministic Policy Gradient (DDPG)-based algorithms that integrate Gated Recurrent Unit (GRU) networks to capture temporal dependencies in the signal. The first, a one -step approach (hid-DDPG), directly encodes hidden states from the GRU into the RL trader. The second and third are two-step methods: one (prob-DDPG) makes use of posterior regime probability estimates, while the other (reg-DDPG) relies on forecasts of the next signal value. Through extensive simulations with increasingly complex Markovian regime dynamics for the trading signal's parameters, as well as an empirical application to equity pair trading, we find that prob-DDPG achieves superior cumulative rewards and exhibits more interpretable strategies. By contrast, reg-DDPG provides limited benefits, while hid-DDPG offers intermediate performance with less interpretable strategies. Our results show that the quality and structure of the information supplied to the agent are crucial: embedding probabilistic insights into latent regimes substantially improves both profitability and robustness of reinforcement learning-based trading strategies.
Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0
Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.