Apprentissage par renforcement récurrent pour trader avec des régimes latents

Résumé

Cet article étudie le trading optimal lorsqu’un signal suit un processus d’Ornstein-Uhlenbeck à retour à la moyenne, dont les paramètres varient selon des régimes cachés. Il combine des réseaux neuronaux récurrents et l’apprentissage par renforcement pour déduire, à partir des observations, des informations sur la moyenne latente du signal, sa vitesse de retour à la moyenne et sa volatilité, puis utilise ces informations pour guider les transactions.

Les auteurs proposent trois approches fondées sur DDPG : l’une transmet les états cachés récurrents à l’agent de trading, tandis que les deux autres lui fournissent des probabilités estimées des régimes ou des prévisions de la valeur suivante du signal. Des simulations avec une dynamique de régime de plus en plus complexe et une application empirique de trading par paires d’actions favorisent l’approche fondée sur les probabilités en matière de récompense cumulée et d’interprétabilité. La méthode fondée sur les prévisions apporte peu, et celle fondée sur les états cachés se situe entre les deux. Ces résultats suggèrent que la représentation des informations déduites compte, mais les éléments présentés proviennent des simulations et de l’application décrites ; ils n’établissent pas les performances sur d’autres marchés ou dans d’autres conditions de déploiement.

Idées clés

• Le signal de trading est modélisé avec un retour à la moyenne et des paramètres qui varient selon des régimes cachés.
• Un réseau récurrent extrait des informations temporelles des observations du signal.
• Trois architectures fondées sur DDPG fournissent à l’agent des états cachés, des probabilités de régime ou des prévisions du signal.
• L’approche fondée sur les probabilités de régime obtient les meilleurs résultats dans les simulations et l’application de trading par paires présentées.
• Les informations fournies à l’agent influent à la fois sur les récompenses rapportées et sur l’interprétabilité de la stratégie.

Étiquettes

# Deep reinforcement learning for optimal trading with partial information


# Deep reinforcement learning for optimal trading with partial information









Reinforcement Learning (RL) applied to financial problems has been the subject of a lively area of research. The use of RL for optimal trading strategies that exploit latent information in the market is, to the best of our knowledge, not widely tackled. In this paper we study an optimal trading problem, where a trading signal follows an Ornstein-Uhlenbeck process with regime-switching dynamics. We employ a blend of RL and Recurrent Neural Networks (RNN) in order to make the most at extracting underlying information from the trading signal with latent parameters. The latent parameters driving mean reversion, speed, and volatility are filtered from observations of the signal, and trading strategies are derived via RL. To address this problem, we propose three Deep Deterministic Policy Gradient (DDPG)-based algorithms that integrate Gated Recurrent Unit (GRU) networks to capture temporal dependencies in the signal. The first, a one -step approach (hid-DDPG), directly encodes hidden states from the GRU into the RL trader. The second and third are two-step methods: one (prob-DDPG) makes use of posterior regime probability estimates, while the other (reg-DDPG) relies on forecasts of the next signal value. Through extensive simulations with increasingly complex Markovian regime dynamics for the trading signal's parameters, as well as an empirical application to equity pair trading, we find that prob-DDPG achieves superior cumulative rewards and exhibits more interpretable strategies. By contrast, reg-DDPG provides limited benefits, while hid-DDPG offers intermediate performance with less interpretable strategies. Our results show that the quality and structure of the information supplied to the agent are crucial: embedding probabilistic insights into latent regimes substantially improves both profitability and robustness of reinforcement learning-based trading strategies.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.