Aprendizado por Reforço Recorrente para Trading com Regimes Latentes
Resumo
Este artigo estuda o trading ótimo quando um sinal segue um processo de Ornstein-Uhlenbeck com reversão à média, cujos parâmetros mudam de acordo com regimes ocultos. Ele combina redes neurais recorrentes com aprendizado por reforço para inferir, a partir de observações, informações sobre a média latente, a velocidade de reversão e a volatilidade do sinal; em seguida, usa essas informações para orientar as operações.
Os autores propõem três abordagens baseadas em DDPG: uma transmite estados ocultos recorrentes ao agente de trading, enquanto as outras duas fornecem probabilidades estimadas dos regimes ou previsões do próximo valor do sinal. Simulações com dinâmicas de regime cada vez mais complexas e uma aplicação empírica de pair trading de ações favorecem a abordagem baseada em probabilidades em recompensa acumulada e interpretabilidade. O método baseado em previsões acrescenta benefício limitado, e o método de estados ocultos fica entre os dois. Esses resultados sugerem que a forma de representar as informações inferidas é relevante, mas as evidências do documento vêm das simulações e da aplicação especificadas; elas não estabelecem o desempenho em outros mercados ou condições de implementação.
Ideias principais
- O sinal de trading é modelado com reversão à média e parâmetros que mudam entre regimes ocultos.
- Uma rede recorrente extrai informações temporais das observações do sinal.
- Três modelos de DDPG fornecem ao agente estados ocultos, probabilidades de regime ou previsões do sinal.
- A abordagem baseada em probabilidades de regime tem o melhor desempenho nas simulações e na aplicação de pair trading relatadas.
- As informações fornecidas ao agente afetam tanto as recompensas relatadas quanto a interpretabilidade da estratégia.
Tags
Texto completo
# Deep reinforcement learning for optimal trading with partial information # Deep reinforcement learning for optimal trading with partial information Reinforcement Learning (RL) applied to financial problems has been the subject of a lively area of research. The use of RL for optimal trading strategies that exploit latent information in the market is, to the best of our knowledge, not widely tackled. In this paper we study an optimal trading problem, where a trading signal follows an Ornstein-Uhlenbeck process with regime-switching dynamics. We employ a blend of RL and Recurrent Neural Networks (RNN) in order to make the most at extracting underlying information from the trading signal with latent parameters. The latent parameters driving mean reversion, speed, and volatility are filtered from observations of the signal, and trading strategies are derived via RL. To address this problem, we propose three Deep Deterministic Policy Gradient (DDPG)-based algorithms that integrate Gated Recurrent Unit (GRU) networks to capture temporal dependencies in the signal. The first, a one -step approach (hid-DDPG), directly encodes hidden states from the GRU into the RL trader. The second and third are two-step methods: one (prob-DDPG) makes use of posterior regime probability estimates, while the other (reg-DDPG) relies on forecasts of the next signal value. Through extensive simulations with increasingly complex Markovian regime dynamics for the trading signal's parameters, as well as an empirical application to equity pair trading, we find that prob-DDPG achieves superior cumulative rewards and exhibits more interpretable strategies. By contrast, reg-DDPG provides limited benefits, while hid-DDPG offers intermediate performance with less interpretable strategies. Our results show that the quality and structure of the information supplied to the agent are crucial: embedding probabilistic insights into latent regimes substantially improves both profitability and robustness of reinforcement learning-based trading strategies.
Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0
Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.