Рекуррентное обучение с подкреплением для торговли при скрытых режимах
Сводка
В статье изучается оптимальная торговля, когда сигнал следует процессу Орнштейна — Уленбека с возвратом к среднему, а его параметры меняются в зависимости от скрытых режимов. Рекуррентные нейронные сети объединяются с обучением с подкреплением, чтобы по наблюдениям выводить информацию о скрытом среднем сигнала, скорости возврата к среднему и волатильности, а затем использовать её для управления сделками.
Авторы предлагают три подхода на основе DDPG: один передаёт торговому агенту скрытые состояния рекуррентной сети, а два других — оценённые вероятности режимов или прогноз следующего значения сигнала. Моделирование при всё более сложной динамике режимов и эмпирическое применение к парной торговле акциями дают преимущество подходу на основе вероятностей по совокупному вознаграждению и интерпретируемости. Метод прогнозирования даёт ограниченную дополнительную пользу, а метод скрытых состояний показывает промежуточный результат. Эти результаты указывают на важность представления выведенной информации, но основаны на указанных симуляциях и применении; они не доказывают эффективность на других рынках или в условиях внедрения.
Ключевые идеи
- Торговый сигнал моделируется как процесс с возвратом к среднему, параметры которого меняются между скрытыми режимами.
- Рекуррентная сеть извлекает временную информацию из наблюдений сигнала.
- Три варианта DDPG передают агенту скрытые состояния, вероятности режимов или прогнозы сигнала.
- В представленных симуляциях и применении к парной торговле наилучшие результаты показывает подход на основе вероятностей режимов.
- Способ передачи информации агенту влияет как на сообщаемое вознаграждение, так и на интерпретируемость стратегии.
Теги
Полный текст
# Deep reinforcement learning for optimal trading with partial information # Deep reinforcement learning for optimal trading with partial information Reinforcement Learning (RL) applied to financial problems has been the subject of a lively area of research. The use of RL for optimal trading strategies that exploit latent information in the market is, to the best of our knowledge, not widely tackled. In this paper we study an optimal trading problem, where a trading signal follows an Ornstein-Uhlenbeck process with regime-switching dynamics. We employ a blend of RL and Recurrent Neural Networks (RNN) in order to make the most at extracting underlying information from the trading signal with latent parameters. The latent parameters driving mean reversion, speed, and volatility are filtered from observations of the signal, and trading strategies are derived via RL. To address this problem, we propose three Deep Deterministic Policy Gradient (DDPG)-based algorithms that integrate Gated Recurrent Unit (GRU) networks to capture temporal dependencies in the signal. The first, a one -step approach (hid-DDPG), directly encodes hidden states from the GRU into the RL trader. The second and third are two-step methods: one (prob-DDPG) makes use of posterior regime probability estimates, while the other (reg-DDPG) relies on forecasts of the next signal value. Through extensive simulations with increasingly complex Markovian regime dynamics for the trading signal's parameters, as well as an empirical application to equity pair trading, we find that prob-DDPG achieves superior cumulative rewards and exhibits more interpretable strategies. By contrast, reg-DDPG provides limited benefits, while hid-DDPG offers intermediate performance with less interpretable strategies. Our results show that the quality and structure of the information supplied to the agent are crucial: embedding probabilistic insights into latent regimes substantially improves both profitability and robustness of reinforcement learning-based trading strategies.
Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0
Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.