Обучение с подкреплением для динамически масштабируемого парного криптотрейдинга

Сводка

В исследовании проверяется, может ли обучение с подкреплением улучшить парный трейдинг криптовалют — подход статистического арбитража, при котором торгуют разницей цен коррелированных активов. Авторы создают торговые среды и обучают агентов выбирать, когда и как торговать парами криптовалют. Для динамической адаптации торговых решений также разрабатываются настройка функции вознаграждения и пространства наблюдений и действий.

В экспериментах используются минутные данные BTC-GBP и BTC-EUR. Указанная годовая прибыль традиционного парного трейдинга составляет 8.33%, тогда как для протестированных агентов обучения с подкреплением она находится в диапазоне от 9.94% до 31.53% в зависимости от алгоритма обучения. Эти результаты указывают на более высокую историческую эффективность в описанных экспериментах, но сами по себе не доказывают прибыльность торговли на реальном счёте. В документе не указаны транзакционные издержки, сравнения с поправкой на риск или детали проверки вне выборки, поэтому результаты следует оценивать в пределах описанных данных и методики.

Ключевые идеи

• Обучение с подкреплением применяется к парному трейдингу коррелированных криптовалют.
• Агенты обучаются выбирать время и объем сделок в созданных торговых средах.
• В подходе используются специально настроенная функция вознаграждения и пространства наблюдений и действий.
• Эксперименты охватывают BTC-GBP и BTC-EUR с минутным интервалом.
• Указанный диапазон годовой прибыли RL превышает результат традиционной стратегии, но в аннотации не прояснены устойчивость на реальном счёте и издержки.

Теги

# Reinforcement Learning Pair Trading: A Dynamic Scaling approach


# Reinforcement Learning Pair Trading: A Dynamic Scaling approach









Cryptocurrency is a cryptography-based digital asset with extremely volatile prices. Around USD 70 billion worth of cryptocurrency is traded daily on exchanges. Trading cryptocurrency is difficult due to the inherent volatility of the crypto market. This study investigates whether Reinforcement Learning (RL) can enhance decision-making in cryptocurrency algorithmic trading compared to traditional methods. In order to address this question, we combined reinforcement learning with a statistical arbitrage trading technique, pair trading, which exploits the price difference between statistically correlated assets. We constructed RL environments and trained RL agents to determine when and how to trade pairs of cryptocurrencies. We developed new reward shaping and observation/action spaces for reinforcement learning. We performed experiments with the developed reinforcement learner on pairs of BTC-GBP and BTC-EUR data separated by 1 min intervals (n=263,520). The traditional non-RL pair trading technique achieved an annualized profit of 8.33%, while the proposed RL-based pair trading technique achieved annualized profits from 9.94% to 31.53%, depending upon the RL learner. Our results show that RL can significantly outperform manual and traditional pair trading techniques when applied to volatile markets such as~cryptocurrencies.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.