MacroHFT: контекстное обучение с подкреплением для торговли криптовалютами
Сводка
MacroHFT — это подход на основе обучения с подкреплением для торговли криптовалютами с минутной частотой. Он направлен на решение двух заявленных проблем существующих методов: агенты могут переобучаться и не адаптировать свои политики к финансовому контексту, а решения одного агента могут быть смещены при быстрой смене рыночных условий. Метод использует рыночные индикаторы, включая тренд и волатильность, чтобы организовать данные и обучить несколько специализированных субагентов; каждый снабжён адаптером, корректирующим поведение с учётом текущих условий.
На втором этапе обучения добавляется гиперагент, объединяющий решения субагентов. Механизм памяти поддерживает этот процесс принятия решений более высокого уровня при реакции на колебания рынка. Согласно сообщению авторов, эксперименты на рынках криптовалют показали результаты на уровне лучших современных методов в задачах с минутной частотой. В кратком описании не указаны активы, период оценки, эталонные модели, издержки или проверки устойчивости, поэтому этих результатов недостаточно, чтобы подтвердить прибыльность реальной торговли или применимость к другим условиям.
Ключевые идеи
- MacroHFT использует несколько специализированных агентов с обучением с подкреплением для торговли криптовалютами.
- Рыночные тренды и волатильность определяют организацию обучающих данных и роли агентов.
- Условные адаптеры позволяют субагентам менять политики с учётом рыночных условий.
- Гиперагент с механизмом памяти объединяет решения субагентов.
- Описанные эксперименты касаются задач с минутной частотой; сведения об оценке ограничены.
Теги
Полный текст
# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading
# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading
High-frequency trading (HFT) that executes algorithmic trading in short time scales, has recently occupied the majority of cryptocurrency market. Besides traditional quantitative trading methods, reinforcement learning (RL) has become another appealing approach for HFT due to its terrific ability of handling high-dimensional financial data and solving sophisticated sequential decision-making problems, \emph{e.g.,} hierarchical reinforcement learning (HRL) has shown its promising performance on second-level HFT by training a router to select only one sub-agent from the agent pool to execute the current transaction. However, existing RL methods for HFT still have some defects: 1) standard RL-based trading agents suffer from the overfitting issue, preventing them from making effective policy adjustments based on financial context; 2) due to the rapid changes in market conditions, investment decisions made by an individual agent are usually one-sided and highly biased, which might lead to significant loss in extreme markets. To tackle these problems, we propose a novel Memory Augmented Context-aware Reinforcement learning method On HFT, \emph{a.k.a.} MacroHFT, which consists of two training phases: 1) we first train multiple types of sub-agents with the market data decomposed according to various financial indicators, specifically market trend and volatility, where each agent owns a conditional adapter to adjust its trading policy according to market conditions; 2) then we train a hyper-agent to mix the decisions from these sub-agents and output a consistently profitable meta-policy to handle rapid market fluctuations, equipped with a memory mechanism to enhance the capability of decision-making. Extensive experiments on various cryptocurrency markets demonstrate that MacroHFT can achieve state-of-the-art performance on minute-level trading tasks.Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0
Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.