MacroHFT: aprendizaje por refuerzo adaptado al contexto para cripto

Artículo arXiv papers · Autor: Chuqiao Zong et al.

Resumen

MacroHFT es un enfoque de aprendizaje por refuerzo para operar con criptomonedas en intervalos de minutos. Aborda dos desafíos señalados en los métodos existentes: los agentes pueden sobreajustarse y no adaptar sus políticas al contexto financiero, mientras que las decisiones de un solo agente pueden sesgarse cuando las condiciones de mercado cambian rápidamente. El método usa indicadores de mercado, como tendencia y volatilidad, para organizar los datos y entrenar varios subagentes especializados, cada uno con un adaptador que ajusta su comportamiento a las condiciones actuales.

Una segunda fase de entrenamiento incorpora un hiperagente que combina las decisiones de los subagentes. Un mecanismo de memoria respalda este proceso de decisión de nivel superior mientras responde a las fluctuaciones del mercado. Se informa que los experimentos en mercados de criptomonedas muestran un rendimiento puntero en tareas con intervalos de minutos. El resumen no especifica los activos, el periodo de evaluación, las referencias de comparación, los costes ni las pruebas de robustez, por lo que el resultado por sí solo no demuestra rentabilidad en trading en vivo ni capacidad de generalización.

Ideas clave

MacroHFT utiliza varios agentes especializados de aprendizaje por refuerzo para operar con criptomonedas.
La tendencia y la volatilidad del mercado orientan la organización de los datos de entrenamiento y las funciones de los agentes.
Los adaptadores condicionales permiten que los subagentes ajusten sus políticas a las condiciones del mercado.
Un hiperagente con memoria combina las decisiones de los subagentes.
Los experimentos comunicados se refieren a tareas con intervalos de minutos y la descripción aporta pocos detalles de evaluación.

Etiquetas

Criptoactivos Trading de alta frecuencia Aprendizaje automático Volatilidad Impulso

Texto completo

# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading


# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading









High-frequency trading (HFT) that executes algorithmic trading in short time scales, has recently occupied the majority of cryptocurrency market. Besides traditional quantitative trading methods, reinforcement learning (RL) has become another appealing approach for HFT due to its terrific ability of handling high-dimensional financial data and solving sophisticated sequential decision-making problems, \emph{e.g.,} hierarchical reinforcement learning (HRL) has shown its promising performance on second-level HFT by training a router to select only one sub-agent from the agent pool to execute the current transaction. However, existing RL methods for HFT still have some defects: 1) standard RL-based trading agents suffer from the overfitting issue, preventing them from making effective policy adjustments based on financial context; 2) due to the rapid changes in market conditions, investment decisions made by an individual agent are usually one-sided and highly biased, which might lead to significant loss in extreme markets. To tackle these problems, we propose a novel Memory Augmented Context-aware Reinforcement learning method On HFT, \emph{a.k.a.} MacroHFT, which consists of two training phases: 1) we first train multiple types of sub-agents with the market data decomposed according to various financial indicators, specifically market trend and volatility, where each agent owns a conditional adapter to adjust its trading policy according to market conditions; 2) then we train a hyper-agent to mix the decisions from these sub-agents and output a consistently profitable meta-policy to handle rapid market fluctuations, equipped with a memory mechanism to enhance the capability of decision-making. Extensive experiments on various cryptocurrency markets demonstrate that MacroHFT can achieve state-of-the-art performance on minute-level trading tasks.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.