MacroHFT: aprendizado por reforço com contexto para trading de cripto
Resumo
MacroHFT é uma abordagem de aprendizado por reforço para trading de criptomoedas em intervalos de minutos. Ela aborda dois desafios apontados nos métodos existentes: agentes podem sofrer sobreajuste e não adaptar suas políticas ao contexto financeiro, enquanto as decisões de um único agente podem ser enviesadas quando as condições de mercado mudam rapidamente. O método usa indicadores de mercado, incluindo tendência e volatilidade, para organizar dados e treinar vários subagentes especializados, cada um com um adaptador que ajusta seu comportamento às condições atuais.
Uma segunda fase de treinamento acrescenta um hiperagente que combina as decisões dos subagentes. Um mecanismo de memória apoia esse processo decisório de nível superior enquanto responde às flutuações do mercado. Segundo o relato, experimentos em mercados de criptomoedas mostram desempenho de ponta em tarefas com frequência de minutos. O resumo não especifica os ativos, o período de avaliação, as referências comparativas, os custos ou os testes de robustez; portanto, o resultado, por si só, não estabelece rentabilidade no trading ao vivo nem capacidade de generalização.
Ideias principais
- MacroHFT usa vários agentes especializados de aprendizado por reforço para trading de criptomoedas.
- Tendência e volatilidade do mercado orientam a organização dos dados de treinamento e das funções dos agentes.
- Adaptadores condicionais permitem que subagentes ajustem suas políticas às condições de mercado.
- Um hiperagente com memória combina as decisões dos subagentes.
- Os experimentos relatados tratam de tarefas com frequência de minutos, mas a descrição fornece poucos detalhes da avaliação.
Tags
Texto completo
# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading
# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading
High-frequency trading (HFT) that executes algorithmic trading in short time scales, has recently occupied the majority of cryptocurrency market. Besides traditional quantitative trading methods, reinforcement learning (RL) has become another appealing approach for HFT due to its terrific ability of handling high-dimensional financial data and solving sophisticated sequential decision-making problems, \emph{e.g.,} hierarchical reinforcement learning (HRL) has shown its promising performance on second-level HFT by training a router to select only one sub-agent from the agent pool to execute the current transaction. However, existing RL methods for HFT still have some defects: 1) standard RL-based trading agents suffer from the overfitting issue, preventing them from making effective policy adjustments based on financial context; 2) due to the rapid changes in market conditions, investment decisions made by an individual agent are usually one-sided and highly biased, which might lead to significant loss in extreme markets. To tackle these problems, we propose a novel Memory Augmented Context-aware Reinforcement learning method On HFT, \emph{a.k.a.} MacroHFT, which consists of two training phases: 1) we first train multiple types of sub-agents with the market data decomposed according to various financial indicators, specifically market trend and volatility, where each agent owns a conditional adapter to adjust its trading policy according to market conditions; 2) then we train a hyper-agent to mix the decisions from these sub-agents and output a consistently profitable meta-policy to handle rapid market fluctuations, equipped with a memory mechanism to enhance the capability of decision-making. Extensive experiments on various cryptocurrency markets demonstrate that MacroHFT can achieve state-of-the-art performance on minute-level trading tasks.Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0
Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.