MacroHFT : apprentissage par renforcement adapté au contexte des cryptomonnaies

Résumé

MacroHFT est une approche d’apprentissage par renforcement pour le trading de cryptomonnaies à l’échelle de la minute. Elle répond à deux difficultés signalées dans les méthodes existantes : les agents peuvent surapprendre et ne pas adapter leurs politiques au contexte financier, tandis que les décisions d’un agent unique peuvent être biaisées lorsque les conditions de marché changent rapidement. La méthode utilise des indicateurs de marché, notamment la tendance et la volatilité, pour organiser les données et entraîner plusieurs sous-agents spécialisés, chacun doté d’un adaptateur qui ajuste son comportement aux conditions actuelles.

Une deuxième phase d’entraînement ajoute un hyper-agent qui combine les décisions des sous-agents. Un mécanisme de mémoire soutient ce processus décisionnel de niveau supérieur lors des fluctuations du marché. Selon les résultats rapportés, des expériences sur différents marchés de cryptomonnaies montrent des performances de pointe pour les tâches à l’échelle de la minute. Le résumé ne précise ni les actifs, ni la période d’évaluation, ni les références de comparaison, ni les coûts, ni les tests de robustesse ; ce résultat ne permet donc pas à lui seul d’établir une rentabilité en trading réel ou une capacité de généralisation.

Idées clés

• MacroHFT utilise plusieurs agents spécialisés en apprentissage par renforcement pour le trading de cryptomonnaies.
• La tendance et la volatilité du marché guident l’organisation des données d’entraînement et des rôles des agents.
• Des adaptateurs conditionnels permettent aux sous-agents d’ajuster leurs politiques aux conditions de marché.
• Un hyper-agent doté d’une mémoire combine les décisions des sous-agents.
• Les expériences rapportées portent sur des tâches à l’échelle de la minute, mais la description fournit peu de détails sur l’évaluation.

Étiquettes

# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading


# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading









High-frequency trading (HFT) that executes algorithmic trading in short time scales, has recently occupied the majority of cryptocurrency market. Besides traditional quantitative trading methods, reinforcement learning (RL) has become another appealing approach for HFT due to its terrific ability of handling high-dimensional financial data and solving sophisticated sequential decision-making problems, \emph{e.g.,} hierarchical reinforcement learning (HRL) has shown its promising performance on second-level HFT by training a router to select only one sub-agent from the agent pool to execute the current transaction. However, existing RL methods for HFT still have some defects: 1) standard RL-based trading agents suffer from the overfitting issue, preventing them from making effective policy adjustments based on financial context; 2) due to the rapid changes in market conditions, investment decisions made by an individual agent are usually one-sided and highly biased, which might lead to significant loss in extreme markets. To tackle these problems, we propose a novel Memory Augmented Context-aware Reinforcement learning method On HFT, \emph{a.k.a.} MacroHFT, which consists of two training phases: 1) we first train multiple types of sub-agents with the market data decomposed according to various financial indicators, specifically market trend and volatility, where each agent owns a conditional adapter to adjust its trading policy according to market conditions; 2) then we train a hyper-agent to mix the decisions from these sub-agents and output a consistently profitable meta-policy to handle rapid market fluctuations, equipped with a memory mechanism to enhance the capability of decision-making. Extensive experiments on various cryptocurrency markets demonstrate that MacroHFT can achieve state-of-the-art performance on minute-level trading tasks.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.