MacroHFT: Kontextbezogenes Reinforcement Learning für Krypto-Trading
Zusammenfassung
MacroHFT ist ein Reinforcement-Learning-Ansatz für den Handel mit Kryptowährungen auf Minutenbasis. Er behandelt zwei genannte Herausforderungen bestehender Methoden: Agenten können überanpassen und ihre Strategien nicht an den finanziellen Kontext anpassen; zudem können Entscheidungen eines einzelnen Agenten verzerrt sein, wenn sich die Marktbedingungen schnell ändern. Die Methode verwendet Marktindikatoren wie Trend und Volatilität, um Daten zu organisieren und mehrere spezialisierte Unteragenten zu trainieren. Jeder verfügt über einen Adapter, der das Verhalten an die aktuellen Bedingungen anpasst.
In einer zweiten Trainingsphase wird ein Hyper-Agent ergänzt, der die Entscheidungen der Unteragenten kombiniert. Ein Gedächtnismechanismus unterstützt diesen übergeordneten Entscheidungsprozess bei der Reaktion auf Marktschwankungen. Berichten zufolge zeigen Experimente auf Kryptomärkten eine Leistung auf dem neuesten Stand der Technik bei Aufgaben auf Minutenbasis. Die Zusammenfassung nennt weder die Vermögenswerte noch den Evaluierungszeitraum, Vergleichswerte, Kosten oder Robustheitstests. Das Ergebnis belegt für sich genommen daher weder Rentabilität im Live-Handel noch eine Verallgemeinerbarkeit.
Kernaussagen
- MacroHFT verwendet mehrere spezialisierte Reinforcement-Learning-Agenten für den Handel mit Kryptowährungen.
- Markttrend und Volatilität beeinflussen, wie Trainingsdaten und Rollen der Agenten organisiert werden.
- Bedingte Adapter ermöglichen es Unteragenten, ihre Strategien an Marktbedingungen anzupassen.
- Ein mit einem Gedächtnis ausgestatteter Hyper-Agent kombiniert die Entscheidungen der Unteragenten.
- Die berichteten Experimente betreffen Aufgaben auf Minutenbasis; die Beschreibung enthält nur begrenzte Angaben zur Evaluierung.
Schlagwörter
Volltext
# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading
# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading
High-frequency trading (HFT) that executes algorithmic trading in short time scales, has recently occupied the majority of cryptocurrency market. Besides traditional quantitative trading methods, reinforcement learning (RL) has become another appealing approach for HFT due to its terrific ability of handling high-dimensional financial data and solving sophisticated sequential decision-making problems, \emph{e.g.,} hierarchical reinforcement learning (HRL) has shown its promising performance on second-level HFT by training a router to select only one sub-agent from the agent pool to execute the current transaction. However, existing RL methods for HFT still have some defects: 1) standard RL-based trading agents suffer from the overfitting issue, preventing them from making effective policy adjustments based on financial context; 2) due to the rapid changes in market conditions, investment decisions made by an individual agent are usually one-sided and highly biased, which might lead to significant loss in extreme markets. To tackle these problems, we propose a novel Memory Augmented Context-aware Reinforcement learning method On HFT, \emph{a.k.a.} MacroHFT, which consists of two training phases: 1) we first train multiple types of sub-agents with the market data decomposed according to various financial indicators, specifically market trend and volatility, where each agent owns a conditional adapter to adjust its trading policy according to market conditions; 2) then we train a hyper-agent to mix the decisions from these sub-agents and output a consistently profitable meta-policy to handle rapid market fluctuations, equipped with a memory mechanism to enhance the capability of decision-making. Extensive experiments on various cryptocurrency markets demonstrate that MacroHFT can achieve state-of-the-art performance on minute-level trading tasks.Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0
Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.