DQN und PPO für Reinforcement Learning im Devisenhandel im Vergleich

Zusammenfassung

Diese Studie setzt Deep Reinforcement Learning im Devisenhandel ein und formuliert die Handelsentscheidung als Abfolge von Entscheidungen, statt sich auf direkte Kursprognosen zu stützen. Sie passt eine Sure-Fire-Statistical-Arbitrage-Policy an drei mögliche Aktionen an und wandelt fortlaufende Kursverläufe in Gramian-Angular-Field-Bilder um. Die Autoren vergleichen Deep Q Learning mit Proximal Policy Optimization anhand von Daten zu EUR/USD, GBP/USD und AUD/USD in Vier-Stunden-Intervallen.

Für das Training werden Daten vom 1. August bis zum 30. November 2018 verwendet; der Testzeitraum ist der Dezember 2018. Die Autoren berichten eine günstige Anlageperformance bei Modellen, die komplexes, zufälliges Marktverhalten sowie Zustände abbilden können, die die Handelsumgebung angemessen beschreiben. Die vorliegende Beschreibung enthält keine Renditezahlen, Risikokennzahlen, Annahmen zu Gebühren oder detaillierten Modelleinstellungen. Daher lässt sich die Aussagekraft und Vergleichbarkeit der Ergebnisse hier nicht beurteilen. Die Evidenz besteht aus einem Machbarkeitstest mit drei Währungspaaren über eine kurze historische Aufteilung; sie belegt nicht, dass einer der Algorithmen in anderen Zeiträumen oder unter Live-Ausführungsbedingungen zuverlässig funktioniert.

Kernaussagen

• Der Ansatz behandelt den Devisenhandel als sequenzielles Entscheidungsproblem mithilfe von Reinforcement Learning.
• Eine angepasste Statistical-Arbitrage-Policy definiert drei Handelsaktionen.
• Kursfenster werden für die Modelleingabe als Gramian-Angular-Field-Bilder codiert.
• Deep Q Learning und Proximal Policy Optimization werden anhand von drei Währungspaaren verglichen.
• Die kurze historische Auswertung berichtet eine günstige Performance, lässt jedoch detaillierte Kennzahlen und Annahmen zu Handelskosten aus.

Schlagwörter

# Deep Reinforcement Learning for Foreign Exchange Trading


# Deep Reinforcement Learning for Foreign Exchange Trading









Reinforcement learning can interact with the environment and is suitable for applications in decision control systems. Therefore, we used the reinforcement learning method to establish a foreign exchange transaction, avoiding the long-standing problem of unstable trends in deep learning predictions. In the system design, we optimized the Sure-Fire statistical arbitrage policy, set three different actions, encoded the continuous price over a period of time into a heat-map view of the Gramian Angular Field (GAF) and compared the Deep Q Learning (DQN) and Proximal Policy Optimization (PPO) algorithms. To test feasibility, we analyzed three currency pairs, namely EUR/USD, GBP/USD, and AUD/USD. We trained the data in units of four hours from 1 August 2018 to 30 November 2018 and tested model performance using data between 1 December 2018 and 31 December 2018. The test results of the various models indicated that favorable investment performance was achieved as long as the model was able to handle complex and random processes and the state was able to describe the environment, validating the feasibility of reinforcement learning in the development of trading strategies.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.