Comparaison de DQN et PPO pour l’apprentissage par renforcement en trading forex

Résumé

Cette étude applique l’apprentissage profond par renforcement au trading de devises et traite le choix d’une opération comme une séquence de décisions, plutôt que de s’appuyer sur des prévisions directes des prix. Elle adapte une politique d’arbitrage statistique Sure-Fire en trois actions possibles et convertit les historiques de prix continus en images Gramian Angular Field. Les auteurs comparent Deep Q Learning et Proximal Policy Optimization à partir de données EUR/USD, GBP/USD et AUD/USD, à intervalles de quatre heures.

L’entraînement utilise des données du 1 août au 30 novembre 2018, et la période de test correspond à décembre 2018. Les auteurs rapportent des performances d’investissement favorables pour les modèles capables de représenter des comportements de marché complexes et aléatoires ainsi que des états décrivant correctement l’environnement de trading. La description fournie ne donne ni chiffres de rendement, ni indicateurs de risque, ni hypothèses sur les frais, ni paramètres détaillés des modèles ; la solidité et la comparabilité des résultats ne peuvent donc pas être évaluées ici. Les éléments présentés sont un test de faisabilité sur trois paires de devises, selon une courte séparation historique ; ils n’établissent pas que l’un ou l’autre algorithme fonctionnera de manière fiable à d’autres périodes ou en conditions d’exécution réelles.

Idées clés

• L’approche traite le trading forex comme un problème de décision séquentielle reposant sur l’apprentissage par renforcement.
• Trois actions de trading sont définies dans une politique d’arbitrage statistique adaptée.
• Les fenêtres de prix sont encodées sous forme d’images Gramian Angular Field pour alimenter le modèle.
• Deep Q Learning et Proximal Policy Optimization sont comparés sur trois paires de devises.
• L’évaluation historique de courte durée rapporte des performances favorables, mais omet les indicateurs détaillés et les hypothèses sur les coûts de trading.

Étiquettes

# Deep Reinforcement Learning for Foreign Exchange Trading


# Deep Reinforcement Learning for Foreign Exchange Trading









Reinforcement learning can interact with the environment and is suitable for applications in decision control systems. Therefore, we used the reinforcement learning method to establish a foreign exchange transaction, avoiding the long-standing problem of unstable trends in deep learning predictions. In the system design, we optimized the Sure-Fire statistical arbitrage policy, set three different actions, encoded the continuous price over a period of time into a heat-map view of the Gramian Angular Field (GAF) and compared the Deep Q Learning (DQN) and Proximal Policy Optimization (PPO) algorithms. To test feasibility, we analyzed three currency pairs, namely EUR/USD, GBP/USD, and AUD/USD. We trained the data in units of four hours from 1 August 2018 to 30 November 2018 and tested model performance using data between 1 December 2018 and 31 December 2018. The test results of the various models indicated that favorable investment performance was achieved as long as the model was able to handle complex and random processes and the state was able to describe the environment, validating the feasibility of reinforcement learning in the development of trading strategies.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.