Apprentissage par renforcement profond et retour à la moyenne

Résumé

Le document décrit l’application de l’apprentissage par renforcement profond au problème de trading du retour à la moyenne. Il vise à rendre les méthodes récentes d’apprentissage par renforcement plus accessibles aux praticiens qui devraient autrement choisir parmi de nombreuses approches ou construire des agents à partir de bases classiques. La démonstration proposée utilise une bibliothèque d’apprentissage par renforcement initialement développée pour les jeux de stratégie et l’applique à la prise de décision financière.

Le cadre intègre également des propriétés de fonctions motivées par des considérations économiques, dans le but déclaré de produire une solution convergente et performante. Toutefois, le document ne précise ni l’architecture du modèle, ni la conception de la récompense, ni les règles de trading, ni les données, ni le benchmark, ni les résultats numériques. Il expose donc une approche et sa motivation sans fournir assez d’éléments pour évaluer sa rentabilité, sa robustesse ou ses performances par rapport à d’autres méthodes. Dans cet extrait, les affirmations relatives à la convergence et aux performances ne sont étayées par aucun détail expérimental.

Idées clés

• Le travail applique l’apprentissage par renforcement profond au trading de retour à la moyenne.
• Il illustre l’utilisation, dans un problème de trading, d’une bibliothèque initialement développée pour les jeux de stratégie.
• Le cadre intègre à la méthode d’apprentissage des propriétés de fonctions motivées par des considérations économiques.
• Le document revendique une solution convergente et performante, mais ne fournit ici ni détails expérimentaux ni résultats.
• Les informations fournies ne permettent pas d’évaluer la rentabilité ni la robustesse.

Étiquettes

# Deep Reinforcement Learning with Function Properties in Mean Reversion Strategies


# Deep Reinforcement Learning with Function Properties in Mean Reversion Strategies









Over the past decades, researchers have been pushing the limits of Deep Reinforcement Learning (DRL). Although DRL has attracted substantial interest from practitioners, many are blocked by having to search through a plethora of available methodologies that are seemingly alike, while others are still building RL agents from scratch based on classical theories. To address the aforementioned gaps in adopting the latest DRL methods, I am particularly interested in testing out if any of the recent technology developed by the leads in the field can be readily applied to a class of optimal trading problems. Unsurprisingly, many prominent breakthroughs in DRL are investigated and tested on strategic games: from AlphaGo to AlphaStar and at about the same time, OpenAI Five. Thus, in this writing, I want to show precisely how to use a DRL library that is initially built for games in a fundamental trading problem; mean reversion. And by introducing a framework that incorporates economically-motivated function properties, I also demonstrate, through the library, a highly-performant and convergent DRL solution to decision-making financial problems in general.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.