Apprentissage profond par renforcement pour gérer un portefeuille de cryptomonnaies

Résumé

Cet article présente un cadre d’apprentissage par renforcement sans modèle pour réallouer un portefeuille entre actifs financiers. Il comprend un ensemble d’évaluateurs indépendants, une mémoire des pondérations antérieures du portefeuille, un apprentissage stochastique en ligne par lots et une fonction de récompense explicite. Le cadre est mis en œuvre avec des réseaux neuronaux convolutifs, récurrents et à mémoire à long terme.

L’évaluation présentée utilise trois backtests sur des données de cryptomonnaies, avec des périodes de trading de 30 minutes. Les auteurs comparent les modèles à d’autres stratégies de sélection de portefeuille et indiquent que leurs trois implémentations occupent les trois premières places dans les expériences, malgré des commissions de 0.25%, avec des rendements au moins quadruplés sur 50 jours. Il s’agit de résultats de backtests historiques, qui ne démontrent pas les performances futures. L’extrait ne précise ni les actifs, ni les séparations des données, ni les mesures de risque, ni les tests de robustesse ; les éléments permettant d’évaluer le surapprentissage ou la faisabilité du trading en réel sont donc limités.

Idées clés

• Le cadre apprend à réallouer un portefeuille sans s’appuyer sur un modèle explicite des marchés financiers.
• Il combine des évaluateurs indépendants par actif et la mémoire des pondérations antérieures du portefeuille.
• L’apprentissage stochastique en ligne par lots et une fonction de récompense explicite sont au cœur de la méthode.
• Les auteurs testent les implémentations CNN, RNN et LSTM dans des backtests sur des cryptomonnaies.
• Les classements et rendements rapportés par les backtests ne démontrent pas les performances sur des marchés en temps réel.

Étiquettes

# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem


# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem









Financial portfolio management is the process of constant redistribution of a fund into different financial products. This paper presents a financial-model-free Reinforcement Learning framework to provide a deep machine learning solution to the portfolio management problem. The framework consists of the Ensemble of Identical Independent Evaluators (EIIE) topology, a Portfolio-Vector Memory (PVM), an Online Stochastic Batch Learning (OSBL) scheme, and a fully exploiting and explicit reward function. This framework is realized in three instants in this work with a Convolutional Neural Network (CNN), a basic Recurrent Neural Network (RNN), and a Long Short-Term Memory (LSTM). They are, along with a number of recently reviewed or published portfolio-selection strategies, examined in three back-test experiments with a trading period of 30 minutes in a cryptocurrency market. Cryptocurrencies are electronic and decentralized alternatives to government-issued money, with Bitcoin as the best-known example of a cryptocurrency. All three instances of the framework monopolize the top three positions in all experiments, outdistancing other compared trading algorithms. Although with a high commission rate of 0.25% in the backtests, the framework is able to achieve at least 4-fold returns in 50 days.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.