Aprendizaje profundo por refuerzo para gestionar carteras de criptomonedas

Resumen

Este artículo presenta un marco de aprendizaje por refuerzo sin modelo para reasignar una cartera entre activos financieros. Sus componentes incluyen un conjunto de evaluadores independientes, memoria de ponderaciones anteriores de la cartera, aprendizaje por lotes estocástico en línea y una función de recompensa explícita. El marco se implementa con redes neuronales convolucionales, recurrentes y de memoria a corto y largo plazo.

La evaluación descrita utiliza tres backtests con datos de criptomonedas y periodos de negociación de 30 minutos. Los autores comparan los modelos con otras estrategias de selección de carteras y afirman que sus tres implementaciones ocupan los tres primeros puestos en los experimentos, pese a unas comisiones de 0.25%, con rendimientos de al menos cuatro veces en 50 días. Son resultados históricos de backtest, no pruebas de rendimiento futuro. El fragmento no identifica los activos, las divisiones de datos, las medidas de riesgo ni las pruebas de robustez, por lo que ofrece pocos detalles para valorar el sobreajuste o la viabilidad del trading en vivo.

Ideas clave

• El marco aprende a reasignar carteras sin depender de un modelo explícito de los mercados financieros.
• Combina evaluadores independientes de activos con memoria de ponderaciones anteriores de la cartera.
• El aprendizaje por lotes estocástico en línea y una función de recompensa explícita son elementos centrales del método.
• Los autores prueban las implementaciones CNN, RNN y LSTM en backtests de criptomonedas.
• Las clasificaciones y los rendimientos de backtest descritos no demuestran el rendimiento en mercados en vivo.

Etiquetas

# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem


# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem









Financial portfolio management is the process of constant redistribution of a fund into different financial products. This paper presents a financial-model-free Reinforcement Learning framework to provide a deep machine learning solution to the portfolio management problem. The framework consists of the Ensemble of Identical Independent Evaluators (EIIE) topology, a Portfolio-Vector Memory (PVM), an Online Stochastic Batch Learning (OSBL) scheme, and a fully exploiting and explicit reward function. This framework is realized in three instants in this work with a Convolutional Neural Network (CNN), a basic Recurrent Neural Network (RNN), and a Long Short-Term Memory (LSTM). They are, along with a number of recently reviewed or published portfolio-selection strategies, examined in three back-test experiments with a trading period of 30 minutes in a cryptocurrency market. Cryptocurrencies are electronic and decentralized alternatives to government-issued money, with Bitcoin as the best-known example of a cryptocurrency. All three instances of the framework monopolize the top three positions in all experiments, outdistancing other compared trading algorithms. Although with a high commission rate of 0.25% in the backtests, the framework is able to achieve at least 4-fold returns in 50 days.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.