Aprendizado por reforço profundo para carteiras de criptomoedas

Resumo

Este artigo apresenta uma estrutura de aprendizado por reforço sem modelo para realocar uma carteira entre ativos financeiros. Seus componentes incluem um conjunto de avaliadores independentes, memória dos pesos anteriores da carteira, aprendizado estocástico em lotes on-line e uma função de recompensa explícita. A estrutura é implementada com redes neurais convolucionais, recorrentes e de memória de longo e curto prazo (LSTM).

A avaliação relatada usa três backtests com dados de criptomoedas e períodos de negociação de 30 minutos. Os autores comparam os modelos com outras estratégias de seleção de carteira e relatam que suas três implementações ocupam as três primeiras posições nos experimentos, apesar de comissões de 0.25%, com retornos de pelo menos quatro vezes o valor de referência ao longo de 50 dias. Esses são resultados históricos de backtest, não evidências de desempenho futuro. O trecho não identifica os ativos, as divisões dos dados, as medidas de risco nem as verificações de robustez, oferecendo poucos detalhes para avaliar o sobreajuste ou a viabilidade do trading ao vivo.

Ideias principais

• A estrutura aprende realocações de carteira sem depender de um modelo explícito do mercado financeiro.
• Ela combina avaliadores independentes de ativos com a memória de pesos anteriores da carteira.
• Aprendizado estocástico em lotes on-line e uma função de recompensa explícita são partes centrais do método.
• Os autores testam CNN, RNN e LSTM implementações em backtests de criptomoedas.
• As classificações e os retornos relatados no backtest não comprovam desempenho em mercados ao vivo.

Tags

# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem


# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem









Financial portfolio management is the process of constant redistribution of a fund into different financial products. This paper presents a financial-model-free Reinforcement Learning framework to provide a deep machine learning solution to the portfolio management problem. The framework consists of the Ensemble of Identical Independent Evaluators (EIIE) topology, a Portfolio-Vector Memory (PVM), an Online Stochastic Batch Learning (OSBL) scheme, and a fully exploiting and explicit reward function. This framework is realized in three instants in this work with a Convolutional Neural Network (CNN), a basic Recurrent Neural Network (RNN), and a Long Short-Term Memory (LSTM). They are, along with a number of recently reviewed or published portfolio-selection strategies, examined in three back-test experiments with a trading period of 30 minutes in a cryptocurrency market. Cryptocurrencies are electronic and decentralized alternatives to government-issued money, with Bitcoin as the best-known example of a cryptocurrency. All three instances of the framework monopolize the top three positions in all experiments, outdistancing other compared trading algorithms. Although with a high commission rate of 0.25% in the backtests, the framework is able to achieve at least 4-fold returns in 50 days.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.