Deep Q-learning para trading de carteiras multiativos

Resumo

Este estudo formula o trading de carteiras como um processo de decisão de Markov e treina um agente com deep Q-learning para escolher alocações entre vários ativos. Seu espaço de ações é discreto e combinatório: para cada ativo, o agente seleciona uma direção de trading em um tamanho predefinido. Para lidar com ações que violam restrições, o método mapeia uma proposta inviável para a alternativa viável mais próxima. Também descreve um agente e uma arquitetura de rede Q destinados a gerenciar o espaço de ações multiativos e simular ações viáveis em cada estado.

A abordagem é avaliada por meio de backtests em duas carteiras representativas, com resultados relatados como superiores aos de estratégias de referência. O documento não identifica as carteiras, as referências, o período de avaliação ou as premissas de custos de transação; por isso, não é possível avaliar pelo resumo o alcance da comparação nem sua relevância para o live trading.

Ideias principais

• O processo de decisão da carteira é modelado como um processo de decisão de Markov treinado com deep Q-learning.
• O agente seleciona direções discretas e tamanhos de trading predefinidos para cada ativo.
• Uma etapa de mapeamento converte ações propostas inviáveis em ações viáveis próximas.
• Os backtests em duas carteiras são relatados como superiores às estratégias de referência, mas os detalhes da avaliação não são fornecidos.

Tags

# An intelligent financial portfolio trading strategy using deep Q-learning


# An intelligent financial portfolio trading strategy using deep Q-learning









Portfolio traders strive to identify dynamic portfolio allocation schemes so that their total budgets are efficiently allocated through the investment horizon. This study proposes a novel portfolio trading strategy in which an intelligent agent is trained to identify an optimal trading action by using deep Q-learning. We formulate a Markov decision process model for the portfolio trading process, and the model adopts a discrete combinatorial action space, determining the trading direction at prespecified trading size for each asset, to ensure practical applicability. Our novel portfolio trading strategy takes advantage of three features to outperform in real-world trading. First, a mapping function is devised to handle and transform an initially found but infeasible action into a feasible action closest to the originally proposed ideal action. Second, by overcoming the dimensionality problem, this study establishes models of agent and Q-network for deriving a multi-asset trading strategy in the predefined action space. Last, this study introduces a technique that has the advantage of deriving a well-fitted multi-asset trading strategy by designing an agent to simulate all feasible actions in each state. To validate our approach, we conduct backtests for two representative portfolios and demonstrate superior results over the benchmark strategies.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.