Seleção e trading de pares em conjunto com aprendizado por reforço hierárquico

Resumo

Este artigo trata o trading de pares como um problema de decisão integrado, em vez de um processo que primeiro seleciona um par de ativos e depois negocia. Os autores argumentam que separar essas etapas pode descartar informações úteis: a seleção pode ignorar se é possível negociar um par com eficiência, enquanto um agente de trading pode se ajustar demais aos ativos escolhidos sem aprender com o universo mais amplo de ativos.

O método de aprendizado por reforço hierárquico atribui a escolha do par a uma política de alto nível e as ações de trading a uma política de baixo nível. As duas políticas são otimizadas em conjunto, permitindo que as decisões de seleção e execução informem umas às outras. Segundo o artigo, experimentos com dados reais de ações mostram maior eficácia no trading de pares em comparação com métodos existentes de seleção e trading. O documento não apresenta números específicos de desempenho nem limitações experimentais detalhadas; portanto, não estabelece como a abordagem se generaliza para outros mercados, classes de ativos ou custos de trading.

Ideias principais

• A seleção de pares e a execução de operações podem ser aprendidas como partes conectadas de uma mesma tarefa.
• Uma política de alto nível escolhe o par de ativos, e uma política de baixo nível toma decisões de trading.
• O aprendizado conjunto pode incorporar à seleção de pares informações sobre o desempenho das operações.
• O estudo relata comparações com abordagens existentes usando dados reais de ações.
• A descrição fornecida não apresenta números detalhados de desempenho nem evidências além dos experimentos com ações.

Tags

# Select and Trade: Towards Unified Pair Trading with Hierarchical Reinforcement Learning


# Select and Trade: Towards Unified Pair Trading with Hierarchical Reinforcement Learning









Pair trading is one of the most effective statistical arbitrage strategies which seeks a neutral profit by hedging a pair of selected assets. Existing methods generally decompose the task into two separate steps: pair selection and trading. However, the decoupling of two closely related subtasks can block information propagation and lead to limited overall performance. For pair selection, ignoring the trading performance results in the wrong assets being selected with irrelevant price movements, while the agent trained for trading can overfit to the selected assets without any historical information of other assets. To address it, in this paper, we propose a paradigm for automatic pair trading as a unified task rather than a two-step pipeline. We design a hierarchical reinforcement learning framework to jointly learn and optimize two subtasks. A high-level policy would select two assets from all possible combinations and a low-level policy would then perform a series of trading actions. Experimental results on real-world stock data demonstrate the effectiveness of our method on pair trading compared with both existing pair selection and trading methods.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.