Aprendizado por reforço exploratório para trading especulativo e de pares

Resumo

Este estudo formula o trading especulativo como um problema sequencial de parada ótima, escolhendo momentos de entrada e saída sob funções de utilidade e processos de preços gerais. Primeiro, relaxa o problema de parada ao representar eventos de entrada e saída como saltos de processos de Cox, cujos controles de intensidade limitada são escolhidos pelo agente.

Na formulação de aprendizado por reforço exploratório, políticas aleatórias atribuem distribuições de probabilidade a essas intensidades, e a entropia diferencial de Shannon regulariza o objetivo. As equações exploratórias de Hamilton-Jacobi-Bellman resultantes produzem políticas ótimas na forma de Gibbs. Os autores estabelecem estimativas de erro e convergência do objetivo de aprendizado para a função de valor do problema original e, em seguida, demonstram um algoritmo em uma aplicação de trading de pares. A descrição fornecida não apresenta dados nem resultados de desempenho para essa aplicação; a convergência mencionada diz respeito ao objetivo modelado, não a um resultado demonstrado de trading ao vivo.

Ideias principais

• O trading especulativo é modelado como um problema de parada ótima para escolher os momentos de entrada e saída.
• Uma formulação relaxada representa eventos de parada com saltos de processos de Cox controlados por intensidades limitadas.
• Políticas de intensidade aleatórias são regularizadas pela entropia diferencial de Shannon.
• A estrutura deriva equações HJB exploratórias e políticas ótimas na forma de Gibbs.
• O trabalho estabelece resultados de erro e convergência e demonstra um algoritmo de trading de pares.

Tags

# Reinforcement Learning for Speculative Trading under Exploratory Framework


# Reinforcement Learning for Speculative Trading under Exploratory Framework









We study a speculative trading problem within the exploratory reinforcement learning (RL) framework of Wang et al. [2020]. The problem is formulated as a sequential optimal stopping problem over entry and exit times under general utility function and price process. We first consider a relaxed version of the problem in which the stopping times are modeled by the jump times of Cox processes driven by bounded, non-randomized intensity controls. Under the exploratory formulation, the agent's randomized control is characterized via the probability measure over the jump intensities, and their objective function is regularized by Shannon's differential entropy. This yields a system of the exploratory HJB equations and Gibbs distributions in closed-form as the optimal policy. Error estimates and convergence of the RL objective to the value function of the original problem are established. Finally, an RL algorithm is designed, and its implementation is showcased in a pairs-trading application.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.