Exploração com entropia de Tsallis para controle com fatores latentes

Resumo

Este trabalho estuda o controle ótimo quando um modelo contém fatores latentes e quem toma as decisões escolhe uma distribuição de ações, em vez de selecionar diretamente uma única ação. Introduz a entropia de Tsallis como recompensa pela exploração do espaço de estados, tanto em tempo discreto quanto em tempo contínuo. Os autores derivam uma distribuição ótima de estados com forma q-gaussiana e caracterizam sua localização por meio de equações progressivas e regressivas para cada configuração.

O artigo também examina como as soluções de exploração resultantes se relacionam com o controle ótimo dinâmico convencional. Para uma abordagem independente de modelo, desenvolve uma política ótima seguindo a ideia geral do soft Q-learning. O método é apresentado como potencialmente útil para construir estratégias de arbitragem estatística mais robustas, e não como evidência de que um sistema de trading específico tenha sido testado ou aprimorado. A descrição fornecida apresenta resultados teóricos e uma possível direção de aplicação, mas não traz dados de mercado, desempenho de trading ou detalhes práticos de implementação. Portanto, sua relevância para trading depende de como a estrutura de controle é convertida em estratégia e avaliada empiricamente.

Ideias principais

• A estrutura controla uma distribuição de ações em modelos com fatores latentes.
• A entropia de Tsallis recompensa a exploração do espaço de estados em tempo discreto e contínuo.
• A distribuição ótima de estados derivada tem forma q-gaussiana.
• A análise relaciona soluções que consideram a exploração ao controle ótimo dinâmico convencional.
• Uma política independente de modelo é desenvolvida seguindo a abordagem do soft Q-learning e pode orientar pesquisas sobre arbitragem estatística.

Tags

# Exploratory Control with Tsallis Entropy for Latent Factor Models


# Exploratory Control with Tsallis Entropy for Latent Factor Models









We study optimal control in models with latent factors where the agent controls the distribution over actions, rather than actions themselves, in both discrete and continuous time. To encourage exploration of the state space, we reward exploration with Tsallis Entropy and derive the optimal distribution over states - which we prove is $q$-Gaussian distributed with location characterized through the solution of an FBS$Δ$E and FBSDE in discrete and continuous time, respectively. We discuss the relation between the solutions of the optimal exploration problems and the standard dynamic optimal control solution. Finally, we develop the optimal policy in a model-agnostic setting along the lines of soft $Q$-learning. The approach may be applied in, e.g., developing more robust statistical arbitrage trading strategies.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.