Entropía de Tsallis para el control con factores latentes

Resumen

Este trabajo estudia el control óptimo cuando un modelo contiene factores latentes y quien toma las decisiones elige una distribución sobre las acciones posibles, en lugar de seleccionar una sola acción directamente. Introduce la entropía de Tsallis como recompensa por explorar el espacio de estados, tanto en entornos de tiempo discreto como continuo. Los autores derivan una distribución óptima de estados con forma q-gaussiana y caracterizan su ubicación mediante ecuaciones hacia delante y hacia atrás para cada entorno.

El artículo también examina cómo se relacionan las soluciones de exploración resultantes con el control óptimo dinámico estándar. Para un enfoque independiente del modelo, desarrolla una política óptima siguiendo la idea general del soft Q-learning. El método se presenta como potencialmente útil para crear estrategias de arbitraje estadístico más robustas, no como evidencia de que se haya probado o mejorado un sistema de trading concreto. La descripción proporcionada presenta resultados teóricos y una posible línea de aplicación, pero no datos de mercado, rendimiento de trading ni detalles prácticos de implementación. Por tanto, su relevancia para el trading depende de cómo se traduzca el marco de control en una estrategia y se evalúe empíricamente.

Ideas clave

• El marco controla una distribución sobre las acciones posibles en modelos con factores latentes.
• La entropía de Tsallis recompensa la exploración del espacio de estados en tiempo discreto y continuo.
• La distribución óptima de estados derivada tiene forma q-gaussiana.
• El análisis relaciona las soluciones que incorporan exploración con el control óptimo dinámico estándar.
• Se desarrolla una política independiente del modelo siguiendo la línea del soft Q-learning, que puede orientar la investigación sobre arbitraje estadístico.

Etiquetas

# Exploratory Control with Tsallis Entropy for Latent Factor Models


# Exploratory Control with Tsallis Entropy for Latent Factor Models









We study optimal control in models with latent factors where the agent controls the distribution over actions, rather than actions themselves, in both discrete and continuous time. To encourage exploration of the state space, we reward exploration with Tsallis Entropy and derive the optimal distribution over states - which we prove is $q$-Gaussian distributed with location characterized through the solution of an FBS$Δ$E and FBSDE in discrete and continuous time, respectively. We discuss the relation between the solutions of the optimal exploration problems and the standard dynamic optimal control solution. Finally, we develop the optimal policy in a model-agnostic setting along the lines of soft $Q$-learning. The approach may be applied in, e.g., developing more robust statistical arbitrage trading strategies.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.