Exploration par entropie de Tsallis en contrôle avec facteurs latents

Résumé

Ce travail étudie le contrôle optimal lorsque le modèle comporte des facteurs latents et que le décideur choisit une distribution sur les actions plutôt qu’une action unique. Il introduit l’entropie de Tsallis comme récompense pour l’exploration de l’espace des états, en temps discret comme en temps continu. Les auteurs dérivent une distribution optimale des états de forme q-gaussienne et en caractérisent la position à l’aide d’équations avant-arrière propres à chaque cadre.

L’article examine également le lien entre les solutions d’exploration obtenues et le contrôle optimal dynamique classique. Pour une approche indépendante du modèle, il développe une politique optimale inspirée de l’idée générale du soft Q-learning. La méthode pourrait contribuer à élaborer des stratégies d’arbitrage statistique plus robustes, mais ne constitue pas une preuve qu’un système de trading particulier a été testé ou amélioré. La description fournie présente des résultats théoriques et une piste d’application, sans données de marché, performances de trading ni détails de mise en œuvre pratique. La pertinence pour le trading dépend donc de la manière dont le cadre de contrôle est traduit en stratégie et évalué empiriquement.

Idées clés

• Le cadre contrôle une distribution sur les actions dans des modèles comportant des facteurs latents.
• L’entropie de Tsallis récompense l’exploration de l’espace des états en temps discret et continu.
• La distribution optimale des états dérivée est de forme q-gaussienne.
• L’analyse met en relation les solutions intégrant l’exploration et le contrôle optimal dynamique classique.
• Une politique indépendante du modèle est élaborée dans l’esprit du soft Q-learning et peut éclairer la recherche sur l’arbitrage statistique.

Étiquettes

# Exploratory Control with Tsallis Entropy for Latent Factor Models


# Exploratory Control with Tsallis Entropy for Latent Factor Models









We study optimal control in models with latent factors where the agent controls the distribution over actions, rather than actions themselves, in both discrete and continuous time. To encourage exploration of the state space, we reward exploration with Tsallis Entropy and derive the optimal distribution over states - which we prove is $q$-Gaussian distributed with location characterized through the solution of an FBS$Δ$E and FBSDE in discrete and continuous time, respectively. We discuss the relation between the solutions of the optimal exploration problems and the standard dynamic optimal control solution. Finally, we develop the optimal policy in a model-agnostic setting along the lines of soft $Q$-learning. The approach may be applied in, e.g., developing more robust statistical arbitrage trading strategies.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.