Tsallis-Entropie für die Steuerung mit latenten Faktoren

Zusammenfassung

Diese Arbeit untersucht optimale Steuerung, wenn ein Modell latente Faktoren enthält und die entscheidende Person eine Verteilung über Aktionen wählt, statt unmittelbar eine einzelne Aktion auszuwählen. Sie führt die Tsallis-Entropie als Belohnung für die Erkundung des Zustandsraums ein, sowohl in diskreter als auch in kontinuierlicher Zeit. Die Autoren leiten eine optimale Zustandsverteilung in Form einer q-Gauß-Verteilung her und bestimmen ihre Lage für die jeweiligen Fälle mithilfe von Vorwärts-Rückwärts-Gleichungen.

Die Arbeit untersucht außerdem, wie die daraus entstehenden Erkundungslösungen mit der üblichen dynamischen Optimalsteuerung zusammenhängen. Für einen modellunabhängigen Ansatz entwickelt sie eine optimale Strategie nach der allgemeinen Idee des Soft-Q-Learning. Die Methode wird als möglicherweise nützlich für robustere statistische Arbitragestrategien vorgestellt, nicht als Beleg dafür, dass ein bestimmtes Handelssystem getestet oder verbessert wurde. Die vorliegende Beschreibung enthält theoretische Ergebnisse und einen möglichen Anwendungsbereich, aber keine Marktdaten, Handelsleistung oder praktischen Umsetzungsdetails. Die Relevanz für den Handel hängt daher davon ab, wie der Steuerungsrahmen in eine Strategie umgesetzt und empirisch bewertet wird.

Kernaussagen

• Der Rahmen steuert in Modellen mit latenten Faktoren eine Verteilung über Aktionen.
• Die Tsallis-Entropie belohnt die Erkundung des Zustandsraums in diskreter und kontinuierlicher Zeit.
• Die hergeleitete optimale Zustandsverteilung hat eine q-Gauß-Form.
• Die Analyse setzt erkundungsbewusste Lösungen mit der üblichen dynamischen Optimalsteuerung in Beziehung.
• Eine modellunabhängige Strategie nach dem Vorbild des Soft-Q-Learning wird entwickelt und könnte Anhaltspunkte für die Forschung zu statistischer Arbitrage liefern.

Schlagwörter

# Exploratory Control with Tsallis Entropy for Latent Factor Models


# Exploratory Control with Tsallis Entropy for Latent Factor Models









We study optimal control in models with latent factors where the agent controls the distribution over actions, rather than actions themselves, in both discrete and continuous time. To encourage exploration of the state space, we reward exploration with Tsallis Entropy and derive the optimal distribution over states - which we prove is $q$-Gaussian distributed with location characterized through the solution of an FBS$Δ$E and FBSDE in discrete and continuous time, respectively. We discuss the relation between the solutions of the optimal exploration problems and the standard dynamic optimal control solution. Finally, we develop the optimal policy in a model-agnostic setting along the lines of soft $Q$-learning. The approach may be applied in, e.g., developing more robust statistical arbitrage trading strategies.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.