Исследование через энтропию Цаллиса в управлении со скрытыми факторами

Сводка

В работе изучается оптимальное управление в моделях со скрытыми факторами, где лицо, принимающее решение, выбирает распределение над действиями, а не одно действие напрямую. Энтропия Цаллиса вводится как вознаграждение за исследование пространства состояний как в дискретном, так и в непрерывном времени. Авторы выводят оптимальное распределение состояний в форме q-гауссовского распределения и определяют его положение с помощью прямых и обратных уравнений для соответствующих режимов.

В статье также рассматривается связь полученных решений для исследования пространства состояний со стандартным динамическим оптимальным управлением. Для подхода, не зависящего от конкретной модели, разрабатывается оптимальная политика, следующая общей идее мягкого Q-обучения. Метод представлен как потенциально полезный для построения более устойчивых стратегий статистического арбитража, а не как доказательство того, что конкретная торговая система была проверена или улучшена. Описание содержит теоретические результаты и направление применения, но не рыночные данные, показатели торговли или детали практической реализации. Значимость для торговли зависит от того, как схема управления будет преобразована в стратегию и проверена эмпирически.

Ключевые идеи

• Схема управляет распределением действий в моделях со скрытыми факторами.
• Энтропия Цаллиса поощряет исследование пространства состояний в дискретном и непрерывном времени.
• Выведенное оптимальное распределение состояний имеет форму q-гауссовского распределения.
• В анализе решения с учетом исследования пространства состояний сопоставляются со стандартным динамическим оптимальным управлением.
• Разработана модельно-независимая политика по принципу мягкого Q-обучения, которая может быть полезна для исследований статистического арбитража.

Теги

# Exploratory Control with Tsallis Entropy for Latent Factor Models


# Exploratory Control with Tsallis Entropy for Latent Factor Models









We study optimal control in models with latent factors where the agent controls the distribution over actions, rather than actions themselves, in both discrete and continuous time. To encourage exploration of the state space, we reward exploration with Tsallis Entropy and derive the optimal distribution over states - which we prove is $q$-Gaussian distributed with location characterized through the solution of an FBS$Δ$E and FBSDE in discrete and continuous time, respectively. We discuss the relation between the solutions of the optimal exploration problems and the standard dynamic optimal control solution. Finally, we develop the optimal policy in a model-agnostic setting along the lines of soft $Q$-learning. The approach may be applied in, e.g., developing more robust statistical arbitrage trading strategies.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.