Офлайн-обучение с подкреплением для ликвидации с учётом влияния на цену

Сводка

В документе изучается, как трейдер может ликвидировать рискованный актив, если сделки временно влияют на цену, а ядро этого влияния неизвестно. Предлагается непараметрически оценивать ядро, или пропагатор, по статическим данным, содержащим коррелированные траектории цен, торговые сигналы и крупные сделки. Точность оценки измеряется метрикой, которая явно зависит от доступного набора данных.

Жадная стратегия исполнения, основанная только на оценённом ядре, может обойтись дороже ожидаемого. Авторы объясняют это ложной корреляцией между стратегией и оценщиком, а также неопределённостью, связанной со смещённой функцией издержек. Предложенный метод офлайн-обучения с подкреплением использует пессимистичную функцию потерь, учитывающую неопределённость оценки, и оптимизатор, предназначенный для устранения этой корреляции. Авторы выводят асимптотически оптимальную границу издержек исполнения, не требуя точного знания истинного ядра, и приводят численные эксперименты в поддержку оценщика и стратегии. В отрывке нет подробностей экспериментов или количественной оценки практических результатов в условиях реальной торговли.

Ключевые идеи

• Метод оценивает ядро временного влияния на цену по статическим данным с коррелированными траекториями и торговой активностью.
• Жадная стратегия на основе оценки может быть неоптимальной из-за ложной корреляции между стратегией и оценщиком.
• Пессимистичная функция потерь учитывает неопределённость оценённого ядра влияния на цену.
• Предложенный подход офлайн-обучения с подкреплением выводит асимптотическую границу издержек исполнения без точного знания ядра.
• Приводятся численные эксперименты, но в отрывке нет результатов для реальной торговли.

Теги

# An Offline Learning Approach to Propagator Models


# An Offline Learning Approach to Propagator Models









We consider an offline learning problem for an agent who first estimates an unknown price impact kernel from a static dataset, and then designs strategies to liquidate a risky asset while creating transient price impact. We propose a novel approach for a nonparametric estimation of the propagator from a dataset containing correlated price trajectories, trading signals and metaorders. We quantify the accuracy of the estimated propagator using a metric which depends explicitly on the dataset. We show that a trader who tries to minimise her execution costs by using a greedy strategy purely based on the estimated propagator will encounter suboptimality due to so-called spurious correlation between the trading strategy and the estimator and due to intrinsic uncertainty resulting from a biased cost functional. By adopting an offline reinforcement learning approach, we introduce a pessimistic loss functional taking the uncertainty of the estimated propagator into account, with an optimiser which eliminates the spurious correlation, and derive an asymptotically optimal bound on the execution costs even without precise information on the true propagator. Numerical experiments are included to demonstrate the effectiveness of the proposed propagator estimator and the pessimistic trading strategy.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.