Apprentissage par renforcement hors ligne pour une liquidation tenant compte de l’impact sur les prix | Stratmill

Résumé

Le document étudie la manière dont un trader peut liquider un actif risqué lorsque les transactions provoquent un impact temporaire sur les prix et que le noyau d’impact est inconnu. Il propose d’estimer le noyau, ou propagateur, de façon non paramétrique à partir de données statiques contenant des trajectoires de prix corrélées, des signaux de trading et des méta-ordres. La précision de l’estimation est mesurée à l’aide d’une métrique qui dépend explicitement du jeu de données disponible.

Une stratégie d’exécution gloutonne fondée uniquement sur le noyau estimé peut entraîner des coûts supérieurs aux coûts visés. Les auteurs attribuent ce résultat à une corrélation fallacieuse entre la stratégie et l’estimateur, ainsi qu’à l’incertitude liée à une fonction de coût biaisée. Leur méthode d’apprentissage par renforcement hors ligne proposée utilise une perte pessimiste qui tient compte de l’incertitude d’estimation et un optimiseur conçu pour éliminer cette corrélation. Ils établissent une borne asymptotiquement optimale des coûts d’exécution sans exiger une connaissance précise du véritable noyau, et rapportent des expériences numériques à l’appui de l’estimateur et de la stratégie. L’extrait ne détaille pas les expériences et ne quantifie pas les performances pratiques en trading réel.

Idées clés

• La méthode estime un noyau d’impact temporaire sur les prix à partir de données statiques comportant des trajectoires corrélées et de l’activité de trading.
• Une stratégie gloutonne fondée sur l’estimation peut être sous-optimale, car la stratégie et l’estimateur sont corrélés de manière fallacieuse.
• Une perte pessimiste tient compte de l’incertitude du noyau d’impact estimé.
• La méthode proposée d’apprentissage par renforcement hors ligne établit une borne asymptotique des coûts d’exécution sans connaissance précise du noyau.
• Des expériences numériques sont rapportées, mais l’extrait ne présente aucun résultat en trading réel.

Étiquettes

# An Offline Learning Approach to Propagator Models


# An Offline Learning Approach to Propagator Models









We consider an offline learning problem for an agent who first estimates an unknown price impact kernel from a static dataset, and then designs strategies to liquidate a risky asset while creating transient price impact. We propose a novel approach for a nonparametric estimation of the propagator from a dataset containing correlated price trajectories, trading signals and metaorders. We quantify the accuracy of the estimated propagator using a metric which depends explicitly on the dataset. We show that a trader who tries to minimise her execution costs by using a greedy strategy purely based on the estimated propagator will encounter suboptimality due to so-called spurious correlation between the trading strategy and the estimator and due to intrinsic uncertainty resulting from a biased cost functional. By adopting an offline reinforcement learning approach, we introduce a pessimistic loss functional taking the uncertainty of the estimated propagator into account, with an optimiser which eliminates the spurious correlation, and derive an asymptotically optimal bound on the execution costs even without precise information on the true propagator. Numerical experiments are included to demonstrate the effectiveness of the proposed propagator estimator and the pessimistic trading strategy.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.