Votre backtest utilisait le mauvais univers à chaque instant

Un backtest peut dater correctement chaque bougie tout en utilisant des informations de demain. Cela arrive lorsque la stratégie teste les actifs qui ont survécu jusqu’à aujourd’hui sur plusieurs années d’historique, comme si elle avait su quels marchés resteraient liquides, cotés et dignes d’être conservés.

La construction de l’univers fait partie de la stratégie. Si le système en production ne pouvait choisir que parmi les actifs disponibles à chaque instant de décision, le backtest doit respecter la même limite. Trois raccourcis l’effacent régulièrement.

Première erreur : backtester la liste d’aujourd’hui sur tout l’historique

Supposons que vous sélectionniez aujourd’hui les 50 plus grands marchés de contrats perpétuels crypto, puis que vous les backtestiez depuis 2021. La liste exclut les contrats qui ont disparu, perdu leur liquidité ou été retirés de la cote. Elle donne aussi aux dates anciennes accès à des marchés qui n’existaient peut-être pas encore.

Les dégâts passent facilement inaperçus : une stratégie semble plus stable parce que les actifs qui ont échoué ont disparu de son échantillon. Une règle de momentum, par exemple, pourrait sembler excellente sur les 50 marchés d’aujourd’hui, alors que sa version historique aurait régulièrement alloué des fonds à des actifs qui se sont ensuite effondrés ou ont été retirés de la plateforme. Vous avez testé un portefeuille sélectionné en connaissant le résultat.

Consignez l’appartenance à l’univers dans un registre daté. Pour chaque actif, indiquez quand il est devenu admissible, quand il a cessé de l’être et pourquoi. À chaque rééquilibrage, appliquez les règles en utilisant uniquement les informations alors disponibles. Un marché ne doit entrer dans l’univers qu’après sa cotation effective et toute période de préchauffage requise. S’il est retiré de la cote, la sortie de la position finale doit suivre un traitement défini, qu’il s’agisse d’une vente ou d’un règlement ; supprimer ses lignes n’est pas une règle de sortie.

Deuxième erreur : classer les actifs selon une statistique mesurée après la décision

Même un univers historique peut comporter une fuite si sa règle d’inclusion utilise une période complète qui s’étend dans le futur. « Négocier chaque mois les 20 actions les plus liquides » paraît raisonnable, jusqu’à ce que le classement de la liquidité repose sur tout le mois pendant lequel la stratégie est censée négocier.

Imaginez un rééquilibrage le premier jour de bourse du mois. Classer les actifs selon leur volume moyen en dollars du mois utilise discrètement les trois semaines suivantes pour décider de ceux qui étaient admissibles au premier jour. Les dégâts se manifestent souvent par une capacité de négociation exceptionnellement bonne : la stratégie évite les actifs devenus illiquides plus tard dans le mois, alors qu’elle ne pouvait pas le savoir au moment de l’entrée.

Fixez la date limite de mesure avant l’instant de sélection. Pour un rééquilibrage mensuel lors de la première séance, vous pourriez classer les actifs selon les 20 séances précédentes entièrement terminées, jusqu’à la séance précédente. Précisez ensuite le délai d’exécution : si le classement utilise le cours de clôture d’hier, votre processus supposé permet-il de soumettre l’ordre à l’ouverture aujourd’hui ?

Troisième erreur : considérer l’absence d’historique comme preuve qu’un actif n’était pas admissible

Les archives d’un fournisseur de données ne constituent pas nécessairement un relevé complet du marché historique. Un symbole manquant peut signifier que l’actif n’a jamais existé, que la plateforme a changé sa convention de nommage, que le fournisseur n’a pas conservé les instruments retirés de la cote ou que le flux comporte simplement une lacune. Ces situations n’ont pas les mêmes conséquences.

Les dégâts prennent la forme d’un univers bien ordonné, mais ponctué de trous inexpliqués. Les chercheurs exigent souvent une période de rétrospection complète, puis excluent discrètement tout actif qui n’en dispose pas. Cette règle de préchauffage peut être raisonnable, mais elle écarte aussi délibérément les actifs récemment cotés. Pire encore, si les données manquantes concernent surtout les marchés qui ont échoué, « données complètes uniquement » devient un autre filtre de survivance.

Traitez séparément l’admissibilité, la disponibilité des données et le préchauffage de la stratégie. Consignez la raison de l’exclusion d’un actif pour chaque date. Conservez les données manquantes dans le registre de recherche au lieu de les supprimer discrètement. Lorsque la source ne permet pas d’établir si un marché était coté ou négociable, indiquez-le et mesurez dans quelle mesure le résultat dépend de cette incertitude.

Rendre l’univers reproductible

Un audit utile commence par un rééquilibrage historique. Reconstituez la liste des actifs candidats à partir des cotations datées et des données disponibles à cette date limite. Recalculez les données de classement en n’utilisant que les observations entièrement terminées. Comparez ensuite l’appartenance obtenue à la liste réellement utilisée par votre backtest.

Enregistrez la règle, sa date limite, les décisions d’inclusion et la version de la source avec le résultat de la simulation. Si vous ne pouvez pas expliquer pourquoi un actif a été inclus et un autre écarté à une date donnée, vous ne pouvez pas encore savoir si la stratégie a découvert un avantage ou hérité d’un échantillon façonné par l’avenir.

Les erreurs de construction de l’univers se manifestent rarement par des prix impossibles. Elles apparaissent dans une stratégie qui a commodément évité les marchés qui ont cessé de l’être.