Un backtest peut sembler plus convaincant après que vous avez dégradé ses données. Écartez les cotations disgracieuses, comblez les lacunes avec des prix bien propres, et le Sharpe peut grimper. Cette amélioration peut être un avertissement : la règle de nettoyage a peut-être effacé précisément les conditions de marché auxquelles votre stratégie doit pouvoir résister.
La qualité des données compte. Une cotation croisée ou une transaction dupliquée peut créer une exécution que personne n’aurait pu obtenir. Mais un filtre qui fait disparaître les observations gênantes constitue aussi un choix de modélisation. Méfiez-vous-en autant que d’une nouvelle variable de signal.
À partir de quand un mauvais prix devient-il une donnée erronée ?
Commencez par vous demander ce que représente l’observation. Une transaction très éloignée du marché en vigueur peut être un enregistrement corrompu, une véritable exécution balayant une faible liquidité, ou un événement propre à une plateforme. Une bougie d’une minute avec un volume nul peut signifier qu’aucune transaction n’a eu lieu, tandis qu’une bougie manquante peut indiquer une défaillance du flux. Ces cas ne se traitent pas de la même façon.
Prenons une simple stratégie de retour à la moyenne qui achète lorsque le prix passe 1 % sous une moyenne mobile courte et revend au niveau de cette moyenne. Pendant une période nocturne peu liquide, une transaction s’imprime 1,2 % sous le prix précédent, puis le marché rebondit. Si la transaction est authentique, une stratégie avec un ordre limite au carnet aurait pu être exécutée. Si c’est un tick erroné qu’aucune cotation exécutable ne justifiait, comptabiliser l’exécution revient à inventer un avantage.
Supprimer la bougie n’est pas automatiquement plus prudent. La stratégie pouvait toujours avoir un ordre en attente sur le marché, et la transaction réelle suivante aurait pu l’exécuter. Une reconstitution défendable doit modéliser ce que la stratégie pouvait observer et contre quoi son ordre aurait vraisemblablement pu être exécuté.
Quel effet une règle de nettoyage a-t-elle sur le résultat ?
Faites tourner la stratégie avec plusieurs traitements explicites des données et comparez les écarts. Conservez la source brute et consignez chaque exclusion ou correction avec sa justification. Indiquez ensuite dans quelle mesure le résultat dépend de ces décisions.
| Traitement des données | Avantage potentiel | Risque pour le backtest |
|---|---|---|
| Écarter une cotation hors d’une plage d’erreur documentée par la plateforme | Empêche un enregistrement invalide connu de fixer une valeur extrême | La règle peut classer à tort des transactions légitimes lors d’un marché rapide |
| Reporter le dernier prix sur un intervalle manquant | Évite que les indicateurs échouent en présence de lacunes | Crée un prix auquel aucune transaction n’a peut-être eu lieu |
| Utiliser des cotations consolidées plutôt que les dernières transactions | Donne une meilleure visibilité sur les prix d’exécution affichés | La taille des cotations, l’accès à la plateforme et la position dans la file d’attente restent déterminants |
| Écarter toutes les bougies aberrantes selon un seuil statistique | Réduit la sensibilité aux valeurs extrêmes | Peut éliminer de vraies périodes de tension pendant lesquelles la stratégie subit l’essentiel de ses pertes |
Supposons qu’une simulation sans filtre affiche un Sharpe de 0.9, contre 1.4 après exclusion de 0.8 % des bougies. Ce n’est pas en soi une victoire en matière de qualité des données. Vérifiez si les bougies retirées se concentrent autour des pics de volatilité, si elles représentent une part significative du P&L et si la règle d’exclusion a été définie avant que vous ne voyiez le résultat.
Tenez un registre des exceptions liées aux données : source, horodatage, champs concernés, motif de l’action et moment où la décision a été prise, avant ou après l’examen des performances de la stratégie.
Comment vérifier si le nettoyage a modifié l’avantage ?
Figez la stratégie et comparez plusieurs traitements plausibles sur les mêmes dates. Incluez, lorsque c’est possible, la reconstitution à partir des données brutes, un ensemble de corrections documentées et un scénario d’exécution prudent pour les observations qui restent ambiguës. Pour chaque simulation, indiquez le nombre de transactions, la rotation, le drawdown et la contribution au P&L des intervalles concernés, en plus du Sharpe.
Examinez ensuite les transactions qui changent. Si les principaux gains de la stratégie disparaissent lorsqu’un petit groupe de cotations suspectes est exclu, passez ces enregistrements en revue un par un. Si ce sont plutôt les pertes qui disparaissent, appliquez le même examen. Une règle qu’on n’étudie attentivement que lorsqu’elle pénalise le backtest participe déjà au travail de recherche.
Pour assurer la reproductibilité de l’étude, versionnez les fichiers du fournisseur ou leurs sommes de contrôle, le code de nettoyage et la liste des exceptions. Un fournisseur peut réviser l’historique ; votre prochaine simulation doit vous permettre de déterminer si la stratégie a changé ou si ce sont les données d’entrée.
Mais le nettoyage n’est-il pas nécessaire ?
Si. Conserver un enregistrement manifestement corrompu peut fabriquer une transaction, fausser la volatilité ou perturber un indicateur. Et personne ne devrait prétendre qu’un flux brut est la vérité absolue. Le point pratique est plus précis : le nettoyage exige des éléments probants, une règle figée et une analyse de sensibilité, car il peut modifier le marché que le backtest prétend représenter.
Lorsqu’une correction des données améliore les performances, demandez-vous quelle observation elle a éliminée et si vous auriez pris la même décision sans avoir vu la courbe de capital. Si la réponse est incertaine, conservez les deux versions dans le dossier de recherche. Leur écart fait partie du résultat.
← Tous les articles
