Ajouter des marchés à la recherche d’une stratégie peut renforcer l’apparence du meilleur backtest tout en fragilisant les preuves. Un Sharpe plus élevé après l’ajout de symboles est souvent considéré comme de la diversification ; mais si vous avez cherché le gagnant parmi ces symboles, vous avez aussi augmenté le nombre d’occasions d’avoir de la chance.
Cette distinction compte, qu’un agent propose des centaines de signaux ou qu’un chercheur en teste quelques-uns manuellement. L’espace de recherche comprend chaque combinaison de marché, d’unité de temps, de caractéristique et de paramètre dont le résultat a influencé le choix final. « Nous n’avons déployé qu’une seule stratégie » ne dit pas combien de candidates ont passé l’audition.
Pourquoi un univers de marchés plus vaste peut-il gonfler le meilleur Sharpe ?
Imaginez que vous testiez le même modèle de stratégie sur 40 marchés sans lien entre eux. Supposons, pour simplifier, que le véritable Sharpe de chaque marché soit nul et que chaque Sharpe estimé ait une erreur standard de 0.5. Les estimations fluctuent autour de zéro. Mais choisissez la plus élevée, et elle sera généralement positive, simplement parce que vous avez retenu un maximum.
Selon une approximation normale grossière, le maximum de 40 estimations indépendantes dues au bruit devrait se situer autour de 1.3 erreur standard au-dessus de zéro, soit environ 0.65 de Sharpe dans cet exemple. La valeur exacte dépend de la dépendance, de la longueur de l’échantillon et de la distribution des rendements. L’idée, c’est que la sélection crée un biais optimiste même quand aucune stratégie ne présente d’edge.
Tenez le journal de recherche. Consignez chaque marché et chaque candidate examinés, y compris les exécutions infructueuses et les variantes abandonnées. Le nombre d’essais de la stratégie finale correspond à ce qui a éclairé le choix, pas au nombre de fichiers qui ont survécu au nettoyage.
Les marchés ne sont pas des tirages à pile ou face indépendants. BTC et ETH évoluent souvent ensemble ; deux indices boursiers peuvent partager l’essentiel de leur risque. Cela réduit le nombre effectif d’essais indépendants, sans faire disparaître le problème. Et des marchés corrélés peuvent tout de même différer par les frais, le funding, la liquidité et les heures auxquelles un signal fonctionne.
Tester davantage de marchés, est-ce faire des tests multiples ?
Oui, si vous utilisez les résultats pour décider quoi conserver. Si l’hypothèse initiale était « cette règle capte un effet de funding sur les principaux contrats perpétuels », examiner plusieurs marchés fait partie du test de cette hypothèse. Si vous testez 50 marchés, retenez le meilleur, puis formulez l’hypothèse en fonction de son comportement, la sélection de l’univers est devenue une composante de l’optimisation.
Il est utile de distinguer une étendue définie à l’avance d’une étendue choisie après examen des résultats. Un panier fixe peut montrer si une idée est robuste dans un domaine précisé. Un panier élargi jusqu’à ce qu’un symbole produise une courbe de capital saisissante relève d’une procédure de recherche. Ces deux démarches peuvent être légitimes, mais elles répondent à des questions différentes.
| Choix de recherche | Ce que cela peut étayer | Ce que cela ne peut pas établir à lui seul |
|---|---|---|
| Panier prédéfini, traitement égal | Si la règle se comporte de façon cohérente sur les marchés retenus | Que le panier représente tous les marchés négociables |
| Marché le plus performant choisi après les tests | Quel marché testé a obtenu le meilleur résultat historique | Que le Sharpe sélectionné soit une estimation non biaisée |
| Marchés mis de côté avant la recherche | Si une règle figée se transpose à des marchés non explorés | Que les conditions futures correspondront à celles de l’échantillon de validation |
Comment vérifier si un edge se transpose à de nouveaux marchés ?
Figez vos choix de recherche avant d’ouvrir l’échantillon de validation. Cela comprend la définition du signal, les paramètres, les règles de l’univers, le calendrier de rééquilibrage et les hypothèses d’exécution. Évaluez ensuite la stratégie inchangée sur des marchés qui n’ont pas influencé ces choix.
Par exemple, supposons qu’une règle de momentum crypto ait été élaborée sur les contrats perpétuels BTC et ETH jusqu’en 2023. Vous pourriez réserver un ensemble d’autres contrats perpétuels liquides, sélectionnés selon une règle qui n’utilise que des informations disponibles avant la période de test, et les exclure de tout réglage. Appliquez la règle figée à ces contrats en 2024 et 2025. Intégrez le niveau de frais réel de chaque plateforme, les paiements de funding, les spécifications des contrats et une hypothèse d’impact défendable ; un test de transposition sans coûts de transaction propres à chaque marché peut faire passer une différence de coûts pour un échec du signal, ou en masquer un.
Présentez la distribution des résultats sur les marchés réservés, et pas seulement le Sharpe agrégé. Un portefeuille agrégé peut masquer le fait qu’un seul marché a fourni presque tout le rendement. Montrez le résultat net de chaque marché, le nombre de transactions, le drawdown et la part du P&L total apportée par le plus important. Si la règle ne fonctionne que sur un seul contrat, qualifiez le résultat de spécifique à ce contrat.
Veillez aussi à ce que la séparation temporelle soit rigoureuse. Un marché peut être mis de côté alors que sa période de données chevauche le même régime que celui qui a favorisé les performances de développement. Un échantillon de validation constitué d’autres marchés vérifie si la règle se transpose entre instruments ; un échantillon de validation portant sur une période ultérieure vérifie si elle se transpose dans le temps. Ce sont deux tests distincts, et un bon résultat à l’un ne remplace pas l’autre.
Et si la stratégie doit vraiment utiliser davantage de marchés ?
Alors incluez-les, mais définissez la méthode. Une règle de portefeuille qui négocie chaque marché admissible selon un signal fixe diffère d’un concours où le marché ayant obtenu le meilleur résultat historique l’emporte. L’admissibilité doit être déterminée sans consulter les performances futures, par exemple au moyen d’un seuil de liquidité calculé à chaque date et d’une durée minimale d’historique. Il faut aussi dater les changements de composition ; sinon, une liste actuelle de « marchés liquides » peut faire entrer clandestinement les survivants d’aujourd’hui dans un ancien backtest.
Les critiques ont raison : un univers étroit peut produire une stratégie fragile, et des tests à grande échelle constituent un contrôle de robustesse utile. La solution n’est pas d’éviter de tester les marchés. Il faut distinguer les marchés qui servent à découvrir une idée de ceux qui servent à mettre l’idée figée à l’épreuve, et comptabiliser le travail de découverte dans les éléments de preuve.
Un univers plus vaste peut aider une stratégie à tenir en dehors du laboratoire. Il peut aussi aider un backtest chanceux à remporter le concours de sélection du laboratoire. Le journal de recherche et l’échantillon de validation vous indiquent quelle histoire votre Sharpe étaye.
← Tous les articles
