Backtesting, optimisation et critères de validation

Comment les résultats sont obtenus en tenant compte des coûts modélisés et comment une stratégie peut être promue.

Frais et coûts réels des plateformes d’échange

Les backtests appliquent les frais publiés par chaque plateforme pour les ordres maker et taker, les paiements de financement des contrats à terme perpétuels et un modèle d’impact de marché à chaque exécution. Les fonds propres sont évalués au prix du marché à chaque barre, et les positions à effet de levier peuvent être liquidées lorsque la marge de maintenance de la plateforme est atteinte. Aucun résultat n’est présenté avant déduction des coûts.

Taille des positions et effet de levier

Les stratégies dimensionnent les positions en fonction des fonds propres du compte plutôt qu’en montants fixes. L’effet de levier demandé est transmis au moteur et plafonné selon la limite de la plateforme : il reste à un sur les plateformes au comptant et d’options, tandis que les plateformes de contrats à terme en autorisent davantage. Les comptes au comptant ne peuvent pas vendre à découvert, et la classe de base des stratégies applique cette règle.

Optimisation en trois phases

L’analyse de sensibilité fait varier chaque paramètre de vingt pour cent afin de repérer les ruptures de performance. L’optimisation en fenêtre glissante effectue une recherche bayésienne sur des fenêtres successives et suit séparément les résultats dans et hors échantillon. L’échantillon de validation final, le dernier cinquième des données, est testé une seule fois et doit confirmer les résultats hors échantillon des fenêtres glissantes.

Détection du surapprentissage

Une stratégie est rejetée si ses performances hors échantillon sont négatives, si le ratio entre les résultats dans et hors échantillon est trop élevé, si la probabilité de surapprentissage du backtest dépasse une moitié ou si le ratio de Sharpe corrigé, qui tient compte du nombre d’essais effectués, ne valide plus le résultat.

Critères de promotion

Les seuils de promotion sont appliqués par le code à partir d’un fichier de critères publié. Les critères bloquants couvrent le surapprentissage, les résultats hors échantillon non positifs, les échecs à l’échantillon de validation et l’absence de transactions ; ils ne peuvent faire l’objet d’aucune dérogation. Les critères souples couvrent le ratio de Sharpe, le facteur de profit, le recul maximal et le taux de réussite. Une dérogation n’est possible que si elle est motivée dans le journal et confirmée ou rejetée par le responsable des risques.

Interpréter un backtest avec discernement

Comparez la courbe des fonds propres au recul, vérifiez le nombre de transactions sur lequel repose le résultat et comparez le rendement moyen par transaction au coût aller-retour. Un rendement élevé obtenu sur une poignée de transactions, ou un ratio de Sharpe qui disparaît hors échantillon, doit être considéré comme un avertissement plutôt que comme un résultat.