Lo Sharpe del backtest può aumentare aggiungendo altri mercati

Aggiungere mercati alla ricerca di una strategia può far apparire più solido il miglior backtest e, allo stesso tempo, rendere meno solide le prove a suo sostegno. Spesso uno Sharpe più alto dopo aver aggiunto simboli viene considerato un segno di diversificazione; ma se avete cercato il vincitore anche tra quei simboli, avete aumentato le possibilità di ottenere un risultato fortunato.

La distinzione conta sia quando un agente propone centinaia di segnali, sia quando un ricercatore ne testa a mano una manciata. Lo spazio di ricerca comprende ogni combinazione di mercato, timeframe, feature e parametro il cui risultato ha influenzato la scelta finale. «Abbiamo messo in produzione una sola strategia» non dice quanti candidati si siano presentati alle selezioni.

Perché un universo di mercato più ampio può gonfiare lo Sharpe migliore?

Immaginate di testare lo stesso modello di strategia su 40 mercati non correlati. Per semplicità, supponiamo che lo Sharpe reale di ogni mercato sia zero e che ogni Sharpe stimato abbia un errore standard di 0.5. Le stime oscillano intorno allo zero. Ma scegliendo quella più alta, in genere si ottiene un valore positivo, semplicemente perché si è scelto un massimo.

Con una rozza approssimazione normale, il massimo di 40 stime indipendenti del rumore dovrebbe collocarsi intorno a 1.3 errori standard sopra lo zero: circa 0.65 di Sharpe in questo esempio. Il valore esatto dipende dalla dipendenza tra i mercati, dalla lunghezza del campione e dalla distribuzione dei rendimenti. Il punto è che la selezione crea ottimismo anche quando nessuna strategia ha un edge.

I mercati non sono lanci di moneta indipendenti. BTC ed ETH spesso si muovono insieme; due indici azionari possono condividere gran parte del rischio. Questo riduce il numero effettivo di tentativi indipendenti, ma non fa sparire il problema. Inoltre, mercati correlati possono comunque differire per commissioni, funding, liquidità e orari in cui un segnale funziona.

Testare più mercati rientra nei test multipli?

Sì, quando usate i risultati per decidere cosa tenere. Se l’ipotesi iniziale era «questa regola coglie un effetto del funding sui principali perpetual», esaminare più mercati fa parte del test di quell’ipotesi. Se testate 50 mercati, trovate il migliore e poi formulate l’ipotesi in base al suo comportamento, la selezione dell’universo è diventata parte dell’ottimizzazione.

È utile distinguere tra un’ampiezza scelta in anticipo e una scelta dopo aver visto i risultati. Un paniere fisso può mostrare se un’idea è robusta nell’ambito dichiarato. Ampliare il paniere finché un simbolo produce una curva azionaria notevole è una procedura di ricerca. Entrambe possono essere legittime, ma rispondono a domande diverse.

Come verifico se un edge si trasferisce a nuovi mercati?

Congelate le scelte di ricerca prima di aprire il holdout. Questo significa definire il segnale, i parametri, le regole dell’universo, il calendario di ribilanciamento e le ipotesi di esecuzione. Poi valutate la strategia invariata su mercati che non hanno influenzato quelle scelte.

Per esempio, supponiamo di sviluppare una regola di momentum sulle perpetual crypto BTC ed ETH fino al 2023. Potreste riservare un gruppo di altre perpetual liquide, selezionate con una regola basata solo sulle informazioni disponibili prima del periodo di test, ed escluderle da ogni fase di ottimizzazione. Applicate la regola congelata a quei contratti nel 2024 e nel 2025. Includete il livello commissionale effettivo di ogni venue, i pagamenti di funding, le specifiche dei contratti e un’ipotesi d’impatto difendibile; un test di trasferibilità senza costi di trading specifici per mercato può scambiare una differenza di costo per un fallimento del segnale, o nasconderne uno.

Riportate la distribuzione dei risultati nei mercati di holdout, non solo lo Sharpe aggregato. Un portafoglio aggregato può nascondere che quasi tutto il rendimento proviene da un solo mercato. Mostrate il risultato netto, il numero di operazioni, il drawdown e la quota del P&L totale generata dal mercato principale, per ciascun mercato. Se la regola funziona solo su un contratto, definite il risultato specifico di quel contratto.

Mantenete corretta anche la suddivisione temporale. Un mercato può non essere stato esaminato, ma il suo periodo di dati può sovrapporsi allo stesso regime che ha determinato la performance in fase di sviluppo. Un holdout tra mercati verifica se la regola si trasferisce tra strumenti; un holdout su un periodo successivo verifica se si trasferisce nel tempo. Sono test distinti e un buon risultato in uno non sostituisce l’altro.

E se la strategia dovesse davvero usare più mercati?

Includeteli, ma definite le modalità. Una regola di portafoglio che negozia ogni mercato idoneo secondo un segnale fisso è diversa da una gara in cui vince il mercato con la migliore performance storica. L’idoneità va determinata senza guardare alla performance futura, per esempio con una soglia di liquidità basata sui dati disponibili nel momento considerato e un requisito minimo di storico. Anche le variazioni nell’appartenenza all’universo devono avere una data: altrimenti un elenco attuale di «mercati liquidi» può inserire di nascosto in un vecchio backtest i mercati che sono sopravvissuti fino a oggi.

I critici hanno ragione: un universo ristretto può produrre una strategia fragile e testare un insieme ampio è un utile controllo di robustezza. La risposta non è evitare di testare i mercati. Occorre separare i mercati usati per scoprire un’idea da quelli usati per mettere alla prova l’idea congelata e includere il lavoro di ricerca tra gli elementi su cui si basa la valutazione.

Un universo più ampio può aiutare una strategia a funzionare anche fuori dal laboratorio. Può anche aiutare un backtest fortunato a vincere la selezione in laboratorio. Il registro della ricerca e il holdout vi diranno quale delle due storie è supportata dal vostro Sharpe.