Un backtest migliore può peggiorare la ricerca di strategie

Un backtest è più adatto a scartare una strategia che a sceglierne una. Nel momento in cui usi le performance storiche per scegliere tra molte varianti, il backtest entra a far parte dell'esperimento e il risultato apparentemente migliore si porta dietro un costo nascosto: il bias di selezione.

Sembra un controsenso. Facciamo backtest perché vogliamo sapere quale strategia funziona. Ma ogni scelta guidata dalla stessa storia consuma una parte delle prove a disposizione. Se, dopo aver visto i risultati, cambi il lookback, la soglia, l'universo, il giorno di ribilanciamento o la regola di stop, stai ponendo un'altra domanda ai dati. Prima o poi avrai fatto abbastanza domande da ottenere per caso una risposta convincente.

Perché testare più strategie rende meno affidabile il risultato migliore?

Immagina di testare 100 strategie senza alcun vantaggio reale. I loro rendimenti saranno comunque diversi. Se le stime delle performance sono più o meno indipendenti e il rumore ha una distribuzione normale, lo Sharpe migliore tra loro sarà positivo, anche se lo Sharpe reale di ogni strategia è zero.

Una stima approssimativa del massimo atteso di 100 estrazioni normali standard indipendenti è 2.5 deviazioni standard sopra la media. Considerala un'illustrazione, non una correzione da inserire in un report: le varianti reali di una strategia sono correlate, le stime dello Sharpe hanno un proprio errore di campionamento e i rendimenti raramente si comportano come estrazioni normali ideali. Al netto di queste cautele, il punto pratico resta valido: più candidati esamini, più è probabile che il punteggio più alto rifletta rumore favorevole.

E un «candidato» non è soltanto un backtest salvato. È ogni scelta fatta dopo aver esaminato un risultato: ampliare l'universo perché il grafico appare irregolare, escludere un anno sfavorevole o modificare l'ipotesi sulle commissioni finché la curva non si riprende. Queste decisioni contano anche se nessuno ha assegnato loro un numero di versione.

Tieni un registro della ricerca prima di testare la prossima variante

Registra l'intera ricerca, comprese le idee scartate e il motivo di ogni modifica. Avrai così un resoconto più onesto di quanto il risultato sia stato selezionato e sarà più difficile ricordare soltanto i test più promettenti.

Un registro non annulla la ricerca. La rende leggibile, primo passo per valutare quanta fiducia merita il risultato migliore.

Riserva dati a cui il processo di ricerca non possa tornare continuamente

Suddividi i dati in base al tempo, poi proteggi il periodo finale. Sviluppa la strategia su un intervallo, prendi decisioni usando un intervallo di validazione e valuta una sola volta la strategia congelata su un holdout successivo. Per esempio, potresti usare il periodo 2018–2022 per lo sviluppo, il 2023 per la validazione e riservare il 2024–2025. Sono solo date indicative: la suddivisione dovrebbe dipendere dal mercato, dall'orizzonte della strategia e dalla copertura dei dati.

Specifica per iscritto cosa significa «congelata»: segnale, universo, dimensionamento, ipotesi di esecuzione ed eventuali regole per i dati mancanti. Se l'holdout delude e modifichi la strategia in base ai suoi risultati, quel periodo è diventato un insieme di validazione. La prossima valutazione onesta richiederà nuove prove.

È anche qui che i campioni piccoli si fanno sentire. Una strategia che effettua 18 operazioni in un holdout non consente un verdetto preciso. Riporta il numero di operazioni e l'incertezza insieme alle statistiche sui rendimenti: una singola media può far sembrare conclusivo un campione esiguo.

Significa che i backtest sono inutili per scegliere le strategie?

No. Chi li critica ha ragione nel dire che gli holdout rigorosi possono essere uno spreco: i mercati cambiano, le serie storiche sono brevi e un periodo mai esaminato può rappresentare un solo regime insolito. Un processo walk-forward progettato con cura può mostrare come si comporta una strategia man mano che la storia disponibile avanza. Ma questo non rende gratuite le modifiche ripetute. Se esamini ogni fold e modifichi la strategia, quei fold hanno influito sulla ricerca.

Usa i backtest per individuare i punti deboli, confrontare poche idee fondate su un meccanismo di mercato e verificare se i risultati reggono a commissioni, funding, impatto e variazioni dei parametri plausibili. Tieni un registro. Preserva un holdout finale. Poi porta una versione promettente e congelata al paper trading, dove possono emergere discrepanze operative.

La risposta più solida di un backtest spesso è: «Questa idea fallisce in condizioni che possiamo già osservare». Quando dice: «Questa è la strategia migliore», chiediti a quante altre domande gli è stato chiesto di rispondere.