Abbiamo testato 240 combinazioni di parametri. La migliore ha mostrato uno Sharpe ratio di 2.1; la mediana era 0.1; e solo 17 hanno superato 1.0. Questi numeri sembrano una scoperta, finché non scopri che una ricerca così ampia può produrre un risultato vincente lusinghiero anche quando nessuna strategia ha un vero vantaggio.
Il numero sorprendente è 240. Un report di backtest di solito presenta la strategia selezionata come se fosse arrivata da sola. Ma la ricerca non funziona così. Ogni modifica ai parametri, sostituzione di una feature, variazione dell’universo e nuova esecuzione dopo un risultato deludente offre al rumore un’altra occasione per sembrare un segnale.
Perché provare più strategie fa salire lo Sharpe migliore?
Immagina 240 strategie indipendenti senza un vero vantaggio e con stime dello Sharpe rumorose. La maggior parte delle stime si avvicina a zero, ma il valore massimo tende a essere positivo. Più candidati esamini, più quel massimo può allontanarsi dalla realtà.
Come esempio approssimativo, supponiamo che l’errore standard dello Sharpe stimato di ciascun candidato sia 0.5. Con 240 estrazioni indipendenti, la stima più alta può arrivare a circa 1.4 errori standard sopra la media, cioè all’incirca 0.7 Sharpe, per il solo effetto della selezione. I candidati reali sono correlati, quindi questo calcolo non è una correzione da inserire in un report. Mostra perché “il vincitore ha battuto lo zero” è una prova debole dopo una ricerca ampia.
E la ricerca raramente si limita alla griglia di parametri. Potresti aver provato tre famiglie di segnali, averne scartate due dopo averne visto le curve, aver cambiato l’universo di trading e poi aver rieseguito la strategia rimasta con una diversa frequenza di ribilanciamento. Se queste scelte sono state influenzate dalle performance, fanno parte della storia della ricerca.
Che cosa conta come prova di backtest?
Conta una decisione come prova quando il suo risultato avrebbe potuto influire sulla strategia scelta. Questo include le esecuzioni che non hai pubblicato e le varianti che hai interrotto in anticipo perché la curva del capitale sembrava brutta. Un errore di compilazione non è una prova di performance; un’esecuzione che ha prodotto uno Sharpe deludente, di solito, sì.
| Azione di ricerca | Di solito si conta? | Perché |
|---|---|---|
| Modificare il lookback da 20 a 30 dopo aver esaminato i risultati | Sì | Il primo risultato ha influenzato il candidato successivo |
| Eseguire la stessa strategia fissa su un nuovo intervallo di date definito in anticipo | Di solito non è una nuova prova di selezione | La regola era stata fissata prima di vedere quelle evidenze |
| Modificare l’universo dopo aver visto quali asset hanno vinto | Sì | La selezione dell’universo può migliorare il risultato apparente |
| Correggere un errore di sintassi e rieseguire il codice invariato | No | Nessuna scelta di ricerca dipendeva dalle performance |
La linea di demarcazione è se hai usato un risultato per prendere una decisione. Può essere difficile ricostruirlo a memoria: per questo il registro degli esperimenti dovrebbe annotare, per ogni esecuzione, l’ipotesi, la versione del codice o della configurazione, l’intervallo dei dati, le ipotesi sui costi e il risultato.
Posso correggere per i test multipli?
Esistono metodi che stimano il bias di selezione o correggono la significatività tenendo conto di molte prove. Possono essere utili, ma richiedono ipotesi sulle relazioni tra i candidati e sul comportamento dei rendimenti. Un p-value nominale o una singola stima dello Sharpe deflazionato non possono rimediare a una ricerca di cui hai perso la vera cronologia.
Parti dagli aspetti che puoi controllare. Definisci una specifica finale prima di valutarla su un periodo davvero mai esaminato. Tieni visibile l’intero insieme dei candidati. Quando testi molte varianti correlate, raggruppale in base alla decisione che le ha generate, invece di fingere che ciascuna sia stata una scoperta indipendente. Presenta la ricerca insieme al vincitore: numero di prove, regola di selezione e indicazione se la valutazione finale ha influenzato modifiche successive.
Un test utile: se il risultato sul campione di verifica è deludente, cambierai la strategia e chiamerai di nuovo campione di verifica lo stesso periodo? Se sì, quel periodo è ormai parte della ricerca. Per la valutazione successiva ti servono nuove evidenze.
Che cosa dovrebbe registrare un agente di ricerca AI?
Un agente può generare candidati più rapidamente di quanto una persona riesca a tenerli a mente. Per questo, tenere il conto delle prove è parte del sistema di ricerca, non una seccatura di rendicontazione. Salva ogni candidato prima di eseguirlo, includendo l’esperimento da cui deriva e il motivo per cui esiste. Conserva le esecuzioni fallite e quelle scartate. Registra quando una persona o un agente ha esaminato le performance e quale decisione ne è seguita.
Poi rendi riproducibile il processo di selezione: a parità di insieme di candidati e di regola, dovrebbe scegliere lo stesso vincitore. Se un agente continua a cambiare prompt, obiettivo o vincoli dopo aver visto i risultati, anche questi cambiamenti fanno parte della ricerca.
Uno Sharpe di 2.1 può meritare di essere approfondito. Il suo significato dipende dal percorso che lo ha prodotto. Quando il registro della ricerca dice che 240 candidati si sono contesi il titolo, puoi porti la domanda successiva giusta: quali evidenze restano che quelle scelte non abbiano già esaurito?
← Tutti gli articoli
