Quattro numeri possono raccontare una storia scomoda: Sharpe walk-forward pari a 1.4, 312 trade storici, 46 trade in paper trading e uno scarto di 18 punti base tra i prezzi di esecuzione nel paper trading e nel backtest. Lo Sharpe attira l’attenzione. Ma quei 18 punti base potrebbero spiegare perché la strategia sembra diversa, prima ancora che ci siano abbastanza dati di paper trading per valutarne la performance.
Il test walk-forward verifica se un processo di ricerca avrebbe potuto selezionare una strategia usando dati passati e valutarla su dati successivi. Il paper trading verifica se un sistema in esecuzione, con i dati, gli orologi, la logica degli ordini e le esecuzioni attuali, si comporta come quel processo di test. Sono domande correlate, ma la prima non risponde automaticamente alla seconda.
Che cosa dimostra davvero la validazione walk-forward?
Supponiamo di addestrare o selezionare una strategia su 6 mesi di dati e poi valutarla sul mese successivo. Si fa avanzare la finestra e si ripete l’operazione. Se ogni mese di test resta escluso dal corrispondente processo di selezione, l’esercizio fornisce indicazioni sulla performance in una serie di condizioni storiche.
Non dimostra che il paper trading riprodurrà le stesse decisioni o esecuzioni. Il test storico può usare barre complete, un tariffario fisso e un modello semplificato degli ordini a mercato. Il processo di paper trading, invece, riceve i dati man mano che arrivano e invia ordini simulati attraverso un percorso diverso. Uno dei due processi può essere valido mentre l’altro presenta una discrepanza.
Perciò, 46 trade in paper trading contro 312 nel campione walk-forward non bastano, da soli, per trarre una conclusione. Controlla il periodo di confronto, la frequenza dei segnali, le posizioni aperte ai confini del periodo e che entrambi i conteggi usino la stessa definizione di trade. Una simulazione di 6 settimane non può eguagliare il numero di trade di un anno di test rolling.
Perché lo scarto tra i prezzi di esecuzione è così indicativo?
Prima di interpretare una curva azionaria del paper trading, vale la pena scomporre uno scarto medio di 18 punti base. Lo misuri tra l’esecuzione ipotizzata dal backtest e quella del simulatore di paper trading, oppure tra il midpoint al momento della decisione e l’esecuzione simulata? Sono misure diverse. Registra separatamente il prezzo al momento della decisione, quello all’arrivo dell’ordine, l’esecuzione simulata, le commissioni e l’eventuale funding.
| Differenza osservata | Primo controllo | Perché conta |
|---|---|---|
| Meno trade in paper trading | Timestamp dei segnali e regole di ammissibilità | Un dato mancante o in ritardo può impedire alcune decisioni |
| Stessi trade, esecuzioni peggiori | Tipo di ordine, spread, impatto e livello commissionale | Il backtest potrebbe ipotizzare un percorso di esecuzione meno costoso |
| Dimensioni delle posizioni diverse | Liquidità, moltiplicatore del contratto e arrotondamenti | Piccole discrepanze nelle unità si sommano da un ordine all’altro |
| Scostamento dopo un riavvio | Posizione ripristinata e ordini in sospeso | Il processo di paper trading potrebbe ripartire da uno stato diverso |
Per esempio, un backtest che compra all’apertura della barra successiva può sembrare simile a un ordine a mercato simulato su uno strumento liquido. Ma se l’ordine del paper trading arriva dopo un movimento brusco, lo scarto comprende sia il fattore temporale e il movimento del mercato sia il costo di esecuzione. Chiamare tutti e 18 i punti base «slippage» nasconde la causa.
Come confronto il paper trading con un test walk-forward?
Parti dalle decisioni, poi passa agli ordini e infine alle esecuzioni. Per ogni decisione presa nel paper trading, riproduci la stessa versione della strategia sulla stessa cronologia di input e confronta ciò che il sistema sapeva in quel preciso istante. Un registro utile per verificare la parità include:
- Versione e parametri della strategia, inclusa la finestra di selezione che li ha determinati.
- Valori di input con l’ora dell’evento e l’ora in cui i dati erano disponibili.
- Segnale, posizione obiettivo, posizione corrente e ordine proposto.
- Vincoli sugli ordini, commissioni, funding e dettagli dell’esecuzione simulata.
- Liquidità e stato della posizione prima e dopo l’esecuzione.
Se i segnali differiscono, controlla la tempistica dei dati e le versioni del codice. Se i segnali coincidono ma gli ordini differiscono, verifica il dimensionamento, le regole della piattaforma e lo stato del portafoglio. Se gli ordini coincidono ma le esecuzioni differiscono, controlla le ipotesi di esecuzione. Esamina separatamente questi livelli; altrimenti un unico dato di performance ti farà cercare nel posto sbagliato.
Quando lo scostamento indica che la strategia è compromessa?
Dopo aver allineato la pipeline, confronta i risultati su un periodo comune significativo ed esamina il comportamento previsto della strategia. Pochi trade in paper trading possono rivelare rapidamente un timestamp errato o un problema nel percorso degli ordini. Non bastano però per stabilire con affidabilità che il rendimento medio della strategia sia cambiato. Servono osservazioni sufficienti, e il numero necessario dipende da quanto sono rumorosi e raggruppati i rendimenti.
Anche le condizioni di mercato possono cambiare. Uno spread più ampio o un funding persistentemente sfavorevole possono danneggiare la strategia anche quando tutte le decisioni coincidono. È un cambiamento reale nelle condizioni di trading, non un errore di validazione. Tieni traccia dei costi e delle esposizioni insieme ai rendimenti, così la differenza sarà visibile.
La validazione walk-forward fornisce indicazioni su un processo di selezione applicato a periodi storici. Il paper trading fornisce indicazioni sul sistema in esecuzione nelle condizioni osservate. Quando i risultati divergono, individua prima il punto più a monte in cui i rispettivi registri non coincidono. Spesso il numero sorprendente non è lo Sharpe, ma una piccola differenza nell’esecuzione o nei dati che fa sì che i due esperimenti rispondano a domande diverse.
← Tutti gli articoli
