En backtest kan se mere overbevisende ud, når du gør dens data dårligere. Fjern de grimme prisregistreringer, udfyld hullerne med pæne priser, og Sharpe-ratioen kan stige. Den forbedring kan være et advarselstegn: Oprydningsreglen kan have slettet netop de markedsforhold, strategien skal kunne klare sig igennem.
Datakvalitet betyder noget. Et krydset quote eller en dubleret handel kan skabe et fill, som ingen kunne have fået. Men et filter, der får ubekvemme observationer til at forsvinde, er også et modelvalg. Se på det med samme skepsis, som du ville møde en ny signalfunktion med.
Hvornår er en dårlig pris faktisk dårlige data?
Begynd med at spørge, hvad observationen repræsenterer. En handel langt fra det fremherskende marked kan være en korrupt registrering, et reelt sweep gennem tynd likviditet eller en hændelse, der kun forekommer på en bestemt handelsplads. En 1-minuts-candle med en bar uden volumen kan betyde, at der ikke fandt handler sted, mens en manglende candle kan skyldes, at datafeedet svigtede. De tilfælde bør håndteres forskelligt.
Forestil dig en enkel mean-reversion-strategi, der køber, når prisen falder 1% under et kort glidende gennemsnit, og sælger ved gennemsnittet. I en periode med tynd likviditet natten over bliver der registreret en handel 1.2% under den foregående pris, hvorefter markedet straks retter sig. Hvis prisregistreringen er ægte, kunne en strategi med en hvilende limitordre være blevet udført. Hvis det er et fejlagtigt tick, som ingen eksekverbar quote understøttede, opfinder du en fordel ved at medregne fill'et.
Det er ikke automatisk mere sikkert at slette baren. Strategien kan stadig have haft en ordre liggende i markedet, og den næste reelle handel kunne have udløst den. En forsvarlig rekonstruktion skal modellere, hvad strategien kunne observere, og hvad dens ordre med rimelighed kunne være blevet eksekveret imod.
Hvordan påvirker en oprydningsregel resultatet?
Kør strategien med tydeligt definerede databehandlinger, og sammenlign ændringerne. Bevar kildedataene, og registrer hver udeladelse eller rettelse med en begrundelse. Oplys derefter, hvor stor en del af resultatet der afhænger af disse beslutninger.
| Databehandling | Mulig fordel | Risiko for backtesten |
|---|---|---|
| Fjern en prisregistrering uden for et dokumenteret interval for børsfejl | Forhindrer en kendt ugyldig registrering i at skabe en ekstremværdi | Reglen kan fejlklassificere legitime handler i et hurtigt marked |
| Før den seneste pris videre over et manglende interval | Forhindrer indikatorer i at fejle på grund af datagab | Skaber en pris, som der måske ikke har været nogen handler til |
| Brug konsoliderede quotes i stedet for seneste handler | Giver et bedre billede af de viste eksekveringspriser | Quote-størrelse, adgang til handelspladsen og køposition har stadig betydning |
| Fjern alle afvigende barer efter en statistisk tærskel | Mindsker følsomheden over for ekstreme værdier | Kan fjerne reelle stressperioder, hvor strategien taber mest |
Antag, at en kørsel uden filtrering har en Sharpe-ratio på 0.9, mens en kørsel, der udelader 0.8% af barerne, når op på 1.4. Det er ikke i sig selv en sejr for datakvaliteten. Undersøg, om de fjernede barer ligger samlet omkring udsving i volatiliteten, om de står for en betydelig del af P&L, og om udelukkelsesreglen blev fastlagt, før du så resultatet.
Før en log over dataundtagelser: kilde, tidsstempel, berørte felter, begrundelse for handlingen, og om beslutningen blev truffet før eller efter gennemgang af strategiens resultater.
Hvordan tester jeg, om oprydningen ændrede strategiens fordel?
Fastfrys strategien, og sammenlign flere plausible databehandlinger over de samme datoer. Medtag, hvor det er muligt, rekonstruktionen med rådata, et dokumenteret sæt rettelser og et konservativt eksekveringsscenarie for de fortsat tvetydige observationer. For hver kørsel skal du ud over Sharpe-ratioen rapportere antal handler, omsætning, drawdown og P&L-bidraget fra de berørte intervaller.
Gennemgå derefter de handler, der ændrer sig. Hvis strategiens største vindere forsvinder, når en lille gruppe mistænkelige prisregistreringer udelades, så læs registreringerne én for én. Hvis tabene i stedet forsvinder, skal du være lige så grundig. En regel, der kun får særlig opmærksomhed, når den skader backtesten, udfører allerede et stykke researcharbejde.
For at gøre undersøgelsen reproducerbar skal du versionsstyre leverandørfilerne eller deres kontrolsummer, oprydningskoden og undtagelseslisten. En leverandør kan ændre historikken; din næste kørsel skal gøre det muligt at afgøre, om strategien ændrede sig, eller om inputdataene gjorde.
Men er oprydning ikke nødvendig?
Jo. Hvis du beholder en åbenlyst korrupt registrering, kan du skabe en kunstig handel, forvride volatiliteten eller få en indikator til at gå i stykker. Og ingen bør lade, som om et råt datafeed er den ufejlbarlige sandhed. Den praktiske pointe er mere afgrænset: Oprydning kræver dokumentation, en fastlåst regel og en følsomhedsanalyse, fordi den kan ændre, hvilket marked backtesten hævder at repræsentere.
Når en datarettelse forbedrer resultatet, så spørg, hvilken observation den fjernede, og om du ville have truffet samme beslutning uden at se aktiekurven. Hvis du er i tvivl, så behold begge versioner i researchmaterialet. Forskellen mellem dem er en del af resultatet.
← Alle indlæg
