Fire tal fortæller en ubehagelig historie: en walk-forward-Sharpe på 1.4, 312 historiske handler, 46 paper-handler og en forskel på 18 basispoint mellem fill-priser i paper trading og backtesten. Sharpe-tallet får overskriften. De 18 basispoint kan forklare, hvorfor strategien føles anderledes, før der er nok paper-historik til at vurdere dens resultater.
Walk-forward-test spørger, om en researchproces kunne have udvalgt en strategi på baggrund af historiske data og evalueret den på efterfølgende data. Paper trading spørger, om et kørende system med aktuelle data, ure, ordrel logik og fills opfører sig som den testede proces. Det er beslægtede spørgsmål, men det første besvarer ikke automatisk det andet.
Hvad fastslår walk-forward-validering egentlig?
Forestil dig, at du træner eller udvælger en strategi på 6 måneders data og derefter evaluerer den på den følgende måned. Flyt vinduet frem, og gentag. Hvis hver testmåned holdes uden for den tilsvarende udvælgelsesproces, giver øvelsen evidens for resultaterne under en række historiske forhold.
Det fastslår ikke, at paper trading vil genskabe de samme beslutninger eller fills. Den historiske test bruger måske afsluttede bars, en fast gebyrstruktur og en forenklet model for markedsordrer. Den løbende paper-proces modtager data, efterhånden som de kommer ind, og sender simulerede ordrer gennem en anden kæde. Den ene kan være solid, mens den anden har et misforhold.
Derfor er 46 paper-handler over for 312 i walk-forward-stikprøven ikke i sig selv en dom. Tjek sammenligningsperioden, signalfrekvensen, åbne positioner ved periodernes grænser, og om begge optællinger bruger samme definition af en handel. En paper-kørsel på 6 uger kan ikke matche et års rullende tests på antal handler.
Hvorfor afslører forskellen i fill-priser så meget?
En gennemsnitlig forskel på 18 basispoint bør undersøges nærmere, før du fortolker paper-equity-kurven. Måles den fra backtestens antagne fill til simulatorens paper-fill eller fra midtprisen på beslutningstidspunktet til paper-fill? Det måler forskellige ting. Registrer beslutningsprisen, ordrens ankomstpris, det simulerede fill, gebyrer og eventuel funding hver for sig.
| Observeret forskel | Første tjek | Hvorfor det er vigtigt |
|---|---|---|
| Færre paper-handler | Signalernes tidsstempler og regler for, hvornår de er gyldige | Et manglende eller forsinket input kan forhindre beslutninger |
| Samme handler, dårligere fills | Ordretype, spread, markedspåvirkning og gebyrniveau | Backtesten kan antage en billigere eksekveringsvej |
| Forskellige positionsstørrelser | Kontantbeholdning, kontraktmultiplikator og afrunding | Små uoverensstemmelser i enhederne ophobes på tværs af ordrer |
| Afvigelse efter genstart | Gendannet position og ventende ordrer | Paper-processen kan genoptage arbejdet fra en anden tilstand |
En backtest, der køber ved næste bars åbning, kan for eksempel ligne en paper-markedsordre i et likvidt instrument. Men hvis paper-ordren ankommer efter en kraftig bevægelse, omfatter forskellen både timing og markedsbevægelser samt eksekveringsomkostninger. Hvis du kalder alle 18 basispoint for «slippage», skjuler du årsagen.
Hvordan sammenligner jeg paper trading med en walk-forward-test?
Begynd med beslutningerne, gå videre til ordrerne og derefter til fills. For hver beslutning i paper trading skal du afspille den samme strategiversion på den samme inputhistorik og sammenligne, hvad strategien vidste på det pågældende tidspunkt. En nyttig registrering til at kontrollere overensstemmelse omfatter:
- Strategiversion og parametre, herunder udvælgelsesvinduet, der gav dem.
- Inputværdier med både hændelsestidspunkt og tidspunktet, hvor de blev tilgængelige.
- Signal, målposition, aktuel position og foreslået ordre.
- Ordrebegrænsninger, gebyrer, funding og oplysninger om simulerede fills.
- Kontantbeholdning og positionsstatus før og efter eksekvering.
Hvis signalerne er forskellige, så undersøg datatiming og kodeversioner. Hvis signalerne stemmer overens, men ordrerne er forskellige, så undersøg størrelsesberegning, handelspladsens regler og porteføljens tilstand. Hvis ordrerne stemmer overens, men fills er forskellige, så undersøg antagelserne om eksekvering. Hold lagene adskilt; ellers får ét enkelt resultatmål dig til at lede det forkerte sted.
Hvornår er afvigelsen tegn på, at strategien er gået i stykker?
Når systemkæden stemmer overens, kan du sammenligne resultater over en meningsfuld fælles periode og undersøge, om strategien opfører sig som tiltænkt. En håndfuld paper-handler kan hurtigt afsløre et ødelagt tidsstempel eller en fejl i ordrevejen. Den kan ikke pålideligt fortælle dig, at strategiens gennemsnitlige afkast har ændret sig. Det kræver nok observationer, og det nødvendige antal afhænger af, hvor støjende og klyngede afkastene er.
Markedsforholdene kan også ændre sig. Et bredere spread eller funding, der vedvarende bliver ugunstig, kan skade strategien, selv når alle beslutninger stemmer overens. Det er en reel ændring i handelsforholdene, ikke en valideringsfejl. Registrer omkostninger og eksponeringer sammen med afkast, så forskellen er synlig.
Walk-forward-validering giver evidens om en udvælgelsesproces på historiske perioder. Paper trading giver evidens om det kørende system under observerede forhold. Når resultaterne afviger, så find først det tidligste punkt, hvor registreringerne ikke længere stemmer overens. Det overraskende tal er ofte ikke Sharpe. Det er den lille forskel i eksekvering eller data, der får de to eksperimenter til at besvare forskellige spørgsmål.
← Alle indlæg
