Fire tall kan fortelle en ubehagelig historie: en walk-forward-Sharpe på 1.4, 312 historiske handler, 46 papirhandler og et avvik på 18 basispunkter mellom fyllingsprisene i papirsimuleringen og backtesten. Sharpe-tallet får overskriften. De 18 basispunktene kan forklare hvorfor strategien føles annerledes før det finnes nok historikk fra papirsimuleringen til å vurdere resultatene.
Walk-forward-testing undersøker om en forskningsprosess kunne ha valgt en strategi basert på historiske data og evaluert den på senere data. Papirhandel undersøker om et system som kjører, med dagens data, klokker, ordrelogikk og fyllinger, oppfører seg som den testede prosessen. Dette er beslektede spørsmål, men det første gir ikke automatisk svar på det andre.
Hva fastslår walk-forward-validering egentlig?
Si at du trener eller velger en strategi på 6 måneders data og deretter evaluerer den på den påfølgende måneden. Flytt vinduet fremover og gjenta. Hvis hver testmåned holdes utenfor den tilhørende utvelgelsesprosessen, gir øvelsen deg evidens for resultatene under en rekke historiske forhold.
Det fastslår ikke at papirhandel vil gjenskape de samme beslutningene eller fyllingene. Den historiske testen kan bruke ferdigstilte stolper, en fast gebyrplan og en forenklet modell for markedsordrer. Den løpende papirsimuleringen mottar data etter hvert som de kommer inn og sender simulerte ordrer gjennom en annen bane. Det ene kan være solid mens det andre har et misforhold.
Derfor er ikke 46 papirhandler mot 312 i walk-forward-utvalget i seg selv noen dom. Sjekk sammenligningsperioden, signalfrekvensen, åpne posisjoner ved periodenes grenser og om begge antallene bruker samme definisjon av en handel. En papirkjøring på 6 uker kan ikke matche antallet handler i rullerende tester over et år.
Hvorfor sier avviket i fyllingspris så mye?
Et gjennomsnittlig avvik på 18 basispunkter bør brytes ned før du tolker en egenkapitalkurve fra papirsimuleringen. Måles det fra backtestens antatte fyllingspris til simulatorens fyllingspris, eller fra midtkursen på beslutningstidspunktet til fyllingsprisen i papirsimuleringen? Dette måler ulike ting. Registrer beslutningsprisen, prisen når ordren ankommer, den simulerte fyllingsprisen, gebyrene og eventuell funding hver for seg.
| Observert forskjell | Første kontroll | Hvorfor det er viktig |
|---|---|---|
| Færre papirhandler | Tidsstempler for signaler og regler for når handler kan utføres | Manglende eller forsinkede inndata kan føre til at beslutninger uteblir |
| Samme handler, dårligere fyllinger | Ordretype, spread, markedspåvirkning og gebyrnivå | Backtesten kan anta en billigere eksekveringsbane |
| Ulike posisjonsstørrelser | Kontanter, kontraktsmultiplikator og avrunding | Små avvik i enheter forplanter seg gjennom ordrene |
| Avvik etter omstart | Gjenopprettet posisjon og ventende ordrer | Papirsimuleringen kan starte opp igjen fra en annen tilstand |
For eksempel kan en backtest som kjøper ved åpningen av neste stolpe, ligne på en markedsordre i papirsimuleringen for et likvid instrument. Men hvis papirordren ankommer etter en kraftig kursbevegelse, omfatter avviket både timing og markedsbevegelse, i tillegg til eksekveringskostnaden. Hvis du kaller alle de 18 basispunktene «slippage», skjuler du årsaken.
Hvordan sammenligner jeg papirhandel med en walk-forward-test?
Begynn med beslutningene, gå så videre til ordrene og deretter fyllingene. For hver beslutning i papirsimuleringen kjører du den samme strategiversjonen på nytt med den samme inndatah historikken og sammenligner hva strategien visste akkurat da. En nyttig logg for å kontrollere samsvar inneholder:
- Strategiversjon og parametere, inkludert utvelgelsesvinduet som ga dem.
- Inndataverdier med både hendelsestidspunkt og tidspunktet da de ble tilgjengelige.
- Signal, målposisjon, gjeldende posisjon og foreslått ordre.
- Ordrebegrensninger, gebyrer, funding og detaljer om simulert fylling.
- Kontant- og posisjonstilstand før og etter eksekvering.
Hvis signalene er ulike, undersøk datatiming og kodeversjoner. Hvis signalene stemmer overens, men ordrene er forskjellige, undersøk størrelsesberegning, handelsplassens regler og porteføljetilstand. Hvis ordrene stemmer overens, men fyllingene er ulike, undersøk forutsetningene for eksekvering. Hold disse lagene adskilt; ellers kan ett enkelt resultatmål sende deg på leting på feil sted.
Når er avviket et tegn på at strategien er ødelagt?
Når datarørledningen stemmer overens, sammenligner du resultatene over en meningsfull felles periode og undersøker strategiens tiltenkte oppførsel. Noen få papirhandler kan raskt avdekke et ødelagt tidsstempel eller en feil i ordrebanen. De kan ikke pålitelig fortelle deg om strategiens gjennomsnittsavkastning har endret seg. Det krever nok observasjoner, og det nødvendige antallet avhenger av hvor støyende og klyngede avkastningene er.
Markedsforholdene kan også endre seg. En spread som blir større, eller funding som vedvarende blir ugunstig, kan skade strategien selv om alle beslutningene stemmer overens. Det er en reell endring i handelsforholdene, ikke en valideringsfeil. Før oversikt over kostnader og eksponeringer sammen med avkastningen, så forskjellen blir synlig.
Walk-forward-validering gir evidens for en utvelgelsesprosess på historiske perioder. Papirhandel gir evidens for det løpende systemet under observerte forhold. Når resultatene avviker, finner du først det tidligste punktet der loggene deres ikke stemmer overens. Det overraskende tallet er ofte ikke Sharpe. Det er den lille forskjellen i eksekvering eller data som gjør at de to eksperimentene besvarer ulike spørsmål.
← Alle innlegg
