Backtesting, walk-forward-optimalisering og godkjenningskrav
Hvordan resultater produseres med reelle kostnader, og hvordan en strategi opptjener forfremmelse.
Reelle børsgebyrer og kostnader
Backtester bruker hver handelsplass sine publiserte maker- og taker-gebyrer, finansieringsbetalinger på evigvarende futures, og en markedspåvirkningsmodell for hver fylling. Egenkapitalen markedsverdivurderes bar for bar, og posisjoner med belåning kan bli likvidert ved handelsplassens vedlikeholdsmargin. Ingenting rapporteres brutto av kostnader.
Posisjonsstørrelse og belåning
Strategier størrelsesbestemmer posisjoner i forhold til kontoens egenkapital, ikke i faste beløp. Den forespurte belåningen føres inn i motoren og begrenses til handelsplassens tak: spot- og opsjonsplasser holder seg til én, futuresplasser tillater mer. Spot-kontoer kan ikke shorte, og strategiens basisklasse håndhever dette.
Optimalisering i tre faser
Sensitivitetsanalysen varierer hver parameter med tjue prosent for å finne bratte fall i resultatene. Walk-forward-optimaliseringen kjører Bayesiansk søk på tvers av rullerende vinduer, og sporer resultater i utvalget og utenfor utvalget hver for seg. Den endelige holdout-perioden, den siste femtedelen av dataene, testes én gang og må holde stand mot walk-forward-resultatet utenfor utvalget.
Oppdagelse av overtilpasning
En strategi avvises når resultatet utenfor utvalget er negativt, når forholdet mellom resultatet i utvalget og resultatet utenfor utvalget er for høyt, når sannsynligheten for overtilpasning i backtesten er over halvparten, eller når den deflaterte Sharpe-ratioen, som tar hensyn til hvor mange forsøk som ble kjørt, ikke lenger understøtter resultatet.
Forfremmelsesporter
Minstekrav for forfremmelse håndheves i koden ut fra en publisert kriteriefil. Harde porter dekker overtilpasning, ikke-positive resultater utenfor utvalget, mislykkede holdout-tester og null handler, og kan ikke fravikes. Myke porter dekker Sharpe-ratio, profittfaktor, drawdown og andel vinnende handler, og kan bare fravikes med en loggført begrunnelse som Risikoansvarlig bekrefter eller avviser.
Å lese en backtest ærlig
Sammenlign egenkapitalkurven med drawdown, sjekk hvor mange handler resultatet hviler på, og vurder gjennomsnittlig avkastning per handel opp mot kostnaden for en fullstendig handelsrunde (round-trip). En høy avkastning fra en håndfull handler, eller en Sharpe-ratio som forsvinner utenfor utvalget, er et varselsignal snarere enn et resultat.