Fyra tal kan berätta en obekväm historia: en walk-forward-Sharpe på 1.4, 312 historiska affärer, 46 pappersaffärer och ett gap på 18 baspunkter mellan backtestets och pappershandelns fyllnadspriser. Sharpe-talet hamnar i rubriken. De 18 baspunkterna kan förklara varför strategin känns annorlunda innan det finns tillräckligt med historik från pappershandeln för att bedöma dess resultat.
Walk-forward-testning undersöker om en forskningsprocess hade kunnat välja en strategi med hjälp av historiska data och utvärdera den på senare data. Pappershandel undersöker om ett system i drift, med sina aktuella data, klockor, orderlogik och fyllningar, beter sig som den testade processen. Det är närliggande frågor, men den andra får inte automatiskt svar av den första.
Vad visar walk-forward-validering egentligen?
Säg att du tränar eller väljer en strategi på sex månaders data och sedan utvärderar den på nästa månad. Flytta fram fönstret och upprepa. Om varje testmånad hålls utanför motsvarande urvalsprocess ger övningen belägg för resultat under en rad historiska förhållanden.
Den visar inte att pappershandel kommer att återskapa samma beslut eller fyllningar. Det historiska testet kan använda avslutade staplar, en fast avgiftsmodell och en förenklad modell för marknadsorder. Den löpande pappershandeln tar emot data allt eftersom de kommer in och skickar simulerade order genom en annan process. Den ena kan vara välgjord samtidigt som den andra innehåller en bristande överensstämmelse.
Därför är 46 pappersaffärer jämfört med 312 i walk-forward-urvalet inte i sig ett avgörande besked. Kontrollera jämförelseperioden, signalfrekvensen, öppna positioner vid periodgränserna och om båda antalen bygger på samma definition av en affär. En sex veckor lång papperskörning kan inte matcha antalet affärer i ett års rullande tester.
Varför säger fyllnadsgapet så mycket?
Ett genomsnittligt gap på 18 baspunkter bör brytas ned innan du tolkar en aktiekurva från pappershandeln. Mäts det från backtestets antagna fyllnadspris till simulatorns fyllnadspris, eller från mittkursen vid beslutstillfället till fyllnadspriset i pappershandeln? Det är olika mått. Logga beslutspriset, priset när ordern når marknaden, simulerad fyllning, avgifter och eventuell finansiering var för sig.
| Observerad skillnad | Första kontrollen | Varför det spelar roll |
|---|---|---|
| Färre pappersaffärer | Tidsstämplar för signaler och behörighetsregler | En saknad eller försenad indata kan hindra beslut |
| Samma affärer, sämre fyllningar | Ordertyp, spread, marknadspåverkan och avgiftsnivå | Backtestet kan anta en billigare exekveringsprocess |
| Olika positionsstorlekar | Kontanter, kontraktsmultiplikator och avrundning | Små skillnader i enheter ackumuleras över flera order |
| Avvikelse efter omstart | Återställd position och väntande order | Pappershandeln kan återupptas från ett annat tillstånd |
Ett backtest som köper vid nästa stapels öppning kan till exempel likna en marknadsorder i pappershandeln för ett likvidt instrument. Men om pappersordern når marknaden efter en kraftig rörelse omfattar gapet både tidsförskjutning och marknadsrörelse, utöver exekveringskostnaden. Om alla 18 baspunkter kallas ”slippage” döljs orsaken.
Hur jämför jag pappershandel med ett walk-forward-test?
Börja med besluten, fortsätt med orderna och avsluta med fyllningarna. För varje beslut i pappershandeln kör du om samma strategiversion på samma indatahistorik och jämför vad den hade tillgång till just då. En användbar logg för att kontrollera överensstämmelse innehåller:
- Strategiversion och parametrar, inklusive urvalsfönstret som gav dem.
- Indatavärden med både händelsetid och tillgänglighetstid.
- Signal, målposition, aktuell position och föreslagen order.
- Orderbegränsningar, avgifter, finansiering och detaljer om simulerad fyllning.
- Kontant- och positionstillstånd före och efter exekvering.
Om signalerna skiljer sig åt, granska datatiming och kodversioner. Om signalerna stämmer överens men orderna skiljer sig åt, granska positionsstorlek, handelsplatsregler och portföljtillstånd. Om orderna stämmer överens men fyllningarna skiljer sig åt, granska exekveringsantagandena. Håll isär de här lagren; annars får en enda resultatsiffra dig att leta på fel ställe.
När är avvikelsen ett tecken på att strategin inte fungerar?
När datapipelinen stämmer överens kan du jämföra resultat över en meningsfull gemensam period och granska strategins avsedda beteende. Några få pappersaffärer kan snabbt avslöja en felaktig tidsstämpel eller orderprocess. De räcker inte för att på ett tillförlitligt sätt visa att strategins genomsnittliga avkastning har förändrats. Det krävs tillräckligt många observationer, och hur många beror på hur brusig och klustrad avkastningen är.
Marknadsförhållandena kan också förändras. En bredare spread eller finansiering som blir ihållande ofördelaktig kan skada strategin även när varje beslut stämmer överens. Det är en verklig förändring i handelsförhållandena, inte ett valideringsfel. Dokumentera kostnader och exponeringar tillsammans med avkastningen så blir skillnaden tydlig.
Walk-forward-validering ger belägg för hur en urvalsprocess fungerar under historiska perioder. Pappershandel ger belägg för hur systemet i drift fungerar under observerade förhållanden. När resultaten avviker bör du först hitta den tidigaste punkt där loggarna skiljer sig åt. Det överraskande talet är ofta inte Sharpe-talet. Det är den lilla skillnaden i exekvering eller data som gör att de två experimenten besvarar olika frågor.
← Alla inlägg
