A walk-forward tesztelésnek egy gyakorlati kérdésre kell választ adnia: ha egy stratégiát ismételten, kizárólag a múlt alapján illesztettél volna, hogyan teljesített volna a következő, addig nem látott időszakban? A módszer egyszerűnek tűnik. Válassz egy tanítási ablakot, illeszd a stratégiát, teszteld előre, majd gördítsd tovább az ablakot, és ismételd meg.
A gond az, hogy az ablakok sorozata fegyelmezettnek tűnhet, miközben az információ mégis átszivárog a határokon. A károkat gyanúsan sima mintán kívüli hozamokban, meghökkentően stabilnak látszó paraméterbeállításokban, valamint olyan tesztidőszakhoz rendelt ügyletekben láttam megjelenni, amelyek már azelőtt elkezdődtek, hogy egyáltalán végre lehetett volna hajtani őket.
1. hiba: Úgy kezeljük a tesztablakot, mintha tiszta lap lenne
A tesztablak június 1-jén kezdődik. A jel egy 50 napos mozgóátlagot használ, ezért a backteszt a számítás bemelegítéséhez betölti a májusi árakat. Ez észszerű: egy éles stratégia is továbbvinné az indikátor állapotát. Ha azonban a tesztidőszaki hozam május 1-jén kezd gyűlni, a bemelegítési napok teljesítményként jelennek meg.
Ugyanez a határprobléma a pozícióknál is felmerül. Tegyük fel, hogy a stratégia május 29-én nyit egy ügyletet, és június 3-án zárja. A nyereség a tesztidőszaki teljesítmény részének számítson? Csak akkor, ha a szimuláció egyértelműen meghatározza, hogyan kezeli a határ átlépésekor már nyitott pozíciókat. Ellenkező esetben a teszt átvehet egy, a tanítási adatok alapján kiválasztott belépést, majd a tesztidőszakhoz írhatja az abból származó nyereséget.
| Határelem | Biztonságos kezelés | Gyakori hiba |
|---|---|---|
| Indikátorelőzmény | Töltsd be a korábbi gyertyákat az állapothoz; az értékelést a teszt kezdetén indítsd | A bemelegítési hozamokat is tesztteljesítményként számítod el |
| Nyitott pozíciók | Egy előre rögzített szabály szerint zárd le, vidd tovább vagy zárd ki őket | A teszt előtti belépést a teszt javára írod |
| Megbízások és teljesülések | Követeld meg, hogy a döntés és a végrehajtás is a tesztidőszakban történjen | A határ előtt keletkezett megbízást teljesíted |
A tiszta felosztáshoz az állapotra vonatkozó szabály kell, nem csupán egy dátum. Őrizd meg azt az indikátorelőzményt, amellyel az éles folyamat is rendelkezne, de csak azt az időszakot értékeld, amelyet mérni akarsz. Határozd meg egyértelműen, mi történik a nyitott pozíciókkal és megbízásokkal, és minden ablakgördítésnél ugyanazt a szabályt alkalmazd.
2. hiba: Embargó nélkül hagyjuk, hogy az ügyletek átnyúljanak a felosztási határon
Az átfedő címkék újabb adatszivárgást okoznak. Képzelj el egy modellt, amelyet olyan jelzéseken tanítasz, amelyek kimenetele a következő öt kereskedési nap hozama. Egy május utolsó napjáról származó tanítópéldánál júniusi árak döntik el, hogy a modell előrejelzése helyes volt-e. Ha a teszt június 1-jén kezdődik, a tanítás már felhasználta a teszt kimenetelének egy részét.
Ezt könnyű nem észrevenni, mert maga a jellemzősor május 31-i dátumot visel. A címke viszont a jövőbe nyúlik. A kizárólag a sorok dátumaira alkalmazott időbeli felosztás nem látja ezt az átfedést.
Távolítsd el azokat a tanítópéldákat, amelyek kimeneti időablaka belenyúlik a tesztidőszakba. A címke időhorizontjától és a jellemzők felépítésétől függően hagyj rést is a tanítás és a tesztelés között. A rés, amelyet gyakran embargónak neveznek, igazodjon ahhoz az időszakhoz, amelyben az információk vagy a kimenetek átfedhetnek. Egy 5 napos címke nem indokol 1 napos rést pusztán azért, mert attól szebbnek látszik a grafikon.
Írd le a teljes időtartamot, amelyet minden tanítópélda felhasznál: a jellemzők visszatekintési ablakát, a döntés időpontját és a kimeneti időablakot. Ezeket az időtartamokat vedd alapul a felosztásnál, ne csak az egyes sorok mellett feltüntetett dátumot.
3. hiba: Az összes fold megtekintése után választjuk ki a győztest
Íme a legcsábítóbb hiba. 40 paraméterkészleten futtatsz walk-forward teszteket. Egy kombináció több foldban is jól teljesít, ezért kiválasztod, majd ugyanezeket a foldokat mutatod be annak bizonyítékaként, hogy a stratégia általánosítható.
Lehet, hogy az egyes foldokat nem látta a modell a saját illesztésekor. A stratégiatervet azonban azután választottad ki, hogy megvizsgáltad az összes foldot. A teszteredmények így már befolyásoltak egy kutatási döntést, tehát kísérleti szinten a tanítási folyamat részévé váltak.
Vezess dátummal ellátott nyilvántartást arról, milyen döntéseket hoztál az egyes értékelések előtt. Ha a walk-forward eredményeket paraméterek, jellemzők, piacok vagy akár a tesztidőszak kiválasztására használod, tarts fenn egy érintetlen végső időszakot az utolsó értékeléshez. Ezt az időszakot csak egyszer nyisd meg, miután véglegesítetted a döntéseket. Ha az eredmény megtekintése után visszatérsz a hangoláshoz, az már nem végső teszt.
Van itt egy prózai részlet: mentsd el a kísérleti naplót, mielőtt megérkeznek az eredmények. Egy ígéretes futás után szerkesztett táblázat rosszul dokumentálja, hogy valójában mit próbáltál ki.
Mit mutasson be egy hiteles walk-forward jelentés?
A hozamok mellett a beállításokat is közöld: a tanítási és tesztdátumokat, az ablakgördítés gyakoriságát, a címke időhorizontját, a bemelegítés kezelését, a pozíciókra vonatkozó határszabályt és a kipróbált konfigurációk számát. Az összesített eredmény mellett mutasd be az egyes foldokat is. Másként kell értelmezni az egyetlen szerencsés időszakból származó erős összeredményt, mint a különböző körülmények között ismétlődő, mérsékelt eredményeket.
A walk-forward tesztelés hasznos fegyelmet vihet a stratégiai kutatásba, de ez a fegyelem a határszabályokon és a döntések nyilvántartásán múlik. Ha ezeket jól határozod meg, a teszt elárulhat valamit arról, hogyan működhet egy kutatási folyamat az idő múlásával. Ha kihagyod őket, a walk-forward címke csupán díszítés egy olyan eredményen, amely már látta a jövőt.
← Összes bejegyzés


