Walk-forward testiranje naj bi odgovorilo na praktično vprašanje: kako bi se strategija obnesla v naslednjem obdobju nevidenih podatkov, če bi jo večkrat prilagodili samo na podlagi preteklosti? Metoda se zdi preprosta. Izberemo učno okno, prilagodimo strategijo, jo testiramo na naslednjem obdobju, nato okno pomaknemo naprej in postopek ponovimo.
Težava je v tem, da je lahko zaporedje oken videti disciplinirano, informacije pa kljub temu uhajajo čez njihove meje. Posledice sem opazil v sumljivo gladkih donosih zunaj učnega vzorca, nastavitvah parametrov, ki se zdijo nenavadno stabilne, in poslih, pripisanih testnemu obdobju, čeprav so se začeli, še preden bi jih bilo mogoče skleniti.
Napaka 1: Obravnava testnega okna kot praznega lista
Testno okno se začne 1. junija. Signal uporablja 50-dnevno drseče povprečje, zato backtest za ogrevanje izračuna naloži majske cene. To je smiselno: tudi živa strategija bi ohranila stanje svojega kazalnika. Če pa se donos v testnem obdobju začne nabirati že 1. maja, so dnevi ogrevanja postali del rezultata.
Enaka težava z mejo se pojavi pri pozicijah. Recimo, da strategija odpre posel 29. maja in ga zapre 3. junija. Ali naj se dobiček šteje v donosnost testnega obdobja? Le če simulacija jasno določa, kako obravnava pozicije, ki so ob meji že odprte. Sicer lahko test prevzame vstop, izbran na podlagi učnih podatkov, nato pa dobljeni dobiček pripiše testu.
| Postavka na meji | Varna obravnava | Pogosta napaka |
|---|---|---|
| Zgodovina kazalnika | Naložite pretekle sveče za stanje; točkovanje začnite na začetku testa | Donose iz obdobja ogrevanja štejte kot uspešnost testa |
| Odprte pozicije | Zaprite jih, prenesite naprej ali izločite po vnaprej določenem pravilu | Vstop pred testom pripišite testu |
| Naročila in izvršitve | Zahtevajte, da odločitev in izvršitev nastopita v testnem obdobju | Izvršite naročilo, oddano pred mejo |
Čista razdelitev zahteva pravilo za stanje, ne zgolj datuma. Ohranite zgodovino kazalnikov, ki bi jo imel živ proces, vendar točkujte le obdobje, ki ga želite ovrednotiti. Jasno določite obravnavo odprtih pozicij in naročil ter isto pravilo uporabite pri vsakem pomiku okna.
Napaka 2: Dovoliti, da posli prečkajo mejo razdelitve brez obdobja izločitve
Prekrivanje oznak povzroči še eno uhajanje. Predstavljajte si model, naučen na signalih, pri katerih je izid donos v naslednjih petih trgovalnih dneh. Učni primer z zadnjega dne maja uporabi junijske cene, da ugotovi, ali je bila njegova napoved pravilna. Če se test začne 1. junija, je učenje že uporabilo del izida testnega obdobja.
To zlahka spregledamo, ker je vrstica z značilkami datirana na 31. maj. Oznaka sega v prihodnost. Časovna razdelitev, ki upošteva samo datume vrstic, tega prekrivanja ne zazna.
Izločite učne primere, pri katerih se okna izida raztezajo v testno obdobje. Glede na horizont oznake in način sestave značilk pustite tudi presledek med učenjem in testiranjem. Ta presledek, pogosto imenovan embargo, naj ustreza obdobju, v katerem se informacije ali izidi prekrivajo. Petdnevna oznaka ne upravičuje enodnevnega presledka samo zato, ker je graf tako videti čistejši.
Zabeležite celoten časovni razpon, ki ga uporablja vsak učni primer: pogled nazaj pri značilkah, čas odločitve in okno izida. Razdelite podatke po teh razponih, ne zgolj po datumu ob posamezni vrstici.
Napaka 3: Izbira zmagovalca po ogledu vseh pregibov
Tukaj je najbolj mamljiva napaka. Izvedete walk-forward teste za 40 naborov parametrov. Ena kombinacija je videti dobra v več pregibih, zato jo izberete in iste pregibe navedete kot dokaz, da se dobro posplošuje.
Vsak pregib je bil morda neviden, ko ste prilagajali njegov lastni model. Toda zasnovo strategije ste izbrali po pregledu vseh pregibov. Rezultati testov so zdaj usmerjali raziskovalno odločitev, zato so na ravni eksperimenta postali del učnega procesa.
Vodite datiran zapis o tem, katere odločitve so bile sprejete pred posameznim vrednotenjem. Če rezultate walk-forward uporabite za izbiro parametrov, značilk, trgov ali celo testnega okna, prihranite še zadnje nedotaknjeno obdobje za končno vrednotenje. To obdobje odprite samo enkrat, ko so vse odločitve dokončne. Če po ogledu rezultatov znova prilagajate strategijo, to ni več končni test.
Tu je še ena povsem vsakdanja podrobnost: dnevnik eksperimenta shranite, preden prispejo rezultati. Preglednica, urejena po obetavnem zagonu, je slab zapis tega, kar ste dejansko preizkusili.
Kaj mora pokazati verodostojno poročilo o walk-forward testiranju?
Poleg donosov poročajte tudi o postavitvi: datumih učenja in testiranja, pogostosti pomika okna, horizontu oznake, obravnavi ogrevanja, pravilih za pozicije na mejah in številu preizkušenih konfiguracij. Prikažite vsak pregib in skupni rezultat. Visok skupni rezultat, ki temelji na enem srečnem oknu, je treba razumeti drugače kot zmerne rezultate, ponovljene v različnih razmerah.
Walk-forward testiranje lahko v raziskave strategij vnese koristno disciplino, vendar se ta skriva v pravilih za meje in zapisu odločitev. Če jih določite pravilno, vam lahko test nekaj pove o tem, kako bi se raziskovalni proces obnesel skozi čas. Če jih izpustite, je oznaka walk-forward le okras za rezultat, ki je prihodnost že videl.
← Vse objave


