Walk-forward testování má odpovědět na praktickou otázku: jak by se strategie chovala v následujícím úseku dosud neviděných dat, kdybyste ji opakovaně přizpůsobovali pouze minulým datům? Metoda zní jednoduše. Zvolíte trénovací okno, strategii přizpůsobíte, otestujete ji na následujícím období, pak okno posunete a postup zopakujete.
Problém je v tom, že posloupnost oken může působit disciplinovaně, a přitom přes jejich hranice stále unikat informace. Viděl jsem, jak se to projevuje podezřele hladkými výnosy mimo vzorek, nastaveními parametrů, která vypadají neobyčejně stabilně, i obchody započítanými do testovacího období, které začaly dřív, než vůbec mohly být zadány.
Chyba 1: Považovat testovací okno za čistý začátek
Testovací okno začíná 1. června. Signál používá 50denní klouzavý průměr, takže backtest načte květnové ceny, aby se výpočet správně inicializoval. To dává smysl: živá strategie by také navázala na předchozí stav indikátoru. Pokud se však výnos za testovací období začne počítat už od 1. května, staly se z těchto zahřívacích dnů součást výkonnosti.
Stejný problém na hranici období se týká pozic. Představte si, že strategie otevře obchod 29. května a uzavře ho 3. června. Má se zisk počítat do výkonnosti testovacího období? Jen pokud simulace jasně stanoví, jak zachází s pozicemi otevřenými už na jeho začátku. Jinak může test převzít vstup zvolený na základě trénovacích dat a následný zisk připsat testovacímu období.
| Položka na hranici | Bezpečné zacházení | Častá chyba |
|---|---|---|
| Historie indikátoru | Načíst předchozí svíčky pro zachování stavu; výkonnost začít počítat od začátku testu | Započítat výnosy ze zahřívacího období do výkonnosti testu |
| Otevřené pozice | Uzavřít je, držet dál nebo vyloučit podle stanoveného pravidla | Připsat testu vstup do pozice před jeho začátkem |
| Příkazy a plnění | Vyžadovat, aby rozhodnutí i provedení nastaly v testovacím období | Provést příkaz vytvořený před hranicí období |
Čisté rozdělení vyžaduje pravidla pro stav, nejen datum. Zachovejte historii indikátorů, kterou by měl živý proces, ale výkonnost počítejte pouze za období, které chcete vyhodnotit. Jasně stanovte, jak naložíte s otevřenými pozicemi a příkazy, a stejné pravidlo uplatňujte při každém posunu okna.
Chyba 2: Nechat obchody překročit hranici rozdělení bez ochranné mezery
Dalším zdrojem úniku jsou překrývající se cílové hodnoty. Představte si model natrénovaný na signálech, jejichž výsledkem je výnos za následujících pět obchodních dnů. Trénovací příklad z posledního květnového dne používá červnové ceny k určení, zda byla jeho predikce správná. Pokud test začíná 1. června, trénování už využilo část výsledku z testovacího období.
To se snadno přehlédne, protože řádek s příznaky je datovaný 31. května. Cílová hodnota ale sahá do budoucnosti. Časové rozdělení založené pouze na datech řádků tento překryv nezachytí.
Odstraňte trénovací příklady, jejichž časové okno výsledku zasahuje do testovacího období. V závislosti na horizontu cílové hodnoty a způsobu tvorby příznaků ponechte mezi trénováním a testováním také mezeru. Tato mezera, často nazývaná embargo, by měla odpovídat období, v němž se překrývají informace nebo výsledky. Pětidenní cílová hodnota neospravedlňuje jednodenní mezeru jen proto, že díky ní graf vypadá čistěji.
Zapište celý časový rozsah, který každý trénovací příklad využívá: zpětné okno příznaků, čas rozhodnutí a okno výsledku. Rozdělujte podle těchto rozsahů, nejen podle data uvedeného u každého řádku.
Chyba 3: Vybrat vítěze až poté, co uvidíte všechny foldy
Tady číhá nejlákavější chyba. Provedete walk-forward testy se 40 sadami parametrů. Jedna kombinace vypadá dobře v několika foldech, a tak ji vyberete a stejné foldy uvedete jako důkaz, že zobecňuje.
Každý fold mohl být neviděný při trénování svého modelu. Návrh strategie jste ale vybrali až poté, co jste prohlédli všechny foldy. Výsledky testů tak ovlivnily výzkumné rozhodnutí, a na úrovni experimentu se proto staly součástí trénovacího procesu.
Veďte datovaný záznam o tom, která rozhodnutí padla před každým vyhodnocením. Pokud pomocí výsledků walk-forward testů vybíráte parametry, příznaky, trhy nebo dokonce testovací okno, vyhraďte si pro závěrečné vyhodnocení jedno poslední nedotčené období. Otevřete je pouze jednou, až budou rozhodnutí uzavřená. Pokud po zhlédnutí výsledků začnete znovu ladit, už nejde o závěrečný test.
Je tu ještě jeden obyčejný detail: záznam experimentu uložte ještě předtím, než se objeví výsledky. Tabulka upravená po slibném běhu je špatným záznamem toho, co jste skutečně vyzkoušeli.
Co by měla obsahovat důvěryhodná zpráva o walk-forward testu?
Vedle výnosů uveďte také nastavení: data trénování a testování, četnost posunu okna, horizont cílové hodnoty, zacházení se zahřívacím obdobím, pravidla pro pozice na hranicích a počet vyzkoušených konfigurací. Ukažte každý fold i souhrn. Vysoký celkový výsledek založený na jediném šťastném okně je třeba číst jinak než skromnější výsledky opakované v různých podmínkách.
Walk-forward testování může výzkumu strategií dát užitečný řád, ale ten spočívá v pravidlech pro hranice a v záznamu rozhodnutí. Když je nastavíte správně, test vám může něco říct o tom, jak by výzkumný proces obstál v průběhu času. Když je vynecháte, označení walk-forward je jen ozdoba výsledku, který už budoucnost viděl.
← Všechny články


