Čtyři čísla vyprávějí nepříjemný příběh: Sharpe ratio 1,4 z walk-forward testu, 312 historických obchodů, 46 obchodů v paper tradingu a rozdíl mezi cenami plnění v paper tradingu a backtestu 18 bazických bodů. Do titulku se dostane Sharpe ratio. Těch 18 bazických bodů může vysvětlit, proč strategie působí jinak, ještě než máme dost výsledků z paper tradingu na posouzení její výkonnosti.
Walk-forward testování zjišťuje, zda by výzkumný proces dokázal vybrat strategii podle historických dat a vyhodnotit ji na pozdějších datech. Paper trading zjišťuje, zda se běžící systém se svými aktuálními daty, časováním, logikou pokynů a plněními chová jako testovaný proces. Jsou to související otázky, ale odpověď na první automaticky neřeší tu druhou.
Co walk-forward validace skutečně potvrzuje?
Řekněme, že strategii trénujete nebo vybíráte na základě šesti měsíců dat a pak ji vyhodnotíte za následující měsíc. Posuňte toto okno a postup opakujte. Pokud každý testovaný měsíc zůstane mimo odpovídající proces výběru, získáte důkazy o výkonnosti v řadě historických podmínek.
Neprokazuje to, že paper trading zopakuje stejná rozhodnutí nebo plnění. Historický test může používat dokončené svíčky, pevný sazebník poplatků a zjednodušený model tržních pokynů. Běžící paper trading přijímá přicházející data a posílá simulované pokyny jinou cestou. Jeden proces může být správný, zatímco druhý obsahuje nesoulad.
Proto samotný rozdíl mezi 46 obchody v paper tradingu a 312 ve vzorku z walk-forward testu nic nerozhoduje. Zkontrolujte srovnávané období, četnost signálů, otevřené pozice na hranicích období a to, zda oba počty používají stejnou definici obchodu. Šestitýdenní běh paper tradingu nemůže počtem obchodů odpovídat roku průběžných testů.
Proč rozdíl v ceně plnění tolik napovídá?
Průměrný rozdíl 18 bazických bodů je třeba rozebrat, než začnete vyvozovat závěry z kapitálové křivky paper tradingu. Měří se od předpokládané ceny plnění v backtestu k ceně plnění v simulátoru, nebo od středové ceny v okamžiku rozhodnutí k ceně plnění v paper tradingu? Jde o odlišná měření. Zaznamenávejte zvlášť cenu při rozhodnutí, cenu při přijetí pokynu, simulované plnění, poplatky a případné financování.
| Pozorovaný rozdíl | První kontrola | Proč na tom záleží |
|---|---|---|
| Méně obchodů v paper tradingu | Časové značky signálů a pravidla způsobilosti | Chybějící nebo opožděný vstup může zabránit rozhodnutí |
| Stejné obchody, horší plnění | Typ pokynu, spread, dopad na trh a poplatková úroveň | Backtest může předpokládat levnější způsob exekuce |
| Jiné velikosti pozic | Hotovost, násobitel kontraktu a zaokrouhlování | I malé nesrovnalosti v jednotkách se při zadávání pokynů sčítají |
| Odchylka po restartu | Obnovená pozice a čekající pokyny | Paper trading může pokračovat z jiného stavu |
Například backtest, který nakupuje při otevření následující svíčky, může u likvidního instrumentu vypadat podobně jako tržní pokyn v paper tradingu. Pokud však pokyn v paper tradingu dorazí až po prudkém pohybu, rozdíl zahrnuje vedle nákladů na exekuci také časování a pohyb trhu. Když celých 18 bazických bodů označíme za „skluz“, zastřeme příčinu.
Jak porovnat paper trading s walk-forward testem?
Začněte rozhodnutími, pokračujte pokyny a skončete u plnění. U každého rozhodnutí v paper tradingu přehrajte stejnou verzi strategie nad stejnou historií vstupních dat a porovnejte, jaké informace měla v daném okamžiku k dispozici. Užitečný záznam pro kontrolu shody obsahuje:
- Verzi strategie a parametry včetně výběrového okna, na jehož základě byly zvoleny.
- Vstupní hodnoty s časem události i časem dostupnosti.
- Signál, cílovou pozici, aktuální pozici a navržený pokyn.
- Omezení pokynů, poplatky, financování a podrobnosti simulovaného plnění.
- Stav hotovosti a pozice před exekucí i po ní.
Pokud se signály liší, prověřte časování dat a verze kódu. Pokud se signály shodují, ale pokyny se liší, prověřte velikost pozic, pravidla burzy a stav portfolia. Pokud se shodují pokyny, ale liší se plnění, prověřte předpoklady exekuce. Tyto vrstvy posuzujte odděleně; jinak vás jediné číslo výkonnosti pošle hledat problém na špatné místo.
Kdy odchylka ukazuje na nefunkční strategii?
Až bude celý procesní řetězec sladěný, porovnejte výsledky za smysluplné společné období a prozkoumejte zamýšlené chování strategie. Několik obchodů v paper tradingu může rychle odhalit chybnou časovou značku nebo cestu pokynu. Spolehlivě však neukáže, že se změnil průměrný výnos strategie. K tomu je potřeba dostatek pozorování; požadovaný počet závisí na tom, jak jsou výnosy kolísavé a nakolik se shlukují v čase.
Změnit se mohou i tržní podmínky. Širší spread nebo dlouhodobě nepříznivé financování mohou strategii uškodit, i když se každé rozhodnutí shoduje. Jde o skutečnou změnu obchodních podmínek, ne o chybu validace. Vedle výnosů zaznamenávejte také náklady a expozice, abyste tento rozdíl dokázali rozpoznat.
Walk-forward validace poskytuje důkazy o výběrovém procesu v historických obdobích. Paper trading poskytuje důkazy o běžícím systému v pozorovaných podmínkách. Když se jejich výsledky rozcházejí, nejprve najděte nejčasnější bod, ve kterém se jejich záznamy liší. Překvapivým číslem často není Sharpe ratio. Je to drobný rozdíl v exekuci nebo datech, kvůli němuž oba experimenty odpovídají na různé otázky.
← Všechny články
