Backtest se hodí spíš k odmítnutí strategie než k jejímu výběru. Jakmile podle historické výkonnosti vybíráte z mnoha variant, backtest se stává součástí experimentu a zdánlivý vítěz si s sebou nese skryté náklady: zkreslení výběrem.
To zní nelogicky. Backtestujeme přece proto, abychom zjistili, která strategie funguje. Jenže každá volba řízená stejnou historií ukrojí část její vypovídací hodnoty. Změníte délku okna, prahovou hodnotu, univerzum, den rebalancování nebo pravidlo stop-lossu poté, co uvidíte výsledky, a kladete datům další otázku. Nakonec už slyšela tolik otázek, že vám může náhodou dát přesvědčivou odpověď.
Proč je nejlepší výsledek méně důvěryhodný, když testujeme více strategií?
Představte si, že testujete 100 strategií bez skutečné výhody. Jejich výnosy se stejně budou lišit. Pokud jsou odhady výkonnosti přibližně nezávislé a šum má normální rozdělení, nejlepší Sharpe z nich bude kladný, přestože skutečný Sharpe každé strategie je nulový.
Hrubý odhad očekávaného maxima ze 100 nezávislých výběrů ze standardního normálního rozdělení je 2.5 směrodatné odchylky nad průměrem. Berte to jako ilustraci, ne jako korekci, kterou lze jednoduše vložit do reportu: skutečné varianty strategií spolu korelují, odhady Sharpe mají vlastní výběrovou chybu a výnosy se jen zřídka chovají jako čisté normální výběry. Praktický závěr platí i přes tyto výhrady. Čím více kandidátů prověřujete, tím větší je pravděpodobnost, že nejlepší skóre odráží příznivý šum.
A „kandidát“ není jen uložený backtest. Patří sem každá volba, kterou uděláte poté, co se podíváte na výsledek: rozšíření univerza, protože graf vypadá roztřeseně, vynechání roku, který výsledkům škodí, nebo změna předpokladu o poplatcích, dokud se křivka nevzpamatuje. I tato rozhodnutí se počítají, i když jim nikdo nepřiřadil číslo verze.
Než spustíte další variantu, začněte vést výzkumný deník
Zaznamenávejte celé hledání včetně zavržených nápadů a důvodů každé změny. Získáte tak poctivější přehled o tom, nakolik byl výsledek vybrán, a hůř se vám stane, že si budete pamatovat jen slibné pokusy.
| Zaznamenávejte | Příklad | Proč je to důležité |
|---|---|---|
| Hypotéza | Krátkodobý návrat k průměru je silnější po neobvykle velkých pohybech BTC perp kontraktů | Odděluje samotný nápad od jeho konečného nastavení parametrů |
| Varianta a časové razítko | 48hodinový signál, 2026-10-09, běh 014 | Počítá prověřené varianty a propojuje výsledky s kódem a daty |
| Pravidlo výběru | Výběr podle čistého Sharpe; nejméně 100 obchodů | Ukazuje, co znamenalo „nejlepší“ ještě před porovnáním |
| Zamítnuté varianty | Okna 12, 24 a 72 hodin; všechny zachovány | Zabraňuje tomu, aby viditelný vítěz zastínil konkurenci |
Deník hledání nevrátí zpět. Zviditelní ho, což je první krok k posouzení, jakou míru důvěry si vítěz zaslouží.
Vyhraďte data, ke kterým se výzkumný proces nebude opakovaně vracet
Rozdělte data podle času a poslední období chraňte. Strategii vyvíjejte na jednom úseku, rozhodujte se podle validačního úseku a zmrazenou strategii jednou vyhodnoťte na pozdějším rezervním vzorku. Můžete například použít období 2018–2022 pro vývoj, rok 2023 pro validaci a vyhradit roky 2024–2025. Jde jen o nástin: rozdělení by měl určovat trh, horizont strategie a dostupnost dat.
Sepište, co znamená „zmrazená“ strategie: signál, univerzum, velikost pozic, předpoklady exekuce i případná pravidla pro chybějící data. Pokud výsledek na rezervním vzorku zklame a strategii podle něj upravíte, toto období se stalo validačními daty. Další poctivé vyhodnocení bude potřebovat nové důkazy.
Právě tady se projeví problém malých vzorků. Strategie, která na rezervním vzorku obchoduje 18krát, si nezaslouží jednoznačný verdikt. Vedle statistik výnosů uvádějte počet obchodů i míru nejistoty; samotný průměr může vytvořit dojem jistoty i u malého vzorku.
Znamená to, že backtesty jsou k výběru strategií k ničemu?
Ne. Kritici správně upozorňují, že přísné rezervní vzorky mohou být neefektivní: trhy se mění, historická data jsou krátká a nedotčené období může představovat jen jeden neobvyklý tržní režim. Pečlivě navržený walk-forward proces může ukázat, jak se strategie chová při postupném posouvání dostupné historie. Opakované ladění tím ale není zadarmo. Pokud zkoumáte každý fold a strategii upravujete, tyto foldy ovlivnily výzkum.
Backtesty používejte k odhalení způsobů, jakými může strategie selhat, k porovnání malého počtu nápadů opřených o tržní mechanismus a k ověření, zda výsledky obstojí při realistických změnách poplatků, funding sazeb, tržního dopadu a parametrů. Veďte deník. Zachovejte závěrečný rezervní vzorek. Pak slibnou, zmrazenou verzi vyzkoušejte v paper tradingu, kde se mohou projevit provozní nesrovnalosti.
Nejlepší odpověď backtestu často zní: „Tento nápad selhává za podmínek, které už dokážeme rozpoznat.“ Když říká: „Tohle je nejlepší strategie,“ zeptejte se, na kolik dalších otázek měl odpovědět.
← Všechny články
