Tisíc variant strategie. Naměřený Sharpeho poměr vítěze 2.0. Míra falešně pozitivních výsledků 5%. Ta čísla znějí jako přesvědčivý výsledek, dokud se nezeptáte, kolik pokusů vedlo k jeho nalezení. Při dostatečném počtu pokusů může přesvědčivý backtest vzniknout čistě z šumu.
Překvapivým číslem není Sharpeho poměr. Je to počet pokusů. Každé nastavení okna indikátoru, vstupní práh, volba instrumentů i zavržený nápad představují další příležitost vybrat šťastný výsledek. Když váš výzkumný postup na tyto pokusy zapomene, zapomene na ně i výpočet míry jistoty.
Proč vítězná strategie vypadá lépe, když jich zkoušíme víc?
Představte si, že testujete 1,000 strategií bez skutečné výhody. U každé je 5% pravděpodobnost, že podle běžného testu bude vypadat statisticky významně. V reálném výzkumu nejsou tyto pokusy dokonale nezávislé, základní intuice ale platí: čím více kandidátů prověříte, tím větší je pravděpodobnost, že některý bude náhodou vypadat výjimečně.
I kdyby byl každý kandidát nezávislý, pravděpodobnost, že alespoň jeden překročí práh 5%, je přibližně 99.4%. V praxi se blízká nastavení parametrů často chovají podobně, takže 1,000 variant nepředstavuje 1,000 nezávislých hodů mincí. Efektivní počet pokusů však také málokdy činí právě 1.
V noteboocích jsem narazil na jednu drobnou past: výzkumník testuje lookbacky od 5 do 100, vykreslí plochu Sharpeho poměru a pak uvede její pěkně vypadající vrchol. Plocha pomáhá pochopit citlivost strategie. Vrchol je ale také výsledkem hledání a zaslouží si menší důvěru než práh stanovený před experimentem.
Co se počítá jako výzkumný pokus?
Počítejte rozhodnutí, která ovlivnily pozorované výsledky. Pokusem může být backtest v kódu, ale také ruční změna provedená poté, co jste viděli křivku kapitálu. Pokud jste rozšířili stop-loss, protože původní nastavení zmeškalo růst, při této úpravě jste využili informace z testovacího období.
| Výzkumná činnost | Počítá se obvykle jako pokus? | Proč |
|---|---|---|
| Testování dalšího prahu signálu | Ano | Výsledek pomáhá vybrat kandidáta |
| Změna časového období poté, co jste viděli propad | Ano | Vzorek byl zvolen v reakci na výkonnost |
| Oprava zdokumentované chyby v datech | Obvykle ne | Změna obnovuje zamýšlený experiment |
| Spuštění stejné zmrazené strategie na novém kontrolním období | Zatím nejde o nový výběrový pokus | Pokus vznikne, když podle výsledku strategii doladíte |
Hranice vyžaduje úsudek. Oprava překlepu je něco jiného než změna prvku strategie poté, co si všimnete, kde selhal. Veďte si stručný záznam pokusů s hypotézou, změnou, datovým obdobím a výsledkem. Nemusí být dokonale upravený; datovaný soubor CSV je lepší než rekonstruovat hledání z paměti o 3 měsíce později.
Mohu Sharpeho poměr korigovat na vícenásobné testování?
Metody jako Deflated Sharpe Ratio odhadují, jaká část zdánlivé výkonnosti mohla vzniknout výběrem z mnoha kandidátů, a přitom zohledňují faktory, jako je rozdělení výnosů a závislost mezi pokusy. Jsou užitečným diagnostickým nástrojem, ne strojem, který z neuspořádaného výzkumného procesu udělá jistotu. Jejich výstupy závisí na předpokladech a na tom, zda je váš počet pokusů věrohodný.
Pro představu: předpokládejme, že výzkumník otestoval 400 variant, našel Sharpeho poměr 1.8 a odhaduje, že výnosy mají výraznou šikmost a tlusté chvosty. Takový výsledek by měl čelit přísnější laťce než Sharpeho poměr 1.8 z jediného předem registrovaného testu. Korekce může důkazy výrazně oslabit; nemůže vám říct, že výhoda skutečně existuje.
Zaznamenejte hledání dřív, než ho budete muset obhajovat: počet kandidátů, rozsahy parametrů, zkoumaná datová období a všechny ruční úpravy. Pokud tyto podrobnosti neznáte, označte backtest za průzkumný.
Co by mělo následovat před paper tradingem?
Zmrazte jednoho kandidáta a stanovte další vyhodnocení ještě před jeho spuštěním. Užitečný postup je vybrat strategii na trénovacích datech, prověřit ji na validačních datech a potom si nechat závěrečné období nebo okno paper tradingu, jehož výsledky se nepromítají zpět do návrhu. Každá fáze odpovídá na jinou otázku; opakované úpravy strategie podle závěrečné fáze z ní udělají další trénovací data.
Prověřte také, zda blízká nastavení ukazují stejný obrázek. Širší oblast mírně kladných výsledků bývá věrohodnější než jediný ostrý vrchol, ačkoli robustnost nezachrání chybný model realizace obchodů. Poplatky, funding, dopad na trh i dostupnost instrumentů musí stále odpovídat podmínkám, kterým mohla strategie čelit.
Paper trading přináší důkazy o provozní shodě: načasování, zpracování pokynů a o tom, zda se živý výzkumný proces chová podle očekávání. Nedokáže vymazat výběr, který už proběhl. Tisíc šťastných backtestů zůstává tisícem pokusů i ve chvíli, kdy odešlete první pokyn v paper tradingu.
Když tedy backtest vykáže Sharpeho poměr 2, vyžádejte si vedle křivky kapitálu i historii výzkumu. Kolik nápadů jste vyzkoušeli? Které výsledky změnily následující experiment? Odpověď může být nejdůležitější statistikou v celé zprávě.
← Všechny články
