Přidání dalších trhů do hledání strategie může způsobit, že nejlepší backtest vypadá přesvědčivěji, i když důkazy jsou slabší. Vyšší Sharpe po přidání symbolů se často považuje za diverzifikaci; pokud jste mezi těmito symboly hledali vítěze, zvýšili jste také počet příležitostí k náhodnému úspěchu.
Na tomto rozdílu záleží, ať už agent navrhuje stovky signálů, nebo výzkumník ručně testuje několik z nich. Prostor hledání zahrnuje každou kombinaci trhu, časového rámce, příznaku a parametru, jejíž výsledek ovlivnil konečný výběr. „Nasadili jsme jen jednu strategii“ neříká, kolik kandidátů se ucházelo o místo.
Proč může větší tržní univerzum nadhodnotit nejlepší Sharpe?
Představte si, že testujete stejnou šablonu strategie na 40 nesouvisejících trzích. Pro jednoduchost předpokládejme, že skutečný Sharpe každého trhu je nulový a směrodatná chyba každého odhadovaného Sharpe činí 0.5. Odhady kolísají kolem nuly. Když ale vyberete ten nejvyšší, obvykle bude kladný už jen proto, že jste vybrali maximum.
Podle hrubého normálního přiblížení se očekává, že nejvyšší z 40 nezávislých odhadů šumu bude přibližně 1.3 směrodatné chyby nad nulou: v tomto příkladu zhruba Sharpe 0.65. Přesná hodnota závisí na vzájemné závislosti, délce vzorku a rozdělení výnosů. Podstatné je, že výběr vytváří optimismus, i když žádná strategie nemá skutečnou výhodu.
Veďte záznam o hledání. Zaznamenejte každý prověřovaný trh a každého kandidáta, včetně neúspěšných běhů a variant, které jste opustili. Počet pokusů u konečné strategie vychází z toho, co ovlivnilo výběr, ne z počtu souborů, které zůstaly po úklidu.
Trhy nejsou nezávislé hody mincí. BTC a ETH se často pohybují společně; dva akciové indexy mohou sdílet většinu rizika. Tím se snižuje efektivní počet nezávislých pokusů, problém tím ale nezmizí. Korelované trhy se navíc mohou lišit poplatky, fundingem, likviditou i dobou, kdy na nich signál funguje.
Počítá se testování dalších trhů jako vícenásobné testování?
Ano, pokud výsledky používáte k rozhodnutí, co ponechat. Jestliže původní hypotéza zněla „toto pravidlo zachycuje efekt fundingu napříč hlavními perpetual kontrakty“, pak prohlížení výsledků na různých trzích patří k testování této hypotézy. Pokud otestujete 50 trhů, najdete nejlepší z nich a pak podle jeho chování formulujete hypotézu, výběr univerza se stal součástí optimalizace.
Je užitečné rozlišovat mezi šíří stanovenou předem a šíří zvolenou až po zhlédnutí výsledků. Předem určený koš může ukázat, zda je myšlenka robustní v deklarované oblasti. Koš rozšiřovaný tak dlouho, až jeden symbol vykáže nápadnou křivku kapitálu, je postup hledání. Obojí může být legitimní výzkum, ale odpovídá na jiné otázky.
| Výzkumná volba | Co může doložit | Co sama o sobě nemůže potvrdit |
|---|---|---|
| Koš stanovený předem, stejné zacházení | Zda se pravidlo chová podobně napříč vybranými trhy | Že koš zastupuje všechny obchodovatelné trhy |
| Trh s nejlepší výkonností vybraný po testování | Který testovaný trh měl nejsilnější historický výsledek | Že jeho vybraný Sharpe je nezaujatým odhadem |
| Trhy vynechané z hledání před jeho zahájením | Zda se zmrazené pravidlo přenáší na dosud nepoužité trhy | Že budoucí podmínky budou odpovídat validačnímu vzorku |
Jak otestovat, zda se výhoda přenáší na nové trhy?
Než otevřete validační vzorek, zmrazte výzkumná rozhodnutí. To znamená definici signálu, parametry, pravidla pro výběr univerza, harmonogram rebalancování a předpoklady o provedení obchodů. Poté vyhodnoťte beze změny strategii na trzích, které tato rozhodnutí neovlivnily.
Představme si například, že pravidlo pro momentum v kryptoměnách vyvíjíte na perpetual kontraktech BTC a ETH až do roku 2023. Mohli byste si vyhradit další likvidní perpetual kontrakty vybrané podle pravidla využívajícího pouze informace dostupné před testovacím obdobím a zcela je vynechat z ladění. Zmrazené pravidlo pak použijte na tyto kontrakty v letech 2024 a 2025. Zahrňte skutečnou poplatkovou úroveň každé burzy, platby fundingu, specifikace kontraktů a obhajitelný předpoklad cenového dopadu. Test přenositelnosti bez nákladů na obchodování specifických pro daný trh může zaměnit rozdíl v nákladech za selhání signálu — nebo ho naopak skrýt.
Uvádějte rozdělení výsledků napříč trhy ve validačním vzorku, nejen souhrnný Sharpe. Souhrnné portfolio může zakrýt, že téměř veškerý výnos pocházel z jednoho trhu. Ukažte čistý výsledek každého trhu, počet obchodů, propad a podíl největšího trhu na celkovém P&L. Pokud pravidlo funguje jen na jednom kontraktu, označte výsledek jako specifický pro daný kontrakt.
Poctivě nastavte i časové rozdělení. Trh může být nepoužitý, přesto se jeho datové období může překrývat se stejným režimem, který vedl k dobrým výsledkům při vývoji. Test na jiných trzích ověřuje, zda se pravidlo přenáší mezi instrumenty; test v pozdějším období ověřuje, zda se přenáší v čase. Jde o dva samostatné testy a silný výsledek v jednom nenahrazuje druhý.
Co když by strategie skutečně měla využívat více trhů?
Pak je zahrňte, ale předem určete, jak. Pravidlo portfolia, které obchoduje na každém způsobilém trhu podle pevně daného signálu, se liší od soutěže, v níž vítězí trh s nejlepším historickým výsledkem. Způsobilost by se měla určovat bez pohledu na budoucí výkonnost, například podle prahové hodnoty likvidity platné v daném okamžiku a požadavku na minimální historii. Změny ve složení je také potřeba časově označit, jinak může současný seznam „likvidních trhů“ propašovat do starého backtestu dnešní přeživší.
Kritici mají pravdu, že úzké univerzum může vést ke křehké strategii a že široké testování je cennou kontrolou robustnosti. Řešením není vyhýbat se testování trhů. Oddělte trhy použité k objevení myšlenky od trhů použitých k prověření její zmrazené podoby a výzkumnou práci, která k objevu vedla, započítejte do důkazů.
Větší univerzum může strategii pomoci obstát i mimo laboratoř. Může ale také pomoci šťastnému backtestu vyhrát výběrovou soutěž v laboratoři. Záznam o hledání a validační vzorek vám ukážou, který z těchto příběhů váš Sharpe podporuje.
← Všechny články
