Vaše strategie prošla 240 pokusy. Kolik backtestů jste skutečně provedli?

Testovali jsme 240 sad parametrů. Nejlepší měla Sharpe ratio 2.1, medián byl 0.1 a hranici 1.0 překonalo jen 17 sad. Tato čísla vypadají jako objev, dokud nezjistíte, že i když žádná strategie nemá skutečnou výhodu, takto široké hledání může přinést lichotivého vítěze.

Překvapivé číslo je 240. Zpráva z backtestu obvykle zachází s vybranou strategií, jako by vznikla sama o sobě. Výzkum takto nefunguje. Každá úprava parametru, výměna příznaku, změna univerza a opakované spuštění po nepříznivém výsledku dávají šumu další šanci vypadat jako signál.

Proč větší počet vyzkoušených strategií zvyšuje nejlepší Sharpe?

Představte si 240 nezávislých strategií bez skutečné výhody a jejich hlučné odhady Sharpe. Většina odhadů se pohybuje blízko nuly, ale maximum bývá kladné. Čím více kandidátů prověříte, tím dále se toto maximum může odchýlit od skutečnosti.

Pro hrubou ilustraci předpokládejme, že odhad Sharpe každého kandidáta má standardní chybu 0.5. Při 240 nezávislých losováních může nejvyšší odhad díky výběru dosáhnout přibližně 1.4 standardní chyby nad průměrem, tedy zhruba 0.7 Sharpe. Skuteční kandidáti strategií spolu korelují, takže tento výpočet není korekce, kterou můžete jednoduše použít ve zprávě. Ukazuje, proč je tvrzení „vítěz překonal nulu“ po širokém hledání slabým důkazem.

A hledání se zřídkakdy omezuje jen na mřížku parametrů. Možná jste vyzkoušeli tři rodiny signálů, dvě vyřadili poté, co jste si prohlédli jejich křivky, změnili obchodní univerzum a pak znovu spustili zbývající variantu s jiným harmonogramem rebalancování. Pokud výkon ovlivnil tato rozhodnutí, patří do historie výzkumu.

Co se počítá jako pokus v backtestu?

Rozhodnutí počítejte jako pokus, pokud jeho výsledek mohl ovlivnit výběr strategie. Patří sem běhy, které jste nezveřejnili, i varianty, které jste předčasně ukončili, protože křivka kapitálu vypadala špatně. Chyba při kompilaci není výkonnostním pokusem; běh s neuspokojivým Sharpe jím obvykle je.

Rozhodující je, zda jste výsledek použili k volbě dalšího postupu. Zpětně se to může z paměti obtížně rekonstruovat, proto by záznam experimentu měl u každého běhu uvádět hypotézu, verzi kódu nebo konfigurace, datové období, předpoklady o nákladech a výsledek.

Mohu korigovat vícenásobné testování?

Existují metody, které odhadují zkreslení výběrem nebo upravují významnost s ohledem na mnoho pokusů. Mohou být užitečné, ale vyžadují předpoklady o vztazích mezi kandidáty a chování výnosů. Nominální p-hodnota ani jediný odhad deflovaného Sharpe nedokážou napravit situaci, kdy jste ztratili přehled o skutečné historii hledání.

Začněte tím, co máte pod kontrolou. Před vyhodnocením skutečně nedotčeného období stanovte konečnou specifikaci. Zpřístupněte celou sadu kandidátů. Při testování mnoha souvisejících variant je seskupte podle rozhodnutí, které je vytvořilo, místo abyste předstírali, že každý kandidát představuje nezávislý objev. Vedle vítěze popište i hledání: počet pokusů, pravidlo výběru a informovalo-li konečné vyhodnocení další úpravy.

Co by měl výzkumný agent AI zaznamenávat?

Agent dokáže generovat kandidáty rychleji, než si je člověk stačí udržet v pracovní paměti. Evidence pokusů je proto součástí výzkumného systému, nikoli administrativní úkol při přípravě zprávy. Uložte každého kandidáta před jeho spuštěním, včetně jeho rodičovského experimentu a důvodu, proč vznikl. Zachovejte neúspěšné i vyřazené běhy. Zaznamenejte, kdy člověk nebo agent zkontroloval výkon a jaké rozhodnutí následovalo.

Poté zajistěte reprodukovatelnost výběrového procesu: při stejné sadě kandidátů a stejném pravidle by měl vybrat stejného vítěze. Pokud agent po zhlédnutí výsledků dál mění prompt, cíl nebo omezení, patří i tyto změny do hledání.

Sharpe 2.1 může stát za prověření. Jeho význam závisí na cestě, která k němu vedla. Když výzkumný záznam uvádí, že o hlavní výsledek soupeřilo 240 kandidátů, můžete položit správnou další otázku: jaké důkazy ještě zbývají, které tato rozhodnutí dosud nevyčerpala?