Če pri iskanju strategije dodamo več trgov, je lahko najboljši backtest videti močnejši, dokazi pa šibkejši. Višji Sharpe po dodajanju simbolov pogosto razumemo kot diverzifikacijo; če smo med njimi iskali zmagovalno strategijo, smo povečali tudi število priložnosti za srečno naključje.
Ta razlika je pomembna tako takrat, ko agent predlaga stotine signalov, kot takrat, ko raziskovalec nekaj signalov preizkusi ročno. Iskalni prostor vključuje vsako kombinacijo trga, časovnega okvira, značilke in parametra, katere rezultat je vplival na končno izbiro. »Objavili smo samo eno strategijo« ne pove, koliko kandidatov se je potegovalo zanjo.
Zakaj lahko večji nabor trgov napihne najboljši Sharpe?
Predstavljajmo si, da isto predlogo strategije preizkusimo na 40 nepovezanih trgih. Za preprostost predpostavimo, da je pravi Sharpe na vsakem trgu enak nič in da ima vsaka ocena Sharpe standardno napako 0.5. Ocene nihajo okoli ničle. Toda če izberemo najvišjo, bo ta običajno pozitivna že zato, ker smo izbrali maksimum.
Po grobem približku z normalno porazdelitvijo je pričakovati, da bo najvišja od 40 neodvisnih ocen šuma približno 1.3 standardne napake nad ničlo, kar v tem primeru pomeni Sharpe okoli 0.65. Natančna vrednost je odvisna od medsebojne odvisnosti, dolžine vzorca in porazdelitve donosov. Bistvo je, da izbira ustvarja optimizem, tudi kadar nobena strategija nima prednosti.
Vodimo dnevnik iskanja. Zabeležimo vsak pregledan trg in vsakega kandidata, tudi neuspešne zagone in opuščene različice. Število preizkusov za končno strategijo je odvisno od tega, kaj je vplivalo na izbiro, ne od tega, koliko datotek je preživelo čiščenje.
Trgi niso neodvisni meti kovanca. BTC in ETH se pogosto gibljeta skupaj; dva delniška indeksa si lahko delita večino tveganja. To zmanjša učinkovito število neodvisnih preizkusov, vendar problema ne odpravi. Korelirani trgi se lahko še vedno razlikujejo po provizijah, financiranju, likvidnosti in urah, v katerih signal deluje.
Ali testiranje več trgov šteje kot večkratno testiranje?
Da, kadar rezultate uporabimo za odločitev, kaj obdržati. Če je bila prvotna hipoteza »to pravilo zajame učinek financiranja pri večjih perpetual pogodbah«, je pregled trgov del preverjanja te hipoteze. Če preizkusimo 50 trgov, poiščemo najboljšega in nato hipotezo oblikujemo glede na njegovo obnašanje, je izbira nabora postala del optimizacije.
Koristno je razlikovati med širino nabora, določeno vnaprej, in širino, izbrano po ogledu rezultatov. Fiksna košarica lahko pokaže, ali je zamisel robustna znotraj opredeljenega področja. Košarica, ki jo širimo, dokler en simbol ne ustvari izstopajoče krivulje kapitala, pa je iskalni postopek. Oboje je lahko legitimna raziskava, vendar odgovarja na različni vprašanji.
| Raziskovalna izbira | Kaj lahko podpre | Česa sama ne more dokazati |
|---|---|---|
| Vnaprej določena košarica, enaka obravnava | Ali se pravilo obnese na izbranih trgih | Da košarica predstavlja vse trge, na katerih je mogoče trgovati |
| Najuspešnejši trg izbran po testiranju | Kateri od testiranih trgov je imel najmočnejši zgodovinski rezultat | Da je izbrani Sharpe nepristranska ocena |
| Trgi, izločeni iz iskanja vnaprej | Ali se zamrznjeno pravilo prenese na nedotaknjene trge | Da bodo prihodnje razmere enake kot pri izločenem naboru |
Kako preverim, ali se prednost prenese na nove trge?
Preden odpremo izločeni nabor, zamrznemo raziskovalne odločitve. To vključuje opredelitev signala, parametre, pravila za nabor, urnik uravnoteženja in predpostavke o izvrševanju. Nato nespremenjeno strategijo ovrednotimo na trgih, ki niso vplivali na te odločitve.
Recimo, da razvijemo kripto momentum pravilo na perpetual pogodbah BTC in ETH do vključno leta 2023. Rezerviramo lahko nabor drugih likvidnih perpetual pogodb, izbran po pravilu, ki uporablja samo informacije, dostopne pred testnim obdobjem, in ga izločimo iz vseh prilagajanj. Zamrznjeno pravilo nato uporabimo za te pogodbe v letih 2024 in 2025. Upoštevamo dejanski razred provizij posamezne borze, plačila financiranja, specifikacije pogodb in utemeljeno predpostavko o vplivu na ceno. Preizkus prenosa brez stroškov trgovanja, značilnih za posamezen trg, lahko razliko v stroških zamenja za odpoved signala — ali pa jo prikrije.
Poročamo o porazdelitvi rezultatov med trgi iz izločenega nabora, ne samo o združenem Sharpeu. Skupni portfelj lahko prikrije, da je skoraj ves donos prispeval en trg. Prikažemo neto rezultat, število poslov in največji padec za vsak trg ter delež skupnega P&L, ki ga je prispeval največji trg. Če pravilo deluje samo pri eni pogodbi, rezultat označimo kot specifičen za to pogodbo.
Pošteno razdelimo tudi časovna obdobja. Trg je lahko nedotaknjen, njegovi podatki pa se vseeno prekrivajo z istim režimom, ki je vplival na rezultate razvoja. Preizkus z izločenimi trgi preverja, ali se pravilo prenese med instrumenti; preizkus na poznejšem obdobju preverja, ali se prenese skozi čas. To sta ločena preizkusa in dober rezultat pri enem ne nadomesti drugega.
Kaj pa, če strategija res potrebuje več trgov?
Potem jih vključimo, vendar vnaprej določimo, kako. Portfeljsko pravilo, ki trguje na vseh primernih trgih po fiksnem signalu, se razlikuje od tekmovanja, v katerem zmaga trg z najboljšim zgodovinskim rezultatom. Primernost določimo brez vpogleda v prihodnjo uspešnost, na primer s pragom likvidnosti, izračunanim na podlagi podatkov, dostopnih v danem trenutku, in zahtevo po minimalni dolžini zgodovine. Zabeležimo tudi časovne oznake sprememb članstva; sicer lahko današnji preživeli trgi za nazaj zaidejo v stari backtest pod oznako »likvidni trgi«.
Kritiki imajo prav, da lahko ozek nabor ustvari krhko strategijo in da je široko testiranje dragocen preizkus robustnosti. Odgovor ni izogibanje testiranju trgov. Trge, na katerih odkrivamo zamisel, ločimo od trgov, s katerimi preverjamo zamrznjeno zamisel, raziskovalno delo pri odkrivanju pa štejemo med dokaze.
Večji nabor lahko pomaga strategiji preživeti zunaj laboratorija. Pomaga pa lahko tudi srečnemu backtestu zmagati v laboratorijskem izboru. Dnevnik iskanja in izločeni nabor pokažeta, katero zgodbo podpira vaš Sharpe.
← Vse objave
