Tisoč različic strategije. Izmerjeni Sharpeov količnik zmagovalke je 2.0. Stopnja lažno pozitivnih rezultatov je 5%. Te številke zvenijo kot odličen rezultat, dokler se ne vprašate, koliko poskusov je bilo potrebnih, da ste ga našli. Ob dovolj poskusih lahko prepričljiv rezultat testiranja za nazaj nastane zgolj iz šuma.
Presenetljiva številka ni Sharpeov količnik, temveč število poskusov. Vsako obdobje indikatorja, prag za vstop, izbira instrumentov in opuščena zamisel pomenijo novo priložnost, da izberete srečen rezultat. Če vaš raziskovalni postopek teh poskusov ne upošteva, jih ne upošteva niti izračun zaupanja v rezultat.
Zakaj je zmagovalna strategija videti boljša, če jih preizkusimo več?
Predstavljajte si, da preizkusite 1,000 strategij brez prave prednosti. Pri vsaki obstaja 5% verjetnost, da bo pri običajnem testu videti statistično značilna. V resničnih raziskavah ti poskusi niso povsem neodvisni, vendar osnovna intuicija drži: več kandidatov ko pregledate, večja je verjetnost, da bo eden po naključju videti izjemen.
Tudi če bi bil vsak kandidat neodvisen, bi bila verjetnost, da vsaj eden preseže prag 5%, približno 99.4%. V praksi se bližnje nastavitve parametrov pogosto vedejo podobno, zato 1,000 različic ne pomeni 1,000 neodvisnih metov kovanca. Vendar tudi efektivno število poskusov le redko znaša ena.
V beležnicah sem že naletel na majhno past: raziskovalec preizkusi obdobja za nazaj od 5 do 100, nariše površino Sharpeovih količnikov in nato poroča o lepo oblikovanem vrhu. Površina je uporabna za razumevanje občutljivosti. Vrh pa je tudi rezultat iskanja, zato si zasluži manj zaupanja kot prag, izbran pred poskusom.
Kaj šteje kot raziskovalni poskus?
Štejte odločitve, na katere so vplivali opaženi rezultati. Poskus je lahko testiranje za nazaj s kodo, lahko pa tudi ročna sprememba po ogledu kapitalske krivulje. Če ste razširili varovalni stop, ker je prejšnja nastavitev zgrešila rast, ste pri tej spremembi uporabili informacije iz testnega obdobja.
| Raziskovalno opravilo | Ali običajno šteje kot poskus? | Zakaj |
|---|---|---|
| Preizkus drugega praga signala | Da | Rezultat pomaga izbrati kandidata |
| Sprememba datumskega razpona po opaženem padcu vrednosti | Da | Vzorec je bil izbran glede na uspešnost |
| Odprava dokumentirane napake v podatkih | Običajno ne | Sprememba povrne prvotno zamišljeni poskus |
| Zagon iste zamrznjene strategije na novem zadržanem obdobju | Za zdaj ne gre za nov poskus izbire | Poskus postane, če strategijo prilagajate glede na rezultat |
Meja je odvisna od presoje. Popravek zatipka ni enak spremembi značilke, potem ko opazite, kje strategija ni delovala. Vodite kratek dnevnik poskusov s hipotezo, spremembo, obdobjem podatkov in rezultatom. Ni treba, da je dovršen; datirana datoteka CSV je boljša od obnavljanja iskanja po spominu tri mesece pozneje.
Ali lahko Sharpeov količnik popravim za večkratno testiranje?
Metode, kot je deflacionirani Sharpeov količnik, ocenijo, kolikšen del navidezne uspešnosti bi lahko nastal zaradi izbire med številnimi kandidati, pri tem pa upoštevajo dejavnike, kot sta porazdelitev donosov in odvisnost med poskusi. So uporabna diagnostična orodja, ne pa stroj, ki neurejen raziskovalni postopek spremeni v gotovost. Njihovi rezultati so odvisni od predpostavk in od tega, ali je vaše število poskusov verodostojno.
Za grobo predstavo predpostavimo, da je raziskovalec preizkusil 400 različic, dosegel Sharpeov količnik 1.8 in ocenil, da imajo njegovi donosi izrazito asimetričnost in debele repe. Tak rezultat bi moral prestati strožji prag kot Sharpeov količnik 1.8 iz enega vnaprej registriranega testa. Popravek lahko dokaze precej oslabi, ne more pa vam povedati, ali je prednost resnična.
Zabeležite iskanje, preden ga boste morali zagovarjati: število kandidatov, razpone parametrov, pregledana podatkovna obdobja in morebitne ročne spremembe. Če ti podatki niso znani, rezultate testiranja za nazaj opišite kot raziskovalne.
Kaj je treba narediti pred trgovanjem na papirju?
Zamrznite enega kandidata in določite naslednje vrednotenje, preden ga izvedete. Koristen potek je, da strategijo izberete na učnih podatkih, jo preverite na validacijskih podatkih, nato pa prihranite končno obdobje ali časovno okno za trgovanje na papirju, ki ne vpliva na zasnovo. Vsaka faza odgovarja na drugo vprašanje; če strategijo v končni fazi znova in znova prilagajate, se ta spremeni v dodatne učne podatke.
Preverite tudi, ali bližnje nastavitve kažejo isto sliko. Široko območje z zmerno pozitivnimi rezultati je običajno verodostojnejše od enega samega ostrega vrha, čeprav robustnost ne odpravi pomanjkljivega modela izvedbe. Provizije, financiranje, tržni vpliv in razpoložljivost instrumentov morajo še vedno ustrezati razmeram, s katerimi bi se strategija lahko soočila.
Trgovanje na papirju prinese dokaze o operativni skladnosti: časovnem poteku, obravnavi naročil in tem, ali se raziskovalni cevovod v živo vede po pričakovanjih. Ne more izbrisati že opravljene izbire. Tisoč srečnih rezultatov testiranja za nazaj ostane tisoč poskusov, ko oddate prvo papirno naročilo.
Ko torej testiranje za nazaj pokaže Sharpeov količnik 2, zahtevajte raziskovalno zgodovino ob kapitalski krivulji. Koliko zamisli ste preizkusili? Kateri rezultati so spremenili naslednji poskus? Odgovor je lahko najpomembnejša statistika v poročilu.
← Vse objave
