Backtest je boljši pri zavračanju strategij kot pri njihovem izbiranju. Ko na podlagi pretekle uspešnosti izbirate med številnimi različicami, backtest postane del eksperimenta, navidezni zmagovalec pa s seboj prinese skriti strošek: pristranskost pri izbiri.
To se sliši nelogično. Backteste izvajamo, ker želimo vedeti, katera strategija deluje. Toda vsaka odločitev, ki jo usmerja ista zgodovina, porabi del njenih dokazov. Če po ogledu rezultatov spremenite obdobje za izračun, prag, nabor instrumentov, dan rebalansiranja ali pravilo za stop, ste podatkom zastavili novo vprašanje. Sčasoma so slišali dovolj vprašanj, da vam lahko po naključju ponudijo prepričljiv odgovor.
Zakaj je najboljši rezultat manj zanesljiv, če preizkusimo več strategij?
Predstavljajte si, da preizkusite 100 strategij brez prave prednosti. Njihovi donosi se bodo vseeno razlikovali. Če so ocene njihove uspešnosti približno neodvisne in je šum normalno porazdeljen, bo najboljši Sharpe med njimi pozitiven, čeprav je pravi Sharpe vsake strategije enak nič.
Groba ocena pričakovanega maksimuma 100 neodvisnih standardno normalno porazdeljenih vrednosti je 2.5 standardnega odklona nad povprečjem. To vzemite kot ponazoritev, ne kot popravek, ki ga lahko preprosto vstavite v poročilo: dejanske različice strategij so med seboj povezane, ocene Sharpa imajo lastno vzorčno napako, donosi pa se le redko obnašajo kot lepo normalno porazdeljeni podatki. Praktično sporočilo kljub tem omejitvam ostaja. Več kandidatov kot pregledate, večja je verjetnost, da je najvišja ocena posledica ugodnega šuma.
»Kandidat« ni le shranjen backtest. To je vsaka odločitev po ogledu rezultata: razširitev nabora instrumentov, ker je graf videti nemiren, izločitev leta, ki škodi, ali sprememba predpostavke o provizijah, dokler se krivulja ne popravi. Te odločitve štejejo, tudi če jim nihče ni dodelil številke različice.
Pred naslednjim preizkusom različice začnite voditi raziskovalni dnevnik
Zabeležite celotno iskanje, tudi zavrnjene zamisli in razlog za vsako spremembo. Tako boste dobili poštenejši prikaz, koliko je bil rezultat posledica izbire, in se boste težje spominjali le privlačnih preizkusov.
| Zabeležite | Primer | Zakaj je pomembno |
|---|---|---|
| Hipoteza | Kratkoročni obrat je izrazitejši po neobičajno velikih premikih BTC perpetual pogodb | Loči zamisel od njenih končnih nastavitev parametrov |
| Različica in časovni žig | 48-urni signal, 2026-10-09, zagon 014 | Šteje opravljena iskanja ter povezuje rezultate s kodo in podatki |
| Pravilo izbire | Izbira na podlagi neto Sharpa; najmanj 100 poslov | Pokaže, kaj je »najboljše« pomenilo pred primerjavo |
| Zavrnjene različice | Obdobja 12, 24, 72 ur; vsa so ohranjena | Prepreči, da bi vidni zmagovalec izbrisal konkurenco |
Dnevnik ne more izničiti opravljenega iskanja. Poskrbi pa, da je iskanje pregledno, kar je prvi korak pri presoji, koliko zaupanja si zmagovalec zasluži.
Rezervirajte podatke, h katerim se raziskovalni proces ne bo mogel vedno znova vračati
Podatke razdelite po času, nato pa zaščitite končno obdobje. Strategijo razvijajte na enem časovnem razponu, odločitve sprejemajte na podlagi validacijskega razpona, zamrznjeno strategijo pa enkrat ocenite na poznejšem kontrolnem obdobju. Uporabite lahko na primer obdobje 2018–2022 za razvoj, 2023 za validacijo, nato pa rezervirate obdobje 2024–2025. Ti datumi so zgolj ponazoritev: razdelitev naj določajo trg, časovni horizont strategije in razpoložljivost podatkov.
Zapišite, kaj pomeni »zamrznjeno«: signal, nabor instrumentov, določanje velikosti pozicij, predpostavke o izvrševanju in vsa pravila za manjkajoče podatke. Če vas kontrolno obdobje razočara in strategijo prilagodite glede na njegove rezultate, je to obdobje postalo validacijski nabor. Za naslednjo pošteno oceno boste potrebovali sveže dokaze.
Tu se pokažejo tudi težave majhnih vzorcev. Strategija, ki v kontrolnem obdobju sklene 18 poslov, še ne omogoča natančne ocene. Poleg statističnih podatkov o donosih poročajte o številu poslov in negotovosti; eno samo povprečje lahko ustvari vtis, da je majhen vzorec zanesljiv.
Ali to pomeni, da so backtesti neuporabni pri izbiri strategij?
Ne. Kritiki imajo prav, da so stroga kontrolna obdobja lahko potratna: trgi se spreminjajo, zgodovine so kratke, nedotaknjeno obdobje pa lahko predstavlja le en nenavaden tržni režim. Skrbno zasnovan postopek drsečega preverjanja lahko pokaže, kako se strategija obnaša, ko se razpoložljiva zgodovina pomika naprej. Vendar s tem ponavljajoče prilagajanje ne postane brezplačno. Če pregledate vsak podinterval in nato spremenite strategijo, so ti podintervali vplivali na raziskavo.
Backteste uporabite za odkrivanje načinov, kako lahko strategija odpove, za primerjavo majhnega števila zamisli, utemeljenih na tržnem mehanizmu, ter za preverjanje, ali rezultati vzdržijo verjetne spremembe provizij, financiranja, tržnega vpliva in parametrov. Vodite dnevnik. Ohranite končno kontrolno obdobje. Nato obetavno zamrznjeno različico preizkusite v simuliranem trgovanju, kjer se lahko pokažejo operativna neskladja.
Najzanesljivejši odgovor backtesta je pogosto: »Ta zamisel odpove v razmerah, ki jih že lahko prepoznamo.« Ko pa pravi: »To je najboljša strategija,« se vprašajte, koliko drugih odgovorov ste od njega zahtevali.
← Vse objave
