Backtest je prinesel 20 % letnega donosa. Uporabil je 8 let podatkov, 1.640 poslov in čisto delitev za preverjanje naprej. Nato smo trenutno zgodovino ponudnika zamenjali z vrednostmi, zabeleženimi v tistem času, in prednost je padla na 3 %.
Presenetljiva številka ni bil prvotni donos, temveč 17 odstotnih točk, ki so bile odvisne od popravljenih podatkov. Takšno poznavanje prihodnosti se lahko skriva v gospodarskih objavah, temeljnih podatkih podjetij, sestavi indeksov in celo v navidezno preprostih tržnih poljih. Zgodovinski podatki povedo, kaj vir pravi zdaj. Nabor podatkov po stanju v času pa pokaže, kaj bi vaša strategija takrat lahko vedela.
Zakaj se lahko zgodovinski podatki spremenijo po dogodku?
Nekatere vrednosti so najprej ocene, pozneje pa popravki. Gospodarski kazalnik, objavljen v petek, se lahko naslednji mesec spremeni. Podjetje lahko ponovno objavi popravljeno številko dobička. Ponudnik podatkov lahko popravi napačen podatek, zapolni manjkajoči interval ali predhodno vrednost zamenja s končno. Podatkovna zbirka, ki hrani samo najnovejšo vrednost, daje vtis, kot da so bile vse te spremembe vedno resnične.
To je pomembno, kadar strategija razvršča podjetja po objavljenih prihodkih ali trguje na trgu po načrtovani objavi podatkov. Če že mesece prej vidi popravljeno številko, ji je backtest dal informacijo, ki je ob sprejetju odločitve na trgu še ni bilo. Izračun signala je lahko brezhiben, vendar je njegov vhod še vedno iz napačne različice zgodovine.
Tu se zlahka ujamemo v past: polje, imenovano date, pogosto opisuje obdobje, na katero se vrednost nanaša, ne pa časa, ko je postala dostopna. Vrstica s četrtletnimi prihodki, označena z 31. marcem, je bila morda objavljena šele maja. Oznaka se nanaša na poslovno obdobje, ne na nabor informacij, ki ga je imela strategija na voljo.
Kateri časovni žig naj uporabi backtest?
Ločeno beležite obdobje veljavnosti vrednosti in čas njene razpoložljivosti. Kadar je mogoče, hranite tudi čas objave in čas prejema. Strategija je lahko vrednost uporabila šele po objavi in prejemu v sistem; če se ta časa razlikujeta, za konservativno ponovitev uporabite poznejšega.
| Časovni žig | Kaj opisuje | Čemu služi |
|---|---|---|
| Čas veljavnosti | Obdobje ali dogodek, na katerega se vrednost nanaša | Združuje opazovanja glede na merjeno stvar |
| Čas objave | Kdaj je vir objavil to različico | Preprečuje, da bi se objava pojavila pred svojim nastankom |
| Čas prejema | Kdaj je sistem prejel to različico | Zajame zamude pri dostavi in naknadno dopolnjevanje podatkov |
Recimo, da prodaja podjetja za četrtletje zajema obdobje od januarja do marca, je objavljena 8. maja ob 16:15 po vzhodnoameriškem času, v vašo raziskovalno shrambo pa prispe ob 16:17. Strategija, ki se odloča ob zaključku trgovanja 8. maja, tega poročila ne more uporabiti, če je odločitev ob zaključku sprejela ob 16:00. Strategija, ki se odloča naslednje jutro, ga lahko uporabi. Sam datum konca četrtletja ne odgovori na nobeno od teh vprašanj.
Kako preverim, ali rezultat poganjajo popravki?
Isto strategijo zaženite dvakrat: enkrat s podatkovno različico, ki je bila na voljo ob vsaki zgodovinski odločitvi, in enkrat z najnovejšo popravljeno zgodovino. Predpostavke o izvedbi, nabor instrumentov in kodo ohranite nespremenjene. Razlika je rezultat analize občutljivosti na popravke, ne nova primerjava strategij.
Nato preverite, od kod izvira razlika. Se uspešnost spremeni na dneve objav? So največje razlike skoncentrirane pri nekaj podjetjih s popravljenimi izkazi ali pri popravljenih opazovanjih? Strategija trguje pred ustreznim časom objave? Revizija na ravni posameznih dogodkov pogosto pojasni več kot še en graf kumulativnih donosov.
Te številke so zgolj ponazoritev, ne splošno pravilo. Koristen rezultat je primerjava za vašo strategijo, po možnosti z enakimi posli in stroški. Če različica s popravki dosega bistveno boljši rezultat, pred zaupanjem v glavni rezultat backtesta ugotovite, katera polja in datumi pojasnijo razliko.
Kaj naj zabeleži revizija podatkov po stanju v času?
Začnite s polji, ki jih vaša strategija dejansko uporablja. Za vsako določite vir, pomen časovnega žiga, pravilnik za popravke in možnost pridobitve prejšnjih različic. Ponudnika vprašajte, kako evidentira popravke: s prepisanimi vrsticami, novimi vrsticami različic ali ločenim dnevnikom sprememb. Oznaka »zgodovinski podatki« na strani izdelka tega ne razjasni.
- Vsako različico shranite s časom objave ali prve razpoložljivosti.
- Značilke povežite z odločitvami glede na čas razpoložljivosti, ne glede na oznake obdobij.
- Za ponovljive zagone hranite zamrznjen posnetek ali različico vira.
- Označite vrednosti, ki prispejo pozno, so popravljene ali nimajo zanesljive zgodovine.
Obseg naj bo praktičen. Če vaša strategija uporablja samo borzne posle in svečnike, popravki gospodarskih podatkov morda niso pomembni. Popravki svečnikov in naknadno dopolnjevanje podatkov pri ponudniku pa so lahko pomembni, zlasti kadar je signal odvisen od nelikvidnega trga ali natančno določenega časovnega okna dogodka.
Ko zgodovina po stanju v času ni na voljo
Današnje vrednosti ne obravnavajte potiho kot včerajšnje. Polje označite kot omejitev, ga izločite iz trditev, ki so odvisne od zgodovinske razpoložljivosti, ali uporabite konservativni zamik in prikažite, kako se rezultat spremeni. Zamik je lahko koristen približek za raziskave, če je izrecno naveden in je omejitev predstavljena skupaj z rezultatom.
Naloga backtesta je rekonstruirati odločitev na podlagi nabora informacij, ki je takrat obstajal. Če vaši podatki prikazujejo le najnovejšo različico, ima pošten rezultat omejitev: strategijo lahko preizkusi glede na danes rekonstruirano zgodovino, ne more pa natančno dokazati, kaj je takrat lahko videl agent.
← Vse objave
