Atgalinis testas parodė 20 % metinę grąžą. Jame naudoti 8 metų duomenys, atlikta 1,640 sandorių ir pritaikytas aiškus slenkančio testavimo padalijimas. Tada dabartinę tiekėjo istorinių duomenų versiją pakeitėme reikšmėmis, užfiksuotomis tuo metu, ir pranašumas sumažėjo iki 3 %.
Netikėtas skaičius buvo ne pradinė grąža. Tai buvo 17 procentinių punktų, priklausiusių nuo pataisytų duomenų. Toks žinojimas iš anksto gali slypėti ekonominiuose pranešimuose, įmonių finansiniuose rodikliuose, indeksų sudėtyje ir net tariamai paprastuose rinkos duomenų laukuose. Istoriniai duomenys parodo, ką šaltinis teigia dabar. Konkretaus momento duomenų rinkinys parodo, ką strategija galėjo žinoti tada.
Kodėl istoriniai duomenys po įvykio gali pasikeisti?
Kai kurios reikšmės iš pradžių būna preliminarios, o vėliau pataisomos. Penktadienį paskelbtas ekonominis rodiklis kitą mėnesį gali būti patikslintas. Įmonė gali iš naujo pateikti finansinį rodiklį. Duomenų tiekėjas gali pataisyti klaidingą kainos įrašą, užpildyti trūkstamą intervalą arba preliminarią reikšmę pakeisti galutine. Duomenų bazėje, kurioje saugoma tik naujausia reikšmė, visi šie pakeitimai atrodo taip, lyg ji visada būtų buvusi teisinga.
Tai svarbu, kai strategija rikiuoja įmones pagal paskelbtas pajamas arba prekiauja rinkoje po suplanuoto duomenų paskelbimo. Jei ji pataisytą skaičių pamato keliais mėnesiais anksčiau, atgaliniame teste jai suteikiama informacija, kurios sprendimo priėmimo metu rinkoje dar nebuvo. Signalo skaičiavimas gali būti nepriekaištingas, bet jo įvesties duomenys vis tiek paimti iš netinkamos istorijos versijos.
Čia lengva apsigauti: laukas date dažnai nurodo laikotarpį, kurį apima reikšmė, o ne laiką, kada ji tapo prieinama. Ketvirčio pajamų įrašas su kovo 31 d. data galėjo būti paskelbtas tik gegužę. Žyma nusako įmonės veiklos laikotarpį, o ne strategijai prieinamos informacijos rinkinį.
Kurią laiko žymą turėtų naudoti atgalinis testas?
Atskirai fiksuokite reikšmės galiojimo laikotarpį ir jos prieinamumo laiką. Jei įmanoma, saugokite ir paskelbimo, ir gavimo laiką. Strategija galėjo panaudoti reikšmę tik po to, kai ji buvo paskelbta ir pasiekė sistemą; jei šie laikai skiriasi, konservatyviai atkurdami praeitį naudokite vėlesnį laiką.
| Laiko žyma | Ką ji nusako | Kuo ji naudinga |
|---|---|---|
| Galiojimo laikas | Laikotarpį arba įvykį, su kuriuo susijusi reikšmė | Leidžia grupuoti stebėjimus pagal matuojamą dalyką |
| Paskelbimo laikas | Kada šaltinis paskelbė šią versiją | Neleidžia, kad pranešimas atsirastų anksčiau, nei buvo paskelbtas |
| Gavimo laikas | Kada jūsų sistema gavo šią versiją | Užfiksuoja duomenų pristatymo vėlavimus ir vėliau papildytus istorinius duomenis |
Pavyzdžiui, tarkime, kad įmonės ketvirčio pardavimai apima sausį–kovą, paskelbiami gegužės 8 d. 16:15 Rytų pakrantės laiku, o jūsų tyrimų saugyklą pasiekia 16:17. Strategija, priimanti sprendimą gegužės 8 d. uždarymo metu, negali naudoti šios ataskaitos, nes sprendimo metu birža užsidarė 16:00. Strategija, priimanti sprendimą kitą rytą, ją gali naudoti. Vien ketvirčio pabaigos data neatsako į nė vieną klausimą.
Kaip patikrinti, ar rezultatą lemia duomenų pataisymai?
Paleiskite tą pačią strategiją du kartus: vieną kartą naudodami duomenų versiją, prieinamą kiekvieno istorinio sprendimo metu, o kitą – naujausią pataisytą istoriją. Palikite tas pačias vykdymo prielaidas, investavimo visatą ir kodą. Skirtumas parodo jautrumą duomenų pataisymams, o ne naują strategijų palyginimą.
Tada išsiaiškinkite, iš kur atsiranda skirtumas. Ar rezultatai pasikeičia duomenų paskelbimo dienomis? Ar didžiausi skirtumai susitelkę keliose įmonėse, kurios iš naujo pateikė ataskaitas, arba pataisytuose stebėjimuose? Ar strategija prekiauja dar prieš paskelbimo laiką? Nedidelis įvykių auditas dažnai paaiškina daugiau nei dar viena sukauptos grąžos diagrama.
Šie skaičiai pateikti pavyzdžiui, tai nėra universali bauda. Naudingas rezultatas yra suporuotas jūsų strategijos palyginimas, kuriame, kiek įmanoma, tie patys sandoriai ir sąnaudos. Jei pataisyta versija laimi dideliu skirtumu, prieš pasitikėdami pagrindiniu atgalinio testo rezultatu išsiaiškinkite, kurie laukai ir datos lemia skirtumą.
Ką reikėtų užfiksuoti atliekant konkretaus momento duomenų auditą?
Pradėkite nuo laukų, kuriuos strategija iš tikrųjų naudoja. Kiekvienam nurodykite šaltinį, laiko žymos reikšmę, pataisymų tvarką ir tai, ar galima gauti ankstesnes versijas. Paklauskite tiekėjo, kaip pateikiami pataisymai: ar eilutės perrašomos, sukuriamos naujos versijos eilutės, ar vedamas atskiras audito žurnalas. Vien produkto puslapio žodis „istoriniai“ šio klausimo neišsprendžia.
- Saugokite kiekvieną versiją kartu su jos paskelbimo arba pirmojo prieinamumo laiko žyma.
- Sujunkite požymius su sprendimais pagal prieinamumo laiką, o ne pagal laikotarpio žymas.
- Atkuriamiems paleidimams išsaugokite nekintamą duomenų kopiją arba šaltinio versiją.
- Pažymėkite reikšmes, kurios atkeliauja pavėluotai, yra pataisomos arba neturi patikimos istorijos.
Audito apimtį pritaikykite praktiškai. Jei strategija naudoja tik biržos sandorius ir barus, ekonominių duomenų pataisymai gali būti nesvarbūs. Tačiau kainų barų pataisymai ir vėliau papildyti tiekėjo duomenys vis tiek gali turėti reikšmės, ypač kai signalas priklauso nuo nelikvidžios rinkos arba tikslaus įvykio laiko intervalo.
Kai konkretaus momento istorijos nėra
Tyliai nelaikykite šiandienos reikšmės vakarykšte. Pažymėkite šį lauką kaip apribojimą, nenaudokite jo teiginiams, kurie priklauso nuo istorinio prieinamumo, arba pritaikykite konservatyvų vėlavimą ir parodykite, kiek pasikeičia rezultatas. Pavėlintas pakaitinis rodiklis gali būti naudingas tyrimams, jei vėlavimas aiškiai nurodytas, o apribojimas pateikiamas kartu su rezultatu.
Atgalinio testo paskirtis – atkurti sprendimą pagal tuo metu buvusį informacijos rinkinį. Jei jūsų duomenys rodo tik naujausią versiją, sąžiningo rezultato ribos aiškios: juo galima įvertinti strategiją pagal šiandien atkurtą istoriją, tačiau neįmanoma tiksliai nustatyti, ką istorinis agentas galėjo matyti.
← Visi įrašai
