A backteszt évesítve 20%-os hozamot mutatott. 8 évnyi adatot és 1,640 kötést használt, a walk-forward felosztás pedig tiszta volt. Ezután a szolgáltató aktuális adatsorát az akkor rögzített értékekre cseréltük, és az előny 3%-ra esett vissza.
Nem az eredeti hozam volt a meglepő szám, hanem az a 17 százalékpont, amely a módosított adatoktól függött. Az ilyen utólagos tudás megbújhat a gazdasági közleményekben, a vállalati fundamentumokban, az indexösszetételben, sőt még az egyszerűnek tűnő piaci mezőkben is. A történelmi adat azt mutatja meg, mit közöl most a forrás. Az időponthű adatkészlet azt, hogy a stratégiád akkor mit tudhatott.
Miért változhatnak meg a történelmi adatok utólag?
Egyes értékek először becslésként jelennek meg, és csak később pontosítják őket. Egy pénteken közzétett gazdasági statisztikát a következő hónapban módosíthatnak. Egy vállalat újraközölheti az eredményét. Az adatszolgáltató kijavíthat egy hibás kötést, pótolhat egy hiányzó intervallumot, vagy a végleges értékkel helyettesítheti az előzetest. Ha az adatbázis csak a legfrissebb értéket tárolja, úgy tűnik, mintha ezek a változások mindig is így szerepeltek volna benne.
Ez akkor számít, ha egy stratégia a jelentett árbevétel alapján rangsorol vállalatokat, vagy egy előre ütemezett adatközlés után kereskedik a piacon. Ha hónapokkal korábban látja a javított számot, a backteszt olyan információhoz juttatta, amely a döntés pillanatában még nem volt a piacon. Lehet hibátlan a jel kiszámítása, ha a bemenet mégis a múlt rossz változatából származik.
Könnyű itt csapdába esni: egy date nevű mező gyakran azt jelöli, milyen időszakra vonatkozik az érték, nem pedig azt, hogy mikor vált elérhetővé. Egy március 31-i dátummal jelölt negyedéves árbevételi adatot csak májusban tehettek közzé. A címke az üzleti időszakot jelöli, nem azt, hogy a stratégiád milyen információval rendelkezhetett.
Melyik időbélyeget használja a backteszt?
Az érték érvényességi időszakát és elérhetőségének időpontját külön tartsd nyilván. Ha lehet, a közzététel és a rendszerbe érkezés idejét is rögzítsd. A stratégia csak azután használhatott egy értéket, hogy azt közzétették, és a rendszer megkapta; ha a két időpont eltér, a konzervatív visszajátszáshoz a későbbit használd.
| Időbélyeg | Mit jelöl? | Mire jó? |
|---|---|---|
| Érvényesség ideje | Az időszak vagy esemény, amelyre az érték vonatkozik | A megfigyeléseket a mért dolog szerint csoportosítja |
| Közzététel ideje | Amikor a forrás közzétette ezt a változatot | Megakadályozza, hogy egy adatközlés a megjelenése előtt látható legyen |
| Beérkezés ideje | Amikor a rendszered megkapta ezt a változatot | Rögzíti a kézbesítési késéseket és az utólagos adatpótlásokat |
Tegyük fel például, hogy egy vállalat negyedéves értékesítési adatai januártól márciusig terjednek, május 8-án, keleti idő szerint 16:15-kor jelentik őket, és 16:17-kor érkeznek meg a kutatási adattáradba. Az a stratégia, amely május 8-án záráskor hoz döntést, nem használhatja ezt a jelentést, ha a záráskori döntés 16:00-kor született meg. A másnap reggel döntő stratégia már használhatja. Önmagában a negyedév végi dátum egyik kérdésre sem ad választ.
Hogyan ellenőrizzem, hogy a revíziók okozzák-e az eredményt?
Futtasd le kétszer ugyanazt a stratégiát: egyszer az egyes történelmi döntési időpontokban elérhető adatváltozattal, egyszer pedig a legfrissebb, módosított adatsorral. A végrehajtási feltevéseket, az instrumentumkört és a kódot tartsd változatlanul. A különbség a revíziókra való érzékenységet mutatja, nem két új stratégia összehasonlítását.
Ezután vizsgáld meg, honnan ered az eltérés. Változik a teljesítmény az adatközlési napokon? Néhány újraközölt vállalatnál vagy javított megfigyelésnél összpontosulnak a legnagyobb különbségek? A stratégia a vonatkozó közzétételi időpont előtt köt üzletet? Egy kisebb, eseményszintű audit gyakran többet árul el, mint egy újabb kumulatív hozamgrafikon.
Ezek a számok példaként szolgálnak, nem jelentenek általános büntetést. A hasznos eredmény a saját stratégiád páros összehasonlítása, lehetőleg ugyanazokkal a kötésekkel és költségekkel. Ha a módosított változat jelentősen jobb, mielőtt megbíznál a fő backteszteredményben, derítsd ki, mely mezők és dátumok okozzák a különbséget.
Mit rögzítsen az időponthű adatok auditja?
Kezdd azokkal a mezőkkel, amelyeket a stratégiád ténylegesen használ. Mindegyiknél azonosítsd a forrást, az időbélyeg jelentését, a revíziós szabályt, valamint azt, hogy visszakereshetők-e a korábbi változatok. Kérdezd meg a szolgáltatótól, hogyan jelennek meg a javítások: felülírt sorokként, új változatsorokként vagy külön auditnaplóban. A termékoldalon szereplő „történelmi” megjelölés önmagában nem ad választ.
- Minden változatot a közzététel vagy az első elérhetőség időbélyegével együtt tárolj.
- A jellemzőket az elérhetőségük, ne az időszak címkéje alapján kapcsold a döntésekhez.
- Az újrafuttatható elemzésekhez őrizz meg egy rögzített pillanatfelvételt vagy forrásváltozatot.
- Jelöld azokat az értékeket, amelyek késve érkeznek, módosulnak, vagy nem rendelkeznek megbízható előzményekkel.
A vizsgálat maradjon gyakorlatias. Ha a stratégiád csak tőzsdei kötéseket és gyertyákat használ, a gazdasági adatok revíziói nem feltétlenül számítanak. A gyertyák javítása és a szolgáltatói utólagos adatpótlás viszont továbbra is fontos lehet, különösen, ha egy jel vékony piacon vagy pontos eseményidőszakban keletkezik.
Ha nincs elérhető időponthű adatsor
Ne kezeld észrevétlenül a mai értéket úgy, mintha tegnapi lenne. Jelöld korlátozásként a mezőt, ne alapozz rá olyan állítást, amely a korabeli elérhetőségtől függ, vagy alkalmazz konzervatív késleltetést, és mutasd meg, mennyit változtat az eredményen. Egy késleltetett helyettesítő adat hasznos lehet kutatáshoz, ha a késleltetés egyértelmű, és a korlátozás az eredménnyel együtt szerepel.
A backteszt feladata, hogy rekonstruálja a döntést az akkor rendelkezésre álló információk alapján. Ha az adataid csak a legfrissebb változatot mutatják, az eredménynek van egy határa: a stratégiát a ma rekonstruálható adatsoron tesztelheted, de nem állapíthatod meg pontosan, mit láthatott egy korabeli szereplő.
← Összes bejegyzés
