A visszateszt minden gyertya időbélyegét helyesen kezelheti, mégis felhasználhatja a holnap információit. Ez akkor történik, ha a stratégia a ma is piacon lévő eszközöket teszteli több évnyi múltra visszamenően, mintha előre tudta volna, mely piacok maradnak likvidek, lesznek jegyezve, és érdemes lesz megtartani őket.
Az univerzum összeállítása a stratégia része. Ha az éles rendszer csak az adott döntési időpontban elérhető eszközök közül választhatott, a visszatesztnek is ugyanezt a korlátot kell követnie. Három gyakori egyszerűsítés rendszeresen figyelmen kívül hagyja ezt.
Első hiba: a mai listát teszteljük a teljes múltbeli időszakon
Tegyük fel, hogy ma kiválasztod az 50 legnagyobb kriptós örökös piacot, majd 2021-től teszteled vissza őket. A listából hiányoznak a megszűnt, likviditásukat vesztett vagy kivezetett kontraktusok. A korábbi időpontokhoz olyan piacokat is hozzáférhetőnek tekint, amelyek akkor még talán nem is léteztek.
A káros hatás könnyen rejtve marad: a stratégia stabilabbnak látszik, mert a megbukott eszközök eltűntek a mintából. Egy momentum szabály például kiválónak tűnhet a mai 50 piacon, miközben a múltban végrehajtva újra meg újra olyan eszközökhöz rendelt volna tőkét, amelyek később összeomlottak vagy elvesztették a tőzsdei jegyzésüket. Olyan portfóliót teszteltél, amelynek kiválasztásához már ismerted az eredményt.
Az univerzumtagságot dátumozott nyilvántartásban vezesd. Minden eszköznél rögzítsd, mikortól felelt meg a feltételeknek, mikortól nem, és miért. Minden újrasúlyozáskor kizárólag az akkor rendelkezésre álló információk alapján alkalmazd a szabályokat. Egy piac csak a tényleges bevezetése és az előírt bemelegedési idő után kerüljön be. Kivezetéskor meg kell határozni a végső pozíció kezelését vagy elszámolását; a sorok elhagyása nem kilépési szabály.
Második hiba: rangsorolás a döntés után mért statisztika alapján
Még egy múltbeli univerzum is szivárogtathat információt, ha a tagsági szabály a teljes jövőbeli időablakot használja. „Minden hónapban kereskedj a 20 leglikvidebb részvénnyel” ésszerűen hangzik, egészen addig, amíg kiderül, hogy a likviditást annak a teljes hónapnak az adatai alapján rangsorolják, amelyben a stratégiának kereskednie kellene.
Képzeld el, hogy az újrasúlyozásra a hónap első kereskedési napján kerül sor. Ha az adott havi átlagos dollárforgalom alapján rangsorolsz, észrevétlenül a következő 3 hetet használod annak eldöntésére, hogy mely eszközök feleltek meg már az első napon. A káros hatás gyakran szokatlanul jónak tűnő kapacitásban mutatkozik meg: a stratégia elkerüli azokat az eszközöket, amelyek a hónap későbbi részében váltak illikviddé, holott a belépéskor ezt nem tudhatta.
A mérés lezárását a kiválasztási időpont elé tedd. Ha a havi újrasúlyozásra az első kereskedési napon kerül sor, rangsorolhatsz az előző 20 lezárt kereskedési nap alapján, az előző nappal bezárólag. A végrehajtási késleltetést is tedd egyértelművé: ha a rangsor a tegnapi záróárat használja, a feltételezett folyamatod szerint beadható a megbízás ma, a nyitáskor?
| Kiválasztási szabály | Adott időpontra érvényes változat | Gyakori adatszivárgás |
|---|---|---|
| Top 20 dollárforgalom alapján | Az újrasúlyozás előtt lezárult kereskedési napok rangsorolása | Az újrasúlyozás napjának vagy hónapjának bevonása |
| Tőzsdei jegyzés | A jegyzés és a kivezetés hatályos időpontjának használata | A jelenlegi szimbólumokat lekérő végpont használata múltbeli időpontokra |
| Minimális adatelőzmény | Az adott időpontban már elérhető megfigyelések számbavétele | A szűrő teljesítéséhez megkövetelni, hogy az eszköz a jövőben is piacon maradjon |
Harmadik hiba: a hiányzó előzményt annak bizonyítékaként kezeljük, hogy az eszköz nem felelt meg a feltételeknek
Egy adatszolgáltató archívuma nem feltétlenül teljes történeti piaci nyilvántartás. Egy hiányzó szimbólum jelentheti azt, hogy az eszköz sosem létezett, hogy a tőzsde megváltoztatta az elnevezési konvencióját, hogy a szolgáltató nem őrizte meg a kivezetett instrumentumok adatait, vagy hogy egyszerűen rés van az adatsorban. Ezek különböző következményekkel járnak.
A káros hatás egy rendezett, de megmagyarázatlan lyukakkal teli univerzum. A kutatók gyakran megkövetelik a teljes visszatekintési időablakot, majd csendben kizárnak minden eszközt, amelynél ez nem áll rendelkezésre. Ez lehet ésszerű bemelegedési szabály, de szándékosan kihagyja az újonnan bevezetett eszközöket is. Még rosszabb, hogy ha a hiányzó előzmények főként a megbukott piacoknál fordulnak elő, a „csak teljes adatokkal” szabály újabb túlélési szűrővé válik.
Kezeld külön tényként a jogosultságot, az adatok elérhetőségét és a stratégia bemelegedését. Minden dátumnál rögzítsd, miért zártál ki egy eszközt. A hiányzó adatokat őrizd meg a kutatási nyilvántartásban, ne alakítsd őket észrevétlen törléssé. Ha a forrásból nem állapítható meg, hogy egy piac jegyezve volt-e vagy lehetett-e vele kereskedni, jelezd ezt, és mérd fel, mennyire függ az eredmény ettől a bizonytalanságtól.
Tedd reprodukálhatóvá az univerzumot
Egy hasznos audit egy múltbeli újrasúlyozással kezdődik. Állítsd össze újra a jelöltek listáját a dátumozott jegyzések és az adott időpontban rendelkezésre álló adatok alapján. Számítsd újra a rangsorolás bemenő adatait, kizárólag a lezárt megfigyeléseket használva. Ezután hasonlítsd össze az így kapott tagságot a visszatesztben ténylegesen használt listával.
A futás mellé mentsd el a szabályt, annak lezárási időpontját, a tagsági döntéseket és a forrás verzióját. Ha egy adott dátumon nem tudod megmagyarázni, hogy az egyik eszköz miért került be, a másik pedig miért maradt ki, még nem tudhatod, hogy a stratégia valódi előnyt talált-e, vagy csupán egy jövő ismeretében összeállított mintát örökölt.
Az univerzumépítés hibái ritkán jelentkeznek lehetetlen árfolyamok formájában. Inkább olyan stratégiát látsz, amely kényelmesen elkerülte azokat a piacokat, amelyek később már nem voltak kényelmesek.
← Összes bejegyzés
