A backteszt meggyőzőbbnek tűnhet, miután rontottál az adatain. Hagyd ki a csúnya kötéseket, töltsd ki a réseket rendezett árakkal, és emelkedhet a Sharpe-mutató. Ez a javulás figyelmeztető jel lehet: a tisztítási szabály éppen azokat a piaci körülményeket törölhette el, amelyek között a stratégiádnak helyt kell állnia.
Az adatminőség számít. Egy keresztezett jegyzés vagy egy duplikált kötés olyan teljesülést eredményezhet, amelyhez senki sem juthatott volna hozzá. De az a szűrő is modellválasztás, amely eltünteti a kényelmetlen megfigyeléseket. Ugyanolyan gyanakvással kezeld, mint egy új jelzőváltozót.
Mikor számít egy rossz ár valóban hibás adatnak?
Először azt kérdezd meg, mit jelent a megfigyelés. Az aktuális piactól távoli kötés lehet sérült rekord, vékony likviditáson áthaladó valódi nagy kötés vagy egy adott kereskedési helyszínhez kötődő esemény. Egy nulla forgalmú, egyperces gyertya jelentheti azt, hogy nem történt kötés, míg egy hiányzó gyertya arra utalhat, hogy megszakadt az adatfolyam. Ezeket az eseteket különbözőképpen kell kezelni.
Vegyünk egy egyszerű átlaghoz visszatérő stratégiát: akkor vásárol, amikor az ár 1%-kal a rövid mozgóátlag alá esik, és az átlagnál zárja a pozíciót. Egy alacsony forgalmú éjszakai időszakban egy kötés az előző árnál 1,2%-kal alacsonyabban teljesül, majd a piac visszapattan. Ha a kötés valódi, egy pihenő limitáras megbízás teljesülhetett volna. Ha viszont hibás tickről van szó, amelyet egyetlen végrehajtható jegyzés sem támasztott alá, a teljesülés beszámítása nem létező előnyt talál ki.
A gyertya törlése nem jelent automatikusan nagyobb biztonságot. Lehet, hogy a stratégiának továbbra is volt egy piacon várakozó megbízása, és a következő valódi kötés teljesíthette volna. Egy megalapozható visszajátszásnak modelleznie kell, hogy mit figyelhetett meg a stratégia, és mivel szemben teljesülhetett volna életszerűen a megbízása.
Hogyan befolyásolja az eredményt a tisztítási szabály?
Futtasd a stratégiát egyértelműen meghatározott adatkezelési változatokkal, és hasonlítsd össze a változásokat. Őrizd meg a nyers forrást, és rögzítsd minden kizárás vagy javítás okát. Ezután számolj be arról, mennyiben függ az eredmény ezektől a döntésektől.
| Adatkezelés | Lehetséges előny | A backteszt kockázata |
|---|---|---|
| A dokumentált tőzsdei hibahatáron kívüli kötés eltávolítása | Megakadályozza, hogy egy ismerten érvénytelen rekord szélsőséges értéket okozzon | A szabály gyors piaci mozgás idején valódi kötéseket is tévesen osztályozhat |
| Az utolsó ár átvitele a hiányzó időszakra | Megakadályozza, hogy az indikátorok hibát jelezzenek az adatréseknél | Olyan árat hoz létre, amelyen esetleg nem történt kötés |
| Összesített jegyzések használata az utolsó kötések helyett | Jobb képet ad a megjelenített végrehajtási árakról | A jegyzett mennyiség, a kereskedési helyszínhez való hozzáférés és a sorban elfoglalt hely továbbra is számít |
| Minden kiugró gyertya eltávolítása statisztikai küszöbérték alapján | Csökkenti a szélsőséges értékekre való érzékenységet | Eltávolíthat valódi stresszidőszakokat, amikor a stratégia a legtöbbet veszít |
Tegyük fel, hogy a szűretlen futás Sharpe-mutatója 0,9, míg a gyertyák 0,8%-át kizáró futásé 1,4-re emelkedik. Ez önmagában nem jelenti az adatminőség javulását. Ellenőrizd, hogy a kihagyott gyertyák a volatilitási kiugrások körül csoportosulnak-e, az eredmény jelentős részét adják-e, és a kizárási szabályt az eredmény megtekintése előtt határoztad-e meg.
Vezess adatkezelési kivétellistát: forrás, időbélyeg, érintett mezők, a beavatkozás indoka, valamint annak rögzítése, hogy a döntés a stratégia teljesítményének áttekintése előtt vagy után született-e.
Hogyan teszteljem, hogy a tisztítás megváltoztatta-e az előnyt?
Rögzítsd a stratégiát, és hasonlíts össze több életszerű adatkezelési változatot ugyanazokon a dátumokon. Ha lehet, szerepeljen köztük a nyers adatokkal végzett visszajátszás, egy dokumentált javításkészlet, valamint egy konzervatív végrehajtási eset a továbbra is bizonytalan megfigyelésekre. Minden futásnál közöld a kötésszámot, a forgalmat, a visszaesést és az érintett időszakok P&L-hozzájárulását a Sharpe-mutató mellett.
Ezután vizsgáld meg, mely kötések változnak. Ha néhány gyanús kötés kihagyásakor eltűnnek a stratégia legnagyobb nyerő ügyletei, egyenként ellenőrizd ezeket a rekordokat. Ha ehelyett a veszteségek tűnnek el, ugyanilyen alaposan vizsgáld meg őket. Ha csak akkor fordítasz különös figyelmet egy szabályra, amikor rontja a backtesztet, az a szabály máris részt vesz a kutatásban.
A reprodukálható vizsgálathoz verziózd a szállítói fájlokat vagy azok ellenőrzőösszegeit, a tisztító kódot és a kivétellistát. A szállító módosíthatja a múltbeli adatokat; a következő futásnak lehetővé kell tennie annak megállapítását, hogy a stratégia vagy a bemeneti adatok változtak-e.
De hát nem szükséges az adattisztítás?
De igen. Egy nyilvánvalóan sérült rekord megtartása fiktív kötést eredményezhet, torzíthatja a volatilitást vagy hibára futtathat egy indikátort. Azt sem szabad állítani, hogy a nyers adatfolyam maga az abszolút igazság. A gyakorlati tanulság ennél szűkebb: a tisztításhoz bizonyíték, rögzített szabály és érzékenységi vizsgálat kell, mert megváltoztathatja, hogy a backteszt milyen piacot állít a stratégiáról.
Ha egy adatjavítás növeli a teljesítményt, kérdezd meg, milyen megfigyelést távolított el, és ugyanígy döntöttél volna-e a tőkegörbe megtekintése nélkül. Ha bizonytalan vagy, őrizd meg mindkét változatot a kutatási nyilvántartásban. A kettő közötti különbség is az eredmény része.
← Összes bejegyzés
