Egy stratégiai ügynök úgy is beszennyezhet egy tesztadathalmazt, hogy egyetlen tesztsor sem kerül tanítási feladatba. Ha az ügynök látja a teszteredményt, módosít egy paramétert, majd újra futtatja a stratégiát, az eredmény már befolyásolta a stratégiát. A kód nevezheti az időszakot „mintán kívülinek”. A kutatási folyamat azonban a keresés részévé tette.
Láttam már, hogy ez puszta kényelemből történik: az ügynök lefuttat egy csomagot, elolvas egy összefoglaló táblázatot, majd kisebb javítást javasol. Senki sem kérte, hogy illessze a stratégiát a visszatartott adatokra. A visszacsatolási kör mégis elvégezte az illesztést.
1. hiba: az ügynök minden futás után belenézhet az eredménybe
A kár rendszerint úgy látszik, hogy a tesztidőszak Sharpe-mutatója szépen, apró lépésekben emelkedik. Az ügynök kipróbál 30 változatot, megtartja a legjobbat, majd körülötte újabb 30-at tesztel. Minden egyes módosítás észszerűnek tűnik. Együtt viszont optimalizálási céllá teszik a tesztidőszakot.
Íme egy egyszerű példa. Tegyük fel, hogy a stratégiának nincs valódi előnye, és 100 független változatot tesztelsz egy visszatartott adathalmazon. A legmagasabb Sharpe-mutatójú változat kiválasztásával könnyen találhatsz véletlenül is kedvezőnek tűnő eredményt. A stratégiai keresésekben a változatok többnyire nem teljesen függetlenek, de ettől a folyamat még nem lesz biztonságos: az ismételt visszajelzés továbbra is azokat a beállításokat jutalmazza, amelyek véletlenül illeszkednek a visszatartott adathalmaz sajátosságaihoz.
Húzz határt az eredményekhez való hozzáférésnél. Az ügynök a tanítási és validációs időszakokon dolgozhat, de nem kérheti le a visszatartott adatok mutatóit vagy grafikonjait. A végső értékelést külön feladatban végezd el, egyszer, miután rögzítetted a kutatási döntéseket; az eredményhez pedig mentsd el a stratégia verzióját és az adatpillanatképet.
2. hiba: minden későbbi időszakot „frissnek” nevezünk
Egy dátumtartomány nem attól friss, hogy a tanítási időszak után következik. Ha az ügynök már látott róla pontszámot, vagy egy ember az ottani visszaesés alapján választott másik jellemzőt, akkor a tartomány a visszacsatolási kör részévé vált.
| Időszak | Megengedett felhasználás | Mitől változik meg a státusza |
|---|---|---|
| Tanítás | Szabályok és paraméterek illesztése | Semmitől; ezt az időszakot eleve keresésre szánjuk |
| Validáció | Jelöltek összehasonlítása és kutatási döntések meghozatala | Az ismételt használat növeli a túlillesztés kockázatát |
| Végső visszatartott adathalmaz | A rögzített jelölt egyszeri értékelése | Az eredmény megtekintése és a jelölt módosítása |
| Jövőbeli papírkereskedési időszak | A végrehajtás viselkedésének előretekintő megfigyelése | Ha az eredmények alapján finomhangolunk, új kutatási ciklus indul |
A gördülő, előrehaladó kiértékelés segíthet megbecsülni, hogyan teljesít egy rögzített kutatási folyamat különböző időszakokban. Ez nem jogosít fel arra, hogy korlátlanul betekintsünk minden felosztás eredményébe. Ha az ügynök látja a felosztások eredményeit, és ezek alapján módosítja a keresést, azok is visszajelzéssé válnak. A tényleges döntéshez hagyj meg egy végső, érintetlen időszakot.
3. hiba: a kódot rögzítjük, a kérdést viszont módosítjuk
Előfordul, hogy a stratégia kódja változatlan marad, a kutató viszont az eredmény megtekintése után módosítja az értékelést: más benchmarkot választ, kihagy egy gyenge hónapot, másik eszközkört mutat be, vagy arra a mutatóra összpontosít, amelyik a legerősebbnek látszik. A tesztadathalmaz így akkor is alakította a történetet, ha egyetlen paraméter sem változott.
A kár egy gondosan szerkesztett jelentés formájában jelenik meg, egyetlen tetszetős fő üzenettel, de a kipróbált nézőpontok nyoma nélkül. Egy részvénystratégia gyengének tűnhet egy széles piaci indexhez képest, de erősnek a készpénzhez viszonyítva; egy kriptostratégia pedig kiemelkedően teljesíthet az egyik tőzsdén, miután több tőzsdét is megvizsgáltunk. Ezek az összehasonlítások hasznosak lehetnek, de ha a visszatartott adatok megtekintése után választunk közülük, az újabb kiválasztási lépés.
Vezess kutatási naplót. Minden futásnál mentsd el a hipotézist, a kódverziót, az adatpillanatképet, a paraméterkeresést, az értékelési időszakokat, a lekért mutatókat, valamint azt, hogy az ügynök vagy a kutató látta-e az eredményt. Egy tömör napló többet ér, mint egy hibátlannak hangzó „mintán kívüli” címke.
Az értékelés előtt fogalmazd meg pontosan a végső kérdést: melyik jelöltet, melyik piaci eszközkört, melyik benchmarkot, mely költségeket és mely mutatókat vizsgáljuk? Ha az eredmény megérkezése után változik a válasz, kezeld a következő futást kutatásként, és a következő végső ellenőrzéshez használj új adatokat.
Mit tudhatok meg egy beszennyezett visszatartott adathalmazból?
Nem haszontalan. Megmutathatja, hogyan viselkedett a stratégia az adott időszakban, és segíthet a hibák feltárásában. Csak ne mutasd be az eredményét független megerősítésként. Kezeld fejlesztési bizonyítékként, rögzítsd a következő jelöltet, majd értékeld azt egy valóban jövőbeli papírkereskedési időszakon, azonos elszámolási és végrehajtási feltételezésekkel.
Ügynökvezérelt munkafolyamatban könnyű szem elől téveszteni a kísérletek számát: egyetlen utasítás több tucat futást indíthat el, mire bárki észreveszi. Az eljárásrend ad védelmet. Korlátozd, mit vizsgálhat meg az ügynök, naplózz minden kísérletet, és tarts fenn egy olyan értékelést, amelynek eredménye nem befolyásolhatja az értékelt jelöltet.
← Összes bejegyzés
