Ha több piacot vonunk be a stratégiakeresésbe, a legjobb backteszt erősebbnek tűnhet, miközben a bizonyíték gyengül. Ha a Sharpe-mutató a szimbólumok hozzáadása után emelkedik, azt gyakran diverzifikációnak tekintik; ha viszont ezeken a szimbólumokon kerestük a győztest, azzal a szerencsés találat esélyét is növeltük.
Ez a különbség akkor is számít, ha egy agent több száz jelzést javasol, és akkor is, ha egy kutató kézzel tesztel néhányat. A keresési térbe beletartozik minden olyan piac-, időkeret-, jellemző- és paraméterkombináció, amelynek eredménye hatott a végső választásra. Abból, hogy „csak egy stratégiát élesítettünk”, nem derül ki, hány jelölt mérettetett meg.
Miért fújhatja fel a nagyobb piaci univerzum a legjobb Sharpe-mutatót?
Képzeljük el, hogy ugyanazt a stratégiakeretet 40 egymástól független piacon teszteljük. Az egyszerűség kedvéért tegyük fel, hogy minden piac valódi Sharpe-mutatója nulla, a becsült Sharpe-mutató standard hibája pedig 0.5. A becslések nulla körül ingadoznak. Ha azonban kiválasztjuk a legmagasabbat, az rendszerint pozitív lesz, pusztán azért, mert a maximumot választottuk.
Durva normális közelítéssel 40 független, zajból származó becslés közül a legnagyobb várhatóan körülbelül 1.3 standard hibával kerül nulla fölé: ebben a példában nagyjából 0.65 Sharpe-mutatóval. A pontos érték a függőségtől, a minta hosszától és a hozamok eloszlásától függ. A lényeg, hogy a kiválasztás akkor is optimizmust szül, ha egyik stratégiának sincs előnye.
Vezessünk keresési naplót. Jegyezzünk fel minden megvizsgált piacot és jelöltet, a sikertelen futásokat és az elvetett változatokat is. A végső stratégia próbáinak száma attól függ, mi befolyásolta a választást, nem attól, hány fájl maradt meg a takarítás után.
A piacok nem független pénzfeldobások. A BTC és az ETH gyakran együtt mozog; két részvényindex kockázatának nagy része is közös lehet. Ez csökkenti a független próbák tényleges számát, de nem szünteti meg a problémát. A korreláló piacok díjai, finanszírozási költségei, likviditása és azok az időszakok is eltérhetnek, amikor működik egy jelzés.
A több piacon végzett tesztelés többszörös tesztelésnek számít?
Igen, ha az eredmények alapján döntjük el, mit tartunk meg. Ha az eredeti hipotézis az, hogy „ez a szabály a főbb perpetual piacokon megragad egy finanszírozási hatást”, akkor a piacok összehasonlítása is része a hipotézis tesztelésének. Ha 50 piacot tesztelünk, kiválasztjuk a legjobbat, majd utólag annak viselkedése köré írjuk a hipotézist, akkor az univerzum kiválasztása is az optimalizálás részévé vált.
Érdemes különbséget tenni az előre meghatározott és az eredmények megismerése után kiválasztott szélesség között. Egy előre rögzített kosár megmutathatja, hogy egy ötlet mennyire robusztus a meghatározott piaci körben. Ha addig bővítjük a kosarat, amíg egy szimbólum nem ad látványos tőkegörbét, az már keresési eljárás. Mindkettő lehet érvényes kutatás, de más kérdésre ad választ.
| Kutatási döntés | Mire adhat alapot | Mit nem bizonyít önmagában |
|---|---|---|
| Előre meghatározott kosár, azonos elbánás | Hogyan viselkedik a szabály a kiválasztott piacokon | Hogy a kosár minden kereskedhető piacot képvisel |
| A tesztek után kiválasztott, legjobban teljesítő piac | Melyik tesztelt piac történelmi eredménye volt a legerősebb | Hogy a kiválasztott Sharpe-mutató torzítatlan becslés |
| A keresés előtt félretett piacok | Átvihető-e a változatlan szabály olyan piacokra, amelyeket nem vizsgáltunk | Hogy a jövőbeli körülmények megegyeznek a visszatartott mintáéval |
Hogyan tesztelhetem, hogy az előny új piacokra is átvihető?
A visszatartott minta megnyitása előtt rögzítsük a kutatási döntéseket. Ez jelenti a jelzés definícióját, a paramétereket, az univerzum szabályait, az újrasúlyozási ütemezést és a végrehajtási feltételezéseket. Ezután értékeljük a változatlan stratégiát olyan piacokon, amelyek nem befolyásolták ezeket a döntéseket.
Tegyük fel például, hogy egy kriptós momentum szabályt a BTC és az ETH perpetual piacain fejlesztünk 2023-ig. Előre félretehetünk más likvid perpetual piacokat egy olyan szabály alapján, amely kizárólag a tesztidőszak előtt rendelkezésre álló információt használ, és a hangolásból teljesen kihagyjuk őket. Alkalmazzuk a rögzített szabályt ezekre a kontraktusokra 2024-ben és 2025-ben. Vegyük figyelembe minden tőzsde tényleges díjszintjét, finanszírozási kifizetéseit, kontraktusspecifikációit és egy védhető piaci hatásra vonatkozó feltételezést; ha az átviteli tesztben nem szerepelnek a piacspecifikus kereskedési költségek, a költségkülönbséget jelzéshibának nézhetjük — vagy épp elfedhetjük a jelzéshibát.
A visszatartott piacok eredményeinek eloszlását mutassuk be, ne csak az összevont Sharpe-mutatót. Az összevont portfólió elfedheti, hogy a hozam szinte teljes egészét egyetlen piac adta. Közöljük minden piac nettó eredményét, kötéseinek számát, visszaesését és azt, hogy a teljes P&L mekkora részét adta a legnagyobb hozzájáruló piac. Ha a szabály csak egy kontraktuson működik, nevezzük kontraktusspecifikus eredménynek.
Az időbeli felosztás is legyen tiszta. Egy piac lehet érintetlen, miközben az adata ugyanarra a rezsimre esik, amely a fejlesztési időszak eredményét hajtotta. A piacok közötti visszatartás azt vizsgálja, átvihető-e a szabály különböző instrumentumokra; egy későbbi időszakra vonatkozó visszatartás pedig azt, hogy időben is átvihető-e. Ez két külön teszt, és az egyik erős eredménye nem helyettesíti a másikat.
Mi van, ha a stratégiának valóban több piacot kell használnia?
Akkor vonjuk be őket, de előre határozzuk meg, hogyan. Más egy olyan portfóliószabály, amely minden jogosult piacon rögzített jelzés szerint kereskedik, és más az a verseny, ahol a történelmileg legjobban teljesítő piac nyer. A jogosultságot a jövőbeli teljesítmény vizsgálata nélkül kell meghatározni: például egy adott időpontra érvényes likviditási küszöbbel és minimális adatelőzmény-követelménnyel. A tagság változásait is időbélyeggel kell ellátni, különben a „likvid piacok” aktuális listája a mai túlélőket csempészheti be egy régi backtesztbe.
A kritikusoknak igazuk van abban, hogy a szűk univerzumban könnyen törékennyé válhat a stratégia, és hogy a széles körű tesztelés értékes robusztussági ellenőrzés. Nem kell elkerülnünk a piacok tesztelését. Válasszuk külön az ötlet felfedezésére használt piacokat azoktól, amelyeken a rögzített ötletet próbára tesszük, és számítsuk bele a felfedezés munkáját is a bizonyítékba.
A nagyobb univerzum segíthet a stratégiának a laboron kívül is helytállni. De abban is segíthet, hogy egy szerencsés backteszt nyerje meg a labor kiválasztási versenyét. A keresési naplóból és a visszatartott mintából derül ki, melyik történetet támasztja alá a Sharpe-mutatónk.
← Összes bejegyzés
