A backtest jobban alkalmas egy stratégia elvetésére, mint kiválasztására. Abban a pillanatban, hogy múltbeli teljesítmény alapján választunk a sok változat közül, a backtest a kísérlet részévé válik, a látszólagos győztes pedig rejtett árat kezd hordozni: szelekciós torzítást.
Ez elsőre fordítva hangzik. Azért végzünk backtestet, mert tudni akarjuk, melyik stratégia működik. Csakhogy minden, ugyanazokra az adatokra támaszkodó döntés felhasznál valamennyit azok bizonyító erejéből. Ha az eredmények megtekintése után módosítjuk a visszatekintési időszakot, a küszöbértéket, az instrumentumkört, az újrasúlyozás napját vagy a stop szabályt, újabb kérdést teszünk fel az adatoknak. Egy idő után már annyi kérdést hallottak, hogy véletlenül is meggyőző választ adjanak.
Miért teszi kevésbé megbízhatóvá a legjobb eredményt, ha több stratégiát tesztelünk?
Képzeljük el, hogy 100 olyan stratégiát tesztelünk, amelyeknek nincs valódi előnyük. A hozamaik így is különbözni fognak. Ha a teljesítménybecslések nagyjából függetlenek egymástól, a zaj pedig normális eloszlású, akkor a legjobb Sharpe pozitív lesz, noha mindegyik stratégia valódi Sharpe értéke nulla.
100 független standard normális mintából a legnagyobb várható érték durva közelítéssel 2.5 szórással van az átlag fölött. Ezt szemléltetésnek tekintsük, ne olyan korrekciónak, amelyet egyszerűen beilleszthetünk egy jelentésbe: a valódi stratégiai változatok korrelálnak egymással, a Sharpe-becsléseknek saját mintavételi hibájuk van, a hozamok pedig ritkán viselkednek tiszta normális mintaként. A gyakorlati tanulság ezekkel a fenntartásokkal együtt is érvényes. Minél több jelöltet vizsgálunk meg, annál valószínűbb, hogy a legjobb pontszám kedvező zajt tükröz.
A „jelölt” pedig nem csak egy elmentett backtestet jelent. Beletartozik minden olyan döntés, amelyet az eredmény láttán hozunk: kibővítjük az instrumentumkört, mert a grafikon egyenetlennek tűnik, kihagyunk egy rossz évet, vagy addig módosítjuk a díjfeltételezést, amíg helyre nem áll a görbe. Ezek a döntések akkor is számítanak, ha senki sem adott nekik verziószámot.
Vezessünk kutatási naplót, mielőtt lefuttatjuk a következő változatot
Rögzítsük a teljes keresést, a félretett ötletekkel és minden módosítás indokával együtt. Így őszintébben látjuk, mennyire válogattuk ki az eredményt, és nehezebb lesz csak a kedvező próbákra emlékeznünk.
| Mit rögzítsünk | Példa | Miért fontos |
|---|---|---|
| Hipotézis | A rövid távú visszafordulás erősebb a BTC perpetual kontraktusok szokatlanul nagy elmozdulásai után | Elkülöníti az alapötletet a később kialakított paraméterbeállításoktól |
| Változat és időbélyeg | 48 órás jelzés, 2026-10-09, 014. futtatás | Számon tartja a keresést, és az eredményeket a kódhoz és az adatokhoz köti |
| Kiválasztási szabály | Választás a nettó Sharpe alapján; legalább 100 kötés | Megmutatja, mit jelentett a „legjobb” még az összehasonlítás előtt |
| Elvetett változatok | 12, 24 és 72 órás időablak; mind megőrizve | Megakadályozza, hogy a látható győztes eltüntesse a versenytársait |
A napló nem teszi meg nem történtté a keresést. Láthatóvá teszi, hogyan zajlott, ez pedig az első lépés annak megítéléséhez, mennyire bízhatunk a győztesben.
Tartsunk fenn olyan adatokat, amelyekhez a kutatási folyamat nem térhet vissza újra és újra
Idő szerint osszuk fel az adatokat, majd védjük a végső időszakot. Az egyik időszakon fejlesszük a stratégiát, a validációs időszak alapján hozzuk meg a döntéseket, majd a változatlan stratégiát egyszer értékeljük egy későbbi holdout adathalmazon. Például használhatjuk a 2018–2022-es időszakot a fejlesztéshez, 2023-at a validációhoz, a 2024–2025-ös éveket pedig félretehetjük. Ezek csak példadátumok: az időszak felosztását a piacnak, a stratégia időtávjának és az adatok lefedettségének kell meghatároznia.
Írjuk le, mit jelent az, hogy a stratégia „rögzített”: a jelzést, az instrumentumkört, a pozícióméretezést, a végrehajtási feltételezéseket és a hiányzó adatokra vonatkozó szabályokat is. Ha a holdout kiábrándító eredményt hoz, és ehhez igazítjuk a stratégiát, akkor az az időszak validációs adattá vált. A következő tisztességes értékeléshez új bizonyítékokra lesz szükség.
Itt okozhatnak gondot a kis minták is. Egy olyan stratégia, amely a holdout időszakban 18 kötést hajtott végre, még nem ad alapot pontos ítéletre. A hozamadatok mellett közöljük a kötések számát és a bizonytalanságot is; egyetlen átlag azt a látszatot keltheti, hogy egy szűk minta eredménye már biztos.
Akkor a backtest haszontalan a stratégiák kiválasztásához?
Nem. A kritikusoknak igazuk van abban, hogy a szigorúan elkülönített holdout pazarló lehet: a piacok változnak, a múltbeli adatsorok rövidek, és egy érintetlen időszak mindössze egy szokatlan rezsimet képviselhet. Egy gondosan megtervezett walk-forward folyamat megmutathatja, hogyan viselkedik a stratégia, ahogy előrehaladunk az elérhető adatokon. Ettől az ismételt hangolás még nem válik ingyenessé. Ha minden időablak eredményét megvizsgáljuk, majd módosítjuk a stratégiát, akkor ezek az időablakok befolyásolták a kutatást.
Használjuk a backtesteket a hibamódok feltárására, néhány, piaci mechanizmusokra épülő ötlet összehasonlítására, valamint annak vizsgálatára, hogy az eredmények kiállják-e az életszerű díjak, fundingköltségek, piaci hatások és paraméterváltozások próbáját. Vezessünk naplót. Őrizzünk meg egy végső holdout adathalmazt. Ezután vigyük át a biztató, rögzített változatot paper tradingbe, ahol felszínre kerülhetnek a működésbeli eltérések.
A backtest legerősebb válasza gyakran ez: „Ez az ötlet olyan körülmények között vall kudarcot, amelyeket már most is látunk.” Ha pedig azt mondja: „Ez a legjobb stratégia”, kérdezzük meg, hány másik választ vártunk még tőle.
← Összes bejegyzés
