Backtestillä on helpompi hylätä strategia kuin valita sellainen. Heti kun käytät historiallista tuottoa monien vaihtoehtojen vertailuun, backtestistä tulee osa koetta, ja näennäisvoittajalla on piilevä hinta: valikoitumisharha.
Tämä kuulostaa nurinkuriselta. Teemme backtestejä selvittääksemme, mikä strategia toimii. Jokainen saman historian perusteella tehty valinta kuitenkin kuluttaa osan sen tarjoamasta näytöstä. Jos muutat tarkastelujaksoa, kynnysarvoa, instrumenttijoukkoa, tasapainotuspäivää tai stop-sääntöä tulosten nähtyäsi, olet esittänyt datalle uuden kysymyksen. Lopulta kysymyksiä on kertynyt niin paljon, että data antaa vakuuttavan vastauksen sattumalta.
Miksi useampien strategioiden testaaminen tekee parhaasta tuloksesta epäluotettavamman?
Kuvitellaan, että testaamme 100 strategiaa, joilla ei ole todellista etua. Niiden tuotot eroavat silti toisistaan. Jos suorituskykyarviot ovat suunnilleen toisistaan riippumattomia ja kohina on normaalijakautunutta, niiden paras Sharpe on positiivinen, vaikka jokaisen strategian todellinen Sharpe on nolla.
Karkeasti arvioiden 100 toisistaan riippumattoman normaalijakautuneen standardimuuttujan odotettu maksimi on 2.5 keskihajontaa keskiarvoa suurempi. Pidä tätä havainnollistuksena, älä korjauksena, jonka voi kopioida raporttiin: todelliset strategiavaihtoehdot korreloivat keskenään, Sharpe-arvioissa on oma otantavirheensä, ja tuotot käyttäytyvät harvoin kuin siistit normaalijakautuneet muuttujat. Käytännön johtopäätös pätee näistä varauksista huolimatta. Mitä useampia vaihtoehtoja tarkastelet, sitä todennäköisemmin paras tulos heijastaa suotuisaa kohinaa.
”Vaihtoehto” ei tarkoita vain tallennettua backtestiä. Se kattaa jokaisen tulosten näkemisen jälkeen tehdyn valinnan: laajennat instrumenttijoukkoa, koska kaavio näyttää sahalaitaiselta, jätät pois huonon vuoden tai muutat palkkio-oletusta, kunnes tuottokäyrä toipuu. Nämäkin päätökset lasketaan mukaan, vaikka niille ei olisi annettu versionumeroa.
Pidä tutkimuslokia ennen seuraavan vaihtoehdon ajamista
Kirjaa koko haku, myös hylätyt ideat ja syy jokaiseen muutokseen. Näin saat rehellisemmän kuvan siitä, miten paljon tulos on valikoitunut, etkä yhtä helposti muista vain houkuttelevia kokeiluja.
| Kirjattava tieto | Esimerkki | Miksi sillä on väliä |
|---|---|---|
| Hypoteesi | Lyhyen aikavälin palautuminen on voimakkaampaa epätavallisen suurten BTC-perpetuaalien hintaliikkeiden jälkeen | Erottaa idean sen myöhemmin valituista parametreista |
| Vaihtoehto ja aikaleima | 48 tunnin signaali, 2026-10-09, ajo 014 | Laskee kokeilujen määrän ja yhdistää tulokset koodiin ja dataan |
| Valintasääntö | Valitse net Sharpen perusteella; vähintään 100 kauppaa | Kertoo, mitä ”paras” tarkoitti ennen vertailua |
| Hylätyt vaihtoehdot | 12, 24 ja 72 tunnin ikkunat; kaikki säilytetään | Estää näkyvää voittajaa pyyhkimästä kilpailijoitaan mielestä |
Tutkimusloki ei peruuta tehtyä hakua. Se tekee hausta näkyvän, mikä on ensimmäinen askel sen arvioimisessa, kuinka paljon luottamusta voittaja ansaitsee.
Varaa dataa, johon tutkimusprosessissa ei palata yhä uudelleen
Jaa data ajanjaksoihin ja suojaa sitten viimeinen jakso. Kehitä strategiaa yhden jakson avulla, tee päätökset validointijakson perusteella ja arvioi lukittu strategia kerran myöhemmällä holdout-jaksolla. Voit esimerkiksi käyttää kehitykseen vuosia 2018–2022, validointiin vuotta 2023 ja varata vuodet 2024–2025 holdoutiksi. Nämä päivämäärät ovat vain esimerkki: jaon pitäisi määräytyä markkinan, strategian aikajänteen ja datan kattavuuden mukaan.
Kirjaa, mitä ”lukittu” tarkoittaa: signaali, instrumenttijoukko, positioiden mitoitus, toteutusoletukset sekä puuttuvaa dataa koskevat säännöt. Jos holdout tuottaa pettymyksen ja säädät strategiaa sen perusteella, tästä jaksosta on tullut validointidataa. Seuraavaan rehelliseen arviointiin tarvitaan uutta näyttöä.
Pieni otoskoko näkyy tässäkin. Strategia, joka käy kauppaa holdout-jaksolla 18 kertaa, ei vielä oikeuta täsmälliseen tuomioon. Raportoi kauppojen määrä ja epävarmuus tuottotunnuslukujen rinnalla; yksittäinen keskiarvo voi saada pienen otoksen näyttämään varmalta.
Tarkoittaako tämä, että backtesteistä ei ole hyötyä strategian valinnassa?
Ei. Kriitikot ovat oikeassa siinä, että tiukat holdout-jaksot voivat tuhlata dataa: markkinat muuttuvat, historiat ovat lyhyitä, ja käyttämätön jakso voi edustaa vain yhtä poikkeuksellista markkinatilannetta. Huolellisesti suunniteltu walk-forward-prosessi voi näyttää, miten strategia käyttäytyy käytettävissä olevan historian edetessä. Se ei silti tee toistuvasta säädöstä ilmaista. Jos tarkastelet jokaista jaksoa ja muutat strategiaa, jaksot ovat vaikuttaneet tutkimukseen.
Käytä backtesteillä vikatilanteiden löytämiseen, vertaa pientä määrää markkinamekanismiin perustuvia ideoita ja testaa, kestävätkö tulokset uskottavat palkkiot, rahoituksen, hintavaikutuksen ja parametrimuutokset. Pidä tutkimuslokia. Säilytä viimeinen holdout-jakso. Vie sitten lupaava, lukittu versio paperikaupankäyntiin, jossa toiminnalliset ristiriidat voivat tulla esiin.
Backtestin vahvin vastaus on usein: ”Tämä idea pettää olosuhteissa, jotka voimme jo havaita.” Kun se sanoo ”Tämä on paras strategia”, kysy, kuinka monta muuta vastausta siltä pyydettiin.
← Kaikki kirjoitukset
