Backtest voi osua jokaisen kynttilän aikaleimaan oikein ja silti käyttää huomisen tietoa. Näin käy, kun strategia testaa nykyään jäljellä olevia omaisuuseriä vuosien historian läpi ikään kuin se olisi tiennyt, mitkä markkinat pysyisivät likvideinä ja listattuina ja kannattaisi pitää mukana.
Markkinajoukon muodostaminen on osa strategiaa. Jos live-järjestelmä pystyi valitsemaan vain omaisuuseristä, jotka olivat saatavilla kullakin päätöshetkellä, backtestin on noudatettava samaa rajausta. Kolme oikopolkua häivyttää tämän rajan toistuvasti.
Virhe yksi: nykyisen listan backtestaus koko historian ajalta
Oletetaan, että seulot tänään 50 suurinta kryptojen perpetual-markkinaa ja backtestaat niitä vuodesta 2021 alkaen. Lista jättää pois sopimukset, jotka katosivat, menettivät likviditeettinsä tai poistettiin listalta. Samalla se antaa aiemmille ajankohdille pääsyn markkinoille, joita ei ehkä vielä ollut olemassa.
Jälkiä on helppo olla huomaamatta: strategia vaikuttaa vakaammalta, koska epäonnistuneet omaisuuserät ovat kadonneet sen otoksesta. Esimerkiksi momentum-sääntö voi näyttää erinomaiselta nykyisillä 50 markkinalla, vaikka historiallinen versio olisi toistuvasti sijoittanut nimiin, jotka myöhemmin romahtivat tai menettivät listauksensa kaupankäyntipaikassa. Olet testannut salkkua, jonka valintaan lopputulos on vaikuttanut.
Muodosta jäsenyydestä päivämääräkohtainen rekisteri. Seuraa kunkin omaisuuserän osalta, milloin se täytti kelpoisuusehdot, milloin se lakkasi täyttämästä niitä ja miksi. Käytä kullakin tasapainotushetkellä vain silloin saatavilla olleita tietoja sääntöjen soveltamiseen. Markkinan tulee tulla mukaan todellisen listautumisensa ja mahdollisen vaaditun alkulämmittelyjakson jälkeen. Jos se poistetaan listalta, sen viimeiselle positiolle on määriteltävä poistumis- tai selvityskäsittely; rivien pudottaminen ei ole poistumissääntö.
Virhe kaksi: järjestäminen päätöksen jälkeen mitatun tunnusluvun perusteella
Historiallinen markkinajoukkokin voi vuotaa tietoa, jos sen jäsenyyssäännössä käytetään tulevaisuudessa päättyvää mittausikkunaa. ”Kaupankäynti kuukauden 20 likvideimmällä osakkeella” kuulostaa järkevältä, kunnes likviditeetti järjestetään koko kuukauden perusteella, vaikka strategian pitäisi käydä kauppaa juuri tuon kuukauden aikana.
Kuvitellaan, että salkku tasapainotetaan kuukauden ensimmäisenä kaupankäyntipäivänä. Järjestäminen kyseisen kuukauden keskimääräisen dollarivolyymin perusteella käyttää huomaamatta seuraavat kolme viikkoa sen päättämiseen, mikä täytti ehdot ensimmäisenä päivänä. Jälki näkyy usein poikkeuksellisen hyvänä kapasiteettina: strategia välttää omaisuuserät, joiden likviditeetti heikkeni myöhemmin kuussa, vaikka se ei olisi voinut tietää sitä positioon mentäessä.
Aseta mittauksen katkaisukohta ennen valintahetkeä. Kuukauden ensimmäisen session tasapainotuksessa voit esimerkiksi järjestää kohteet edeltävien 20 päättyneen session perusteella edelliseen sessioon asti. Määrittele sitten toteutuksen viive selkeästi: jos järjestämiseen käytetään eilisen päätöshintaa, voiko toimeksiannon lähettää tämän päivän avauksessa oletetun työnkulun mukaisesti?
| Valintasääntö | Ajankohtaan perustuva versio | Yleinen tietovuoto |
|---|---|---|
| 20 suurinta dollarivolyymin mukaan | Järjestä ennen tasapainotusta päättyneiden sessioiden perusteella | Tasapainotuspäivän tai -kuukauden sisällyttäminen |
| Listattu kaupankäyntipaikassa | Käytä listautumisen ja listalta poistumisen voimaantuloaikoja | Nykyisen symbolipäätepisteen käyttö vanhoille päivämäärille |
| Vähimmäishistoria | Laske valintahetkellä saatavilla olevat havainnot | Tulevan selviytymisen vaatiminen suodattimen läpäisyyn |
Virhe kolme: puuttuvan historian pitäminen todisteena siitä, ettei omaisuuserä ollut kelpoinen
Datatoimittajan arkisto ei välttämättä ole täydellinen tallenne markkinoiden historiasta. Puuttuva symboli voi tarkoittaa, ettei omaisuuserää ollut koskaan olemassa, kaupankäyntipaikka muutti nimeämiskäytäntöään, toimittaja ei säilyttänyt listalta poistettuja instrumentteja tai aineistossa on yksinkertaisesti aukko. Näillä tapauksilla on eri merkitykset.
Jälkenä on siisti markkinajoukko, jossa on selittämättömiä aukkoja. Tutkijat vaativat usein täyttä katselujaksoa ja sulkevat sitten huomaamatta pois kaiken, jolta sellainen puuttuu. Se voi olla järkevä alkulämmittelysääntö, mutta samalla se sulkee tarkoituksella pois hiljattain listatut omaisuuserät. Vielä pahempaa on, jos puuttuva historia keskittyy epäonnistuneisiin markkinoihin: ”vain täydellinen data” muuttuu toiseksi selviytymisharhaksi.
Pidä kelpoisuus, datan saatavuus ja strategian alkulämmittely erillisinä tietoina. Kirjaa, miksi omaisuuserä suljettiin pois kunakin päivänä. Säilytä puuttuvat tiedot tutkimusrekisterissä sen sijaan, että muuttaisit ne huomaamattomaksi poistoksi. Jos lähde ei vahvista, oliko markkina listattu tai kaupankäynnin kohteena, kerro se ja mittaa, kuinka paljon tulos riippuu tästä epävarmuudesta.
Tee markkinajoukosta toistettavasti muodostettava
Hyödyllinen tarkastus alkaa yhdestä historiallisesta tasapainotushetkestä. Rakenna ehdokaslista uudelleen päivämääräkohtaisten listaustietojen ja kyseiseen katkaisukohtaan mennessä saatavilla olleen datan perusteella. Laske järjestämiseen käytetyt syötteet uudelleen vain päättyneiden havaintojen pohjalta. Vertaa sitten tuloksena syntynyttä jäsenyyttä backtestissäsi käytettyyn listaan.
Tallenna sääntö, sen katkaisukohta, jäsenyyttä koskevat päätökset ja lähteen versio ajon yhteyteen. Jos et osaa selittää, miksi yksi omaisuuserä tuli mukaan ja toinen jäi pois tiettynä päivänä, et vielä tiedä, löysikö strategia tuotonlähteen vai perikö se tulevaisuuden muokkaaman otoksen.
Markkinajoukkoon liittyvät virheet harvoin paljastuvat mahdottomina hintoina. Ne näkyvät strategiana, joka sattumalta vältti markkinat, joista lakkasi olemasta sille hyötyä.
← Kaikki kirjoitukset
