Backtesti meni läpi. Paper-strategialta jäi toteutumatta 37 % sen toimeksiannoista.

Backtestissämme 100 lähetetystä toimeksiannosta toteutui 91. Paperikaupankäynnissä sama strategia sai 63 toteutusta. Signaalista toimeksiannon kuittaukseen kului mediaaniltaan 84 millisekuntia, ja 12 niistä paperikaupankäynnin toimeksiannoista, jotka jäivät toteutumatta, olivat limiittitoimeksiantoja, jotka backtest oletti toteutuneiksi heti hinnan käytyä niiden tasolla.

Tuo 28 prosenttiyksikön ero näytti strategiaongelmalta, kunnes erottelimme toimeksiantopäätökset toteutuspäätöksistä. Strategia valitsi lähes saman suunnan, koon ja hinnan molemmissa ajoissa. Toteutuspolku oli erilainen: osa toimeksiannoista saapui myöhässä, osa jäi avoimeksi ja osa osui markkinaan, joka oli jo liikkunut.

Mitä backtestin ja paperikaupankäynnin toimeksiantojen vastaavuus tarkoittaa?

Vastaavuus tarkoittaa, että backtesti ja paperijärjestelmä tekevät vertailukelpoisia päätöksiä samojen saatavilla olevien tietojen perusteella ja ottavat sitten erilaiset toteutusmallinsa nimenomaisesti huomioon. Se ei tarkoita, että jokaisen simuloidun toteutuksen pitäisi vastata paperikaupankäynnin toteutusta. Historiallisista kynttilöistä ei voi päätellä paikkaa jonossa, ja paperikaupankäynnin alusta saattaa käyttää erilaista täsmäytysmallia kuin oikea pörssi.

Hyödyllisempi kysymys on rajatumpi: pystytkö selittämään, mitä seuraavaksi tapahtui kunkin toimeksiannon kohdalla, jonka strategia aikoi tehdä? Kauppojen määrä ja lopullinen tuotto peittävät liikaa yksityiskohtia. Tallenna jokaisesta päätöksestä yhdistetty tapahtumatieto, jossa vakaa strategian päätöstunniste kulkee signaalin, toimeksiannon, kuittauksen, peruutuksen ja toteutustapahtumien mukana.

Miksi hinnan tasolla käyneet limiittitoimeksiannot selittivät niin monta puuttuvaa toteutusta?

Backtestissämme käytettiin 1 minuutin kynttilöitä. Jos limiittihinta osui kynttilän ylin–alin-hintaväliin, toimeksianto merkittiin toteutuneeksi. Tämä sääntö kertoo, kävikö markkinahinta kyseisellä tasolla jossain vaiheessa minuuttia. Se ei kerro, oliko toimeksiantomme silloin aktiivinen, oliko se jonossa ensimmäisenä tai vaihtuiko sen saapumisen jälkeen riittävä määrä.

Paperikaupankäynnin lokit paljastivat ajoitusongelman. Strategia laski signaalin kello 12:03:00.000, mutta markkinatietotapahtuma saapui toimeksiantoja käsittelevään prosessiin 31 millisekuntia myöhemmin. Riskitarkistuksiin kului vielä 22 millisekuntia, minkä jälkeen alustasimulaattori kuittasi toimeksiannon 31 millisekuntia myöhemmin. Nopeassa liikkeessä historiallinen kynttilä voi saada hinnan näyttämään saavutettavalta, vaikka limiittitoimeksianto saapui markkinan jo mentyä siitä ohi.

Lisäksi 12 paperikaupankäynnin toimeksiantoa oli yhä avoinna, vaikka backtest oli jo siirtynyt eteenpäin. Simulaattori hyväksyi peruutuspyynnön ikään kuin toimeksianto olisi kadonnut heti. Paperijärjestelmässä peruutuksen kuittaus tuli myöhemmin, ja 3 toimeksiantoa toteutui tuona aikana. Se muutti positiota, jonka seuraava signaali näki.

Miten mittaan eron johtamatta itseäni harhaan?

Aloita pienellä täsmäytysraportilla, joka ryhmittelee tulokset toimeksiantoaikeen mukaan. Pidä nimittäjä näkyvissä. ”Toteutumisaste” voi tarkoittaa toteutuneiden toimeksiantojen osuutta lähetetyistä, toteutunutta määrää suhteessa pyydettyyn määrään tai toteutuneiden toimeksiantojen osuutta alustalle edenneistä toimeksiannoista. Nämä vastaavat eri kysymyksiin.

1. Yhdistä tapahtumat päätös- tai asiakastoimeksiantotunnisteella, älä jälkikäteen arvatulla aikaleimalla.
2. Vertaa ensin päätöksiä: signaalin aika, suunta, pyydetty määrä, toimeksiantotyyppi ja limiittihinta.
3. Vertaa päätöksiltään vastaavien toimeksiantojen kuittausviivettä, hylkäyksiä, avoinnaoloaikaa, peruutusaikaa, toteutunutta määrää ja volyymipainotettua toteutushintaa.
4. Raportoi luvut toimeksiantotyypin ja markkinaolosuhteiden mukaan. Koko aineiston 63 %:n toteutumisaste voi peittää alleen markkinatoimeksiantojen 90 %:n ja passiivisten limiittitoimeksiantojen 35 %:n toteutumisasteet.

Pidä luokat yksiselitteisinä. Hylätty toimeksianto ei ole toteutumaton toimeksianto, osittain toteutunut toimeksianto ei ole kokonaan toteutunut, ja osittaisen toteutuksen jälkeen peruttu toimeksianto muutti silti positiota. Laske sekä toimeksiannot että pyydetty määrä, jotta pieni toimeksiantorypäs ei saa tulosta näyttämään todellista paremmalta.

Mitä backtestissä pitäisi muuttaa?

Käytä toteutussääntöä, joka sopii datan tarkkuuteen ja toimeksiannon aiottuun toimintatapaan. Kynttilädatassa limiittihinnan saavuttaminen on näyttöä mahdollisesta toteutuksesta, ei todiste siitä. Voit mallintaa osittaiset toteutukset varovaisesti, edellyttää hinnan käymistä limiittihinnan ohi tai jättää pois passiiviset toimeksiannot, joiden paikkaa jonossa ei voi arvioida. Kukin valinta vastaa eri kysymykseen; dokumentoi valinta ja vertaa tulosta useamman uskottavan säännön mukaan.

Mallinna myös toimeksiantojen tilat. Toimeksianto pysyy aktiivisena, kunnes järjestelmä vastaanottaa sen päättävän tapahtuman, eikä peruutuspyyntö poista markkina-altistusta. Jos strategia voi lähettää toisen toimeksiannon ensimmäisen ollessa vielä käsittelyssä, backtestin on mallinnettava tämä kilpatilanne tai estettävä se rakenteellisesti.

Toteutusmalli esittää väitteen siitä, mitä toimeksiantosi olisi voinut saada aikaan. Valitse sääntö, jonka pystyt selittämään, ja tarkista se paperikaupankäynnin lokeista.

Meidän 28 prosenttiyksikön erossamme yllättävää ei ollut se, että minuutin kynttilöihin perustuva backtest liioitteli passiivisten toimeksiantojen toteutumista. Yllättävää oli, että strategian positio erosi jo ennen sen seuraavaa päätöstä, koska peruutusten ajoitus oli jätetty huomiotta. Kun korjasimme toimeksiantojen tilamallin emmekä enää käsitelleet jokaista limiittihinnan saavuttamista toteutuksena, vertailu paperikaupankäyntiin antoi vähemmän mairittelevan mutta hyödyllisemmän kuvan.

Tämä on käytännön vaatimustaso vastaavuudelle: jokaisella simuloidun kaupankäynnin ja paperikaupankäynnin käyttäytymisen merkittävällä erolla on kirjattu syy, eikä backtest väitä varmuutta, johon sen data ei riitä.