Backtest, walk-forward-optimointi ja tarkistukset
Miten tulokset tuotetaan todelliset kulut huomioiden ja miten strategia ansaitsee oikeuden edetä.
Pörssien mukaiset palkkiot ja kulut
Backtesteissä käytetään kunkin kaupankäyntipaikan julkaisemia maker- ja taker-palkkioita, perpetual-futuurien rahoitusmaksuja sekä markkinavaikutuksen mallinnusta jokaisessa toimeksiannon toteutuksessa. Salkun arvo määritetään markkinahintaan jokaisella kynttilällä, ja vivutetut positiot voidaan likvidoida kaupankäyntipaikan ylläpitomarginaalin perusteella. Mitään ei raportoida ilman kulujen vähentämistä.
Positioiden koko ja vipuvaikutus
Strategiat mitoittavat positiot tilin oman pääoman mukaan kiinteiden määrien sijasta. Pyydetty vipuvaikutus välitetään moottorille, joka rajoittaa sen kaupankäyntipaikan enimmäistasoon: spot- ja optiokaupankäyntipaikoissa vipuvaikutus pysyy yhdessä, futuurikaupankäyntipaikoissa sitä voi käyttää enemmän. Spot-tileillä ei voi myydä lyhyeksi, ja strategian perusluokka valvoo tätä.
Kolmivaiheinen optimointi
Herkkyysanalyysissä kutakin parametria muutetaan kaksikymmentä prosenttia jyrkkien romahdusten löytämiseksi. Walk-forward-optimoinnissa tehdään bayesilaista hakua liukuvissa aikaikkunoissa ja seurataan otoksen sisäisiä ja ulkopuolisia tuloksia erikseen. Lopullinen holdout-jakso, joka kattaa viimeisen viidenneksen datasta, testataan kerran. Sen tuloksen on kestettävä vertailu walk-forward-optimoinnin otoksen ulkopuoliseen tulokseen.
Ylisovittamisen tunnistaminen
Strategia hylätään, jos sen otoksen ulkopuolinen suorituskyky on negatiivinen, otoksen sisäisen ja ulkopuolisen tuloksen suhde on liian korkea, backtestin ylisovittamisen todennäköisyys ylittää puolet tai deflatoitu Sharpen luku, joka ottaa huomioon kokeiden määrän, ei enää tue tulosta.
Etenemisen hyväksymiskriteerit
Etenemisen vähimmäisvaatimukset pannaan täytäntöön koodissa julkaistun kriteeritiedoston perusteella. Kovat kriteerit koskevat ylisovittamista, ei-positiivisia otoksen ulkopuolisia tuloksia, epäonnistuneita holdout-testejä ja nollaa kauppaa, eikä niistä voi poiketa. Pehmeät kriteerit koskevat Sharpen lukua, voittokerrointa, arvonlaskua ja voittoprosenttia. Niistä voi poiketa vain kirjatulla syyllä, jonka riskivastaava vahvistaa tai hylkää.
Backtestin tulosten rehellinen tulkinta
Vertaa arvokäyrää arvonlaskuun, tarkista, kuinka monen kaupan varassa tulos on, ja vertaa kaupan keskimääräistä tuottoa meno-paluu-kaupankäynnin kuluihin. Muutaman kaupan tuottama korkea tuotto tai otoksen ulkopuolella katoava Sharpen luku on varoitusmerkki, ei tulos.