Neljä lukua kertoo ikävän tarinan: walk-forward-Sharpe 1.4, 312 historiallista kauppaa, 46 paperikauppaa ja paperikaupankäynnin sekä backtestin toteutushintojen 18 korkopisteen ero. Sharpe päätyy otsikkoon. 18 korkopistettä voi selittää, miksi strategia tuntuu erilaiselta, ennen kuin paperikaupankäyntihistoriaa on riittävästi sen suorituskyvyn arviointiin.
Walk-forward-testaus selvittää, olisiko tutkimusprosessilla voitu valita strategia aiemman datan perusteella ja arvioida sitä myöhemmällä datalla. Paperikaupankäynnissä taas tarkastellaan, käyttäytyykö käynnissä oleva järjestelmä nykyisen datansa, kellojensa, tilauslogiikkansa ja toteutustensa kanssa samalla tavalla kuin testattu prosessi. Kysymykset liittyvät toisiinsa, mutta ensimmäinen ei automaattisesti vastaa toiseen.
Mitä walk-forward-validointi oikeastaan osoittaa?
Oletetaan, että koulutat strategian tai valitset sen 6 kuukauden datalla ja arvioit sitä seuraavan kuukauden datalla. Siirrä sitten aikaikkunaa eteenpäin ja toista. Jos kukin testikuukausi jää vastaavan valintaprosessin ulkopuolelle, saat näyttöä suorituskyvystä erilaisissa historiallisissa olosuhteissa.
Se ei osoita, että paperikaupankäynti tuottaisi samat päätökset tai toteutukset. Historiallisessa testissä voidaan käyttää sulkeutuneita kynttilöitä, kiinteää palkkioaikataulua ja yksinkertaistettua markkinatilausmallia. Käynnissä oleva paperiprosessi puolestaan käsittelee saapuvaa dataa ja lähettää simuloidut tilaukset eri reittiä. Toinen voi olla kunnossa, vaikka toisessa on ristiriita.
Siksi 46 paperikauppaa verrattuna walk-forward-otoksen 312 kauppaan ei yksinään ratkaise asiaa. Tarkista vertailujakso, signaalien tiheys, avoimet positiot jakson rajoilla ja se, lasketaanko kaupat molemmissa samalla määritelmällä. 6 viikon paperikaupankäyntijakson kauppamäärä ei voi vastata vuoden rullaavien testien kauppamäärää.
Miksi toteutusero paljastaa niin paljon?
Keskimääräinen 18 korkopisteen ero kannattaa purkaa osiin ennen paperikaupankäynnin pääomakäyrän tulkintaa. Mitataanko eroa backtestin oletetun toteutuksen ja paperisimulaattorin toteutuksen välillä vai päätöshetken keskihinnan ja paperitoteutuksen välillä? Nämä mittaavat eri asioita. Kirjaa erikseen päätöshinta, tilauksen saapumishinta, simuloitu toteutus, kulut ja mahdollinen rahoitusmaksu.
| Havaittu ero | Ensimmäinen tarkistus | Miksi sillä on väliä |
|---|---|---|
| Vähemmän paperikauppoja | Signaalien aikaleimat ja kelpoisuussäännöt | Puuttuva tai viivästynyt syöte voi estää päätöksiä |
| Samat kaupat, heikommat toteutukset | Tilaustyyppi, spread, markkinavaikutus ja palkkiotaso | Backtest saattaa olettaa edullisemman toteutusreitin |
| Eri positiokoot | Käteinen, sopimuskerroin ja pyöristys | Pienet yksikköerot kasaantuvat useissa tilauksissa |
| Poikkeama uudelleenkäynnistyksen jälkeen | Palautettu positio ja odottavat tilaukset | Paperiprosessi saattaa jatkua eri tilasta |
Esimerkiksi backtest, joka ostaa seuraavan kynttilän avauksessa, voi muistuttaa paljon paperimarkkinatilausta likvidissä instrumentissa. Jos paperitilaus kuitenkin saapuu jyrkän liikkeen jälkeen, eroon sisältyy ajoitus ja markkinan liike toteutuskulujen lisäksi. Kaikkien 18 korkopisteen kutsuminen ”slippagiksi” peittää todellisen syyn.
Miten vertaan paperikaupankäyntiä walk-forward-testiin?
Aloita päätöksistä, jatka tilauksiin ja sitten toteutuksiin. Toista jokaisen paperipäätöksen kohdalla sama strategian versio samalla syötehistorialla ja vertaa, mitä se tiesi kyseisellä hetkellä. Hyödylliseen vertailutietueeseen kuuluvat:
- Strategian versio ja parametrit sekä valintaikkuna, jonka perusteella ne määritettiin.
- Syötearvot sekä tapahtuma-aikoineen että saatavuusaikoineen.
- Signaali, tavoitepositio, nykyinen positio ja ehdotettu tilaus.
- Tilausrajoitukset, kulut, rahoitusmaksut ja simuloidun toteutuksen tiedot.
- Käteis- ja positiotila ennen toteutusta ja sen jälkeen.
Jos signaalit eroavat, tarkista datan ajoitus ja koodiversiot. Jos signaalit täsmäävät mutta tilaukset eroavat, tarkista koon määritys, kaupankäyntipaikan säännöt ja salkun tila. Jos tilaukset täsmäävät mutta toteutukset eroavat, tarkista toteutusoletukset. Pidä nämä vaiheet erillään, muuten yksi suorituskykyluku lähettää sinut tutkimaan väärää kohtaa.
Milloin poikkeama kertoo strategian olevan rikki?
Kun putki on yhtenäinen, vertaa tuloksia riittävän pitkältä yhteiseltä jaksolta ja tutki, käyttäytyykö strategia tarkoitetulla tavalla. Muutama paperikauppa voi paljastaa rikkinäisen aikaleiman tai tilausreitin nopeasti. Niiden perusteella ei kuitenkaan voi luotettavasti päätellä, että strategian keskimääräinen tuotto olisi muuttunut. Siihen tarvitaan riittävästi havaintoja, ja tarvittava määrä riippuu tuottojen kohinaisuudesta ja ryhmittymisestä.
Myös markkinaolosuhteet voivat muuttua. Spreadin leveneminen tai jatkuvasti epäsuotuisaksi muuttuva rahoitusmaksu voi heikentää strategiaa, vaikka jokainen päätös täsmäisi. Kyse on kaupankäyntiolosuhteiden todellisesta muutoksesta, ei validointivirheestä. Pidä kuluista ja positioriskeistä kirjaa tuottojen rinnalla, jotta eron näkee.
Walk-forward-validointi kertoo valintaprosessin toiminnasta historiallisilla ajanjaksoilla. Paperikaupankäynti kertoo käynnissä olevan järjestelmän toiminnasta havaituissa olosuhteissa. Kun tulokset eroavat, etsi ensin varhaisin kohta, jossa niiden tietueet poikkeavat. Yllättävä luku ei usein ole Sharpe. Se on pieni toteutus- tai dataero, jonka vuoksi kokeet vastaavat eri kysymyksiin.
← Kaikki kirjoitukset
