Markkinoiden lisääminen strategiahakuun voi saada parhaan backtestin näyttämään vahvemmalta samalla, kun näyttö heikkenee. Symbolien lisäämisen jälkeen noussut Sharpe tulkitaan usein hajautukseksi; jos etsit voittoa niistä symboleista, lisäsit samalla mahdollisuuksiasi osua onnekkaasti.
Tällä erolla on merkitystä riippumatta siitä, ehdottaako agentti satoja signaaleja vai testaako tutkija muutamaa käsin. Hakuavaruuteen kuuluvat kaikki markkina-, aikaväli-, ominaisuus- ja parametrikombinaatiot, joiden tulos vaikutti lopulliseen valintaan. Se, että ”otimme käyttöön vain yhden strategian”, ei kerro, kuinka monta ehdokasta oli arvioitavana.
Miksi suurempi markkinauniversumi voi paisuttaa parasta Sharpea?
Kuvitellaan, että testaamme samaa strategiapohjaa 40 toisistaan riippumattomalla markkinalla. Oletetaan yksinkertaisuuden vuoksi, että jokaisen markkinan todellinen Sharpe on nolla ja kunkin Sharpe-estimaatin keskivirhe on 0.5. Estimaatit vaihtelevat nollan ympärillä. Valitse niistä korkein, ja se on yleensä positiivinen yksinkertaisesti siksi, että valitsit maksimin.
Karkealla normaalijakauma-approksimaatiolla 40 riippumattomasta kohinaestimaatista suurimman odotusarvo asettuu noin 1.3 keskivirheen verran nollan yläpuolelle: tässä esimerkissä Sharpe olisi suunnilleen 0.65. Tarkka luku riippuu riippuvuuksista, otoksen pituudesta ja tuottojen jakaumasta. Olennaista on, että valinta luo optimismia, vaikka yhdelläkään strategialla ei olisi etua.
Pidä hakuloki. Kirjaa jokainen tarkasteltu markkina ja ehdokas, myös epäonnistuneet ajot ja hylätyt vaihtoehdot. Lopullisen strategian koemäärä kertoo siitä, mikä vaikutti valintaan, ei siitä, kuinka moni tiedosto säästyi siivoukselta.
Markkinat eivät ole riippumattomia kolikonheittoja. BTC ja ETH liikkuvat usein yhdessä, ja kahdella osakeindeksillä voi olla suurin piirtein samat riskit. Tämä pienentää riippumattomien kokeiden efektiivistä määrää, mutta ei poista ongelmaa. Lisäksi korreloivat markkinat voivat silti erota palkkioiden, rahoitusmaksujen, likviditeetin ja signaalin toiminta-aikojen suhteen.
Lasketaanko useampien markkinoiden testaaminen moninkertaiseksi testaukseksi?
Lasketaan, jos käytät tuloksia päättääksesi, mitä säilytetään. Jos alkuperäinen hypoteesi oli ”tämä sääntö hyödyntää rahoitusmaksuvaikutusta suurissa perpetual-sopimuksissa”, markkinoiden läpikäynti kuuluu hypoteesin testaamiseen. Jos testaat 50 markkinaa, löydät parhaan ja muotoilet sitten hypoteesin sen käyttäytymisen mukaan, universumin valinnasta on tullut osa optimointia.
Etukäteen valitun ja tulosten näkemisen jälkeen valitun laajuuden välillä on hyödyllinen ero. Kiinteä kori voi osoittaa, toimiiko idea johdonmukaisesti määritellyllä alueella. Kori, jota laajennetaan, kunnes yhdelle symbolille syntyy näyttävä tuottokäyrä, on hakumenettely. Molemmat voivat olla hyväksyttävää tutkimusta, mutta ne vastaavat eri kysymyksiin.
| Tutkimusvalinta | Mitä se voi osoittaa | Mitä se ei yksinään voi osoittaa |
|---|---|---|
| Ennalta määritelty kori, tasapuolinen käsittely | Toimiiko sääntö valituilla markkinoilla | Että kori edustaa kaikkia kaupankäynnin kohteena olevia markkinoita |
| Testien jälkeen valittu parhaiten tuottanut markkina | Millä testatuista markkinoista oli vahvin historiallinen tulos | Että valittu Sharpe olisi harhaton estimaatti |
| Markkinat, jotka jätettiin haun ulkopuolelle | Siirtyykö jäädytetty sääntö markkinoille, joita ei käytetty kehityksessä | Että tulevat olosuhteet vastaavat testijakson ulkopuolista aineistoa |
Miten testaan, siirtyykö etu uusille markkinoille?
Lukitse tutkimusvalinnat ennen testijakson ulkopuolisen aineiston avaamista. Tähän kuuluvat signaalin määritelmä, parametrit, universumin säännöt, tasapainotusaikataulu ja toteutusoletukset. Arvioi sitten muuttamaton strategia markkinoilla, jotka eivät vaikuttaneet näihin valintoihin.
Oletetaan esimerkiksi, että kryptomarkkinoiden momentum-sääntö kehitetään BTC- ja ETH-perpetual-sopimuksilla vuoden 2023 loppuun asti. Voit varata joukon muita likvidejä perpetual-sopimuksia valintaperiaatteella, joka käyttää vain ennen testijaksoa saatavilla ollutta tietoa, ja jättää ne pois kaikesta virittämisestä. Sovella lukittua sääntöä näihin sopimuksiin vuosina 2024 ja 2025. Sisällytä kunkin kaupankäyntipaikan todellinen palkkiotaso, rahoitusmaksut, sopimusehdot ja perusteltu markkinavaikutusoletus; testi, jossa ei huomioida markkinakohtaisia kaupankäyntikuluja, voi tulkita kulueron virheellisesti signaalin epäonnistumiseksi — tai peittää sellaisen.
Raportoi testijakson ulkopuolisten markkinoiden tulosten jakauma, älä pelkästään yhdistettyä Sharpea. Yhdistetty portfolio voi peittää sen, että lähes kaikki tuotot tulivat yhdeltä markkinalta. Näytä kunkin markkinan nettotulos, kauppojen määrä, suurin pudotus ja suurimman markkinan osuus kokonaistuloksesta. Jos sääntö toimii vain yhdellä sopimuksella, kutsu sitä sopimuskohtaiseksi tulokseksi.
Pidä myös aikajako rehellisenä. Markkinaa ei ehkä ole käytetty tutkimuksessa, vaikka sen aineistojakso osuisi samaan markkinatilanteeseen, joka ajoi kehitystulosta. Markkinoiden välinen testijakso tutkii, siirtyykö sääntö instrumentista toiseen; myöhempi testijakso tutkii, kestääkö se aikaa. Nämä ovat eri testejä, eikä vahva tulos toisessa korvaa toista.
Entä jos strategian kuuluukin käyttää useampia markkinoita?
Ota ne silloin mukaan, mutta määrittele miten. Portfoliosääntö, joka käy kauppaa jokaisella kelpoisuusehdot täyttävällä markkinalla kiinteän signaalin mukaan, eroaa kilpailusta, jossa historiallisesti paras markkina voittaa. Kelpoisuus on ratkaistava katsomatta tulevaa tuottoa: esimerkiksi tiettynä ajankohtana mitatun likviditeettirajan ja vähimmäishistorian perusteella. Myös jäsenyyden muutoksille tarvitaan aikaleimat, tai nykyinen ”likvidien markkinoiden” lista voi tuoda vanhaan backtestiin mukaan tämän päivän selviytyjät.
Kriitikot ovat oikeassa siinä, että kapea universumi voi tuottaa hauraan strategian ja laaja testaus on arvokas kestävyystarkistus. Ratkaisu ei ole markkinatestien välttäminen. Erota idean löytämiseen käytetyt markkinat niistä, joilla lukittua ideaa haastetaan, ja laske löytötyö osaksi näyttöä.
Suurempi universumi voi auttaa strategiaa selviytymään laboratorion ulkopuolella. Se voi myös auttaa onnekasta backtestiä voittamaan laboratorion valintakilpailun. Hakuloki ja testijakson ulkopuolinen aineisto kertovat, kumpaa tarinaa Sharpe-tuloksesi tukee.
← Kaikki kirjoitukset
