Testasimme 240 parametrikokonaisuutta. Parhaan Sharpe-suhde oli 2.1, mediaani 0.1, ja vain 17 ylitti arvon 1.0. Luvut kuulostavat löydöltä, kunnes huomaat, että vaikka millään strategialla ei olisi todellista etua, näin laajasta hausta voi löytyä sattumalta imarteleva voittaja.
Yllättävä luku on 240. Backtest-raportissa valittua strategiaa käsitellään yleensä kuin se olisi ilmestynyt tyhjästä. Tutkimus ei kuitenkaan toimi niin. Jokainen parametrin säätö, ominaisuuden vaihto, sijoitusjoukon muutos ja ruma tulos, jota seuraa uusi ajo, antaa kohinalle uuden mahdollisuuden näyttää signaalilta.
Miksi useampien strategioiden kokeileminen nostaa parasta Sharpe-arvoa?
Kuvitellaan 240 riippumatonta strategiaa, joilla ei ole todellista etua ja joiden arvioidut Sharpe-arvot ovat kohinaisia. Useimmat arviot osuvat lähelle nollaa, mutta suurin niistä on yleensä positiivinen. Mitä useampia ehdokkaita tarkastelet, sitä kauemmas suurin arvo voi ajautua todellisesta arvosta.
Karkeana esimerkkinä oletetaan, että kunkin ehdokkaan arvioidun Sharpe-arvon keskivirhe on 0.5. Kun riippumattomia arvontoja on 240, suurin arvio voi valikoitumisen vuoksi osua noin 1.4 keskivirheen verran keskiarvon yläpuolelle eli suunnilleen Sharpe-arvoon 0.7. Todelliset strategiaehdokkaat korreloivat keskenään, joten tätä laskelmaa ei voi käyttää raportin korjauskertoimena. Se kuitenkin havainnollistaa, miksi ”voittaja päihitti nollan” on heikkoa näyttöä laajan haun jälkeen.
Haku käsittää harvoin pelkän parametrijoukon. Olet ehkä kokeillut kolmea signaaliperhettä, hylännyt niistä kaksi nähtyäsi niiden käyrät, muuttanut kaupankäynnin kohdejoukkoa ja ajanut sitten jäljelle jääneen uudelleen eri tasapainotusaikataululla. Jos suorituskyky vaikutti näihin valintoihin, niiden tulee näkyä tutkimushistoriassa.
Mikä lasketaan backtest-kokeeksi?
Laske päätös kokeeksi, jos sen tulos olisi voinut vaikuttaa valitsemaasi strategiaan. Mukaan kuuluvat ajot, joita et julkaissut, sekä muunnelmat, joiden testauksen keskeytit aikaisin, koska tuottokäyrä näytti huonolta. Käännösvirhe ei ole suorituskykykoe, mutta ajo, jonka Sharpe tuotti pettymyksen, on yleensä sellainen.
| Tutkimustoimi | Lasketaanko yleensä mukaan? | Syy |
|---|---|---|
| Muuta tarkastelujakso 20:stä 30:een tulosten tarkastelun jälkeen | Kyllä | Ensimmäinen tulos vaikutti seuraavaan ehdokkaaseen |
| Aja sama kiinteä strategia ennalta määritellyllä uudella ajanjaksolla | Yleensä ei uutena valintakokeena | Sääntö oli lukittu ennen tämän näytön näkemistä |
| Muuta sijoitusjoukkoa nähtyäsi, mitkä varat menestyivät | Kyllä | Sijoitusjoukon valinnalla voi parantaa tuloksen näennäistä laatua |
| Korjaa syntaksivirhe ja aja muuttumaton koodi uudelleen | Ei | Mikään tutkimusvalinta ei riippunut suorituskyvystä |
Ratkaisevaa on, käytitkö tulosta valinnan tekemiseen. Tätä voi olla vaikea palauttaa mieleen, minkä vuoksi koepäiväkirjaan kannattaa kirjata jokaisesta ajosta hypoteesi, koodin tai kokoonpanon versio, datajakso, kustannusoletukset ja tulos.
Voinko korjata moninkertaisen testauksen vaikutuksen?
Valikoitumisharhaa arvioivia tai useiden kokeiden merkitsevyyttä korjaavia menetelmiä on olemassa. Niistä voi olla hyötyä, mutta ne edellyttävät oletuksia ehdokkaiden keskinäisistä suhteista ja tuottojen käyttäytymisestä. Nimellinen p-arvo tai yksittäinen deflatoidun Sharpen arvio ei pelasta hakua, jonka todellisen historian olet hukannut.
Aloita asioista, joihin voit itse vaikuttaa. Lukitse lopullinen määrittely ennen kuin arvioit aidosti koskematonta ajanjaksoa. Pidä koko ehdokasjoukko näkyvillä. Kun testaat useita toisiinsa liittyviä muunnelmia, ryhmittele ne niitä synnyttäneen päätöksen mukaan sen sijaan, että teeskentelisit jokaisen olleen itsenäinen löytö. Raportoi haun kulku voittajan rinnalla: kokeiden määrä, valintasääntö ja se, vaikuttiko lopullinen arviointi myöhempiin muutoksiin.
Hyödyllinen testi: Jos holdout-tulos tuottaa pettymyksen, muutatko strategiaa ja kutsutko samaa ajanjaksoa uudelleen holdoutiksi? Jos kyllä, ajanjakso on nyt osa tutkimusta. Seuraavaa arviointia varten tarvitset uutta näyttöä.
Mitä AI-tutkimusagentin pitäisi kirjata?
Agentti voi luoda ehdokkaita nopeammin kuin ihminen pystyy pitämään niitä työmuistissaan. Siksi kokeiden kirjaaminen kuuluu tutkimusjärjestelmään eikä ole pelkkä raportointitehtävä. Tallenna jokainen ehdokas ennen sen ajoa, mukaan lukien sen emo koe ja syy ehdokkaan olemassaoloon. Säilytä epäonnistuneet ja hylätyt ajot. Kirjaa, milloin ihminen tai agentti tarkasteli suorituskykyä ja mitä päätöksiä siitä seurasi.
Tee sitten valintaprosessista toistettava: saman ehdokasjoukon ja säännön tulee aina valita sama voittaja. Jos agentti muuttaa kehotettaan, tavoitettaan tai rajoitteitaan nähtyään tulokset, myös nämä muutokset kuuluvat hakuun.
Sharpe-arvoa 2.1 voi olla syytä tutkia. Sen merkitys riippuu siitä, miten siihen päädyttiin. Kun tutkimusloki kertoo, että otsikkotuloksesta kilpaili 240 ehdokasta, voit esittää oikean jatkokysymyksen: mitä näyttöä on vielä jäljellä siltä varalta, ettei mikään näistä valinnoista ole jo käyttänyt sitä?
← Kaikki kirjoitukset
