Testisime 240 parameetrikomplekti. Parima Sharpe'i suhtarv oli 2.1, mediaan 0.1 ja ainult 17 ületasid 1.0. Need arvud kõlavad avastusena, kuni saad teada, et isegi siis, kui ühelgi strateegial pole tegelikku eelist, võib nii lai otsing anda meelitava tulemuse.
Üllatav arv on 240. Tagasitesti raport käsitleb valitud strateegiat tavaliselt nii, nagu oleks see ilmunud üksinda. Uurimistöö nii ei käi. Iga parameetrimuutus, tunnuse asendamine, investeerimisuniversumi muutmine ja inetu tulemuse järel tehtud kordustest annab mürale veel ühe võimaluse signaalina paista.
Miks tõstab rohkemate strateegiate proovimine parimat Sharpe'i näitu?
Kujutle 240 sõltumatut strateegiat, millel pole tegelikku eelist ja mille hinnanguline Sharpe on mürane. Enamik hinnanguid jääb nulli lähedale, kuid maksimum kipub olema positiivne. Mida rohkem kandidaate vaatad, seda kaugemale võib see maksimum tegelikust väärtusest triivida.
Ligikaudseks näiteks oletame, et iga kandidaadi hinnangulise Sharpe'i standardviga on 0.5. 240 sõltumatu valimi puhul võib suurim hinnang jääda keskmisest umbes 1.4 standardvea võrra kõrgemale ehk üksnes valiku tõttu olla ligikaudu 0.7 Sharpe'i. Tegelikud strateegiakandidaadid on omavahel korreleeritud, seega ei ole see arvutus parandus, mille saad raportisse üle võtta. See näitab, miks „võitja ületas nulli” on pärast laia otsingut nõrk tõendus.
Pealegi ei piirdu otsing tavaliselt parameetrivõrgustikuga. Võisid proovida kolme signaaliperet, jätta kaks kõveraid nähes kõrvale, muuta kauplemisuniversumit ja seejärel jooksutada allesjäänud varianti uue tasakaalustamisgraafikuga. Kui tulemustest sõltusid need valikud, kuuluvad need uurimistöö ajalukku.
Mis läheb tagasitesti katsena arvesse?
Arvesta otsus katseks siis, kui selle tulemus võis mõjutada valikut, millise strateegia kasuks otsustasid. See hõlmab ka avaldamata käivitusi ja variante, mille varakult katkestasid, sest omakapitali kõver nägi halb välja. Kompileerimisviga ei ole tulemuskatse; käivitus, mille Sharpe valmistas pettumuse, enamasti on.
| Uurimistoiming | Kas tavaliselt lugeda katseks? | Miks |
|---|---|---|
| Muudad tagasivaateperioodi 20-lt 30-le pärast tulemuste ülevaatamist | Jah | Esimene tulemus mõjutas järgmist kandidaati |
| Käivitad sama fikseeritud strateegia ette määratud uuel kuupäevavahemikul | Tavaliselt ei ole uus valikukatse | Reegel oli paigas enne selle tõendusmaterjali nägemist |
| Muudad universumit pärast seda, kui nägid, millised varad võitsid | Jah | Universumi valimine võib näilist tulemust parandada |
| Parandad süntaksivea ja käivitad muutmata koodi uuesti | Ei | Ükski uurimisotsus ei sõltunud tulemusest |
Piir jookseb sealt, kas kasutasid tulemust valiku tegemiseks. Seda võib olla mälu järgi raske taastada, mistõttu peaks katsepäevik iga käivituse puhul talletama hüpoteesi, koodi või konfiguratsiooni versiooni, andmevahemiku, kulueeldused ja tulemuse.
Kas mitmikhüpoteeside testimist saab korrigeerida?
On olemas meetodeid, mis hindavad valikukallet või korrigeerivad paljude katsete korral olulisuse taset. Neist võib kasu olla, kuid need eeldavad, et tead, kuidas kandidaadid omavahel seotud on ja kuidas tootlused käituvad. Nominaalne p-väärtus ega üksainus korrigeeritud Sharpe'i hinnang ei päästa otsingut, mille tegelik ajalugu on kaduma läinud.
Alusta sellest, mida saad kontrollida. Lukusta lõplik spetsifikatsioon enne päriselt puutumata perioodi hindamist. Hoia kogu kandidaatide kogum nähtaval. Kui testid paljusid omavahel seotud variante, rühmita need neid tekitanud otsuse järgi, selle asemel et teeselda, nagu oleks igaüks neist sõltumatu avastus. Esita võitja kõrval ka otsingu andmed: katsete arv, valikureegel ja see, kas lõpphindamine mõjutas edasisi muudatusi.
Kasulik kontrollküsimus: Kui eraldi hoitud perioodi tulemus valmistab pettumuse, kas muudad strateegiat ja nimetad sama perioodi uuesti eraldi hoituks? Kui jah, on see nüüd osa uurimistööst. Järgmiseks hindamiseks vajad uut tõendusmaterjali.
Mida peaks AI-uuringuagent logima?
Agent suudab kandidaate genereerida kiiremini, kui inimene neid töömälus hoida jõuab. Seetõttu on katsete arvestus osa uurimissüsteemist, mitte aruandluse tüütu lisatöö. Salvesta iga kandidaat enne selle käivitamist, sealhulgas lähtekatse ja põhjus, miks see loodi. Säilita nurjunud ja kõrvale jäetud käivitused. Pane kirja, millal inimene või agent tulemusi vaatas ja millise otsuse ta seejärel tegi.
Muuda valikuprotsess seejärel korratavaks: sama kandidaatide kogumi ja reegli korral peaks see valima sama võitja. Kui agent muudab pärast tulemuste nägemist pidevalt oma prompti, eesmärki või piiranguid, kuuluvad ka need muudatused otsingusse.
Sharpe 2.1 võib väärida uurimist. Selle tähendus sõltub teekonnast, mis selle tulemuseni viis. Kui uurimispäevikust selgub, et pealkirja nimel võistles 240 kandidaati, saad küsida järgmise õige küsimuse: millist tõendusmaterjali on veel alles, mida ükski neist valikutest pole juba ära kasutanud?
← Kõik postitused
