Preizkusili smo 240 naborov parametrov. Najboljši je pokazal Sharpeov količnik 2.1, mediana je bila 0.1, samo 17 pa jih je preseglo 1.0. Te številke zvenijo kot odkritje, dokler ne ugotovite, da lahko tako obsežno iskanje ustvari laskavega zmagovalca tudi takrat, ko nobena strategija nima prave prednosti.
Presenetljiva številka je 240. Poročilo o testiranju za nazaj izbrano strategijo običajno obravnava, kot da bi se pojavila sama od sebe. Raziskave ne potekajo tako. Vsaka sprememba parametra, zamenjava značilnosti, sprememba nabora sredstev in ponovitev po slabem rezultatu dajo šumu novo priložnost, da je videti kot signal.
Zakaj več preizkušenih strategij napihne najvišji Sharpe?
Predstavljajte si 240 neodvisnih strategij brez prave prednosti, katerih ocenjeni Sharpovi količniki so obremenjeni s šumom. Večina ocen je blizu ničle, največja pa je praviloma pozitivna. Več kandidatov kot pregledate, bolj se lahko ta največja vrednost oddalji od resnice.
Za grobo ponazoritev predpostavimo, da ima ocena Sharpovega količnika vsakega kandidata standardno napako 0.5. Pri 240 neodvisnih žrebih lahko najvišja ocena zgolj zaradi izbire doseže približno 1.4 standardne napake nad povprečjem oziroma približno 0.7 Sharpa. Resnični kandidati za strategije so med seboj povezani, zato tega izračuna ne morete uporabiti kot popravek v poročilu. Pokaže pa, zakaj je »zmagovalec je presegel ničlo« šibek dokaz po obsežnem iskanju.
Iskanje pa le redko zajema samo mrežo parametrov. Morda ste preizkusili tri družine signalov, dve zavrgli po ogledu njihovih krivulj, spremenili nabor sredstev za trgovanje, nato pa preživelega kandidata znova preizkusili z drugačnim razporedom uravnoteženja. Če so na te izbire vplivali rezultati, sodijo v zgodovino raziskave.
Kaj šteje kot preizkus za nazaj?
Odločitev štejte kot preizkus, če bi njen rezultat lahko vplival na to, katero strategijo ste izbrali. To vključuje izvedbe, ki jih niste objavili, in različice, ki ste jih predčasno ustavili, ker je bila krivulja lastniškega kapitala videti slabo. Napaka pri prevajanju kode ni preizkus uspešnosti; izvedba, ki je dala razočarajoč Sharpe, pa običajno je.
| Raziskovalno dejanje | Ali običajno šteje? | Zakaj |
|---|---|---|
| Po pregledu rezultatov spremenite obdobje za izračun od 20 na 30 | Da | Prvi rezultat je vplival na naslednjega kandidata |
| Isto fiksno strategijo preizkusite na vnaprej določenem novem časovnem obdobju | Običajno ne gre za nov preizkus izbire | Pravilo je bilo določeno, preden ste videli te dokaze |
| Po ogledu, katera sredstva so bila uspešna, spremenite nabor sredstev | Da | Izbira nabora sredstev lahko izboljša navidezni rezultat |
| Odpravite sintaktično napako in znova zaženete nespremenjeno kodo | Ne | Nobena raziskovalna odločitev ni bila odvisna od uspešnosti |
Meja je v tem, ali ste rezultat uporabili za sprejetje odločitve. To si je težko rekonstruirati iz spomina, zato naj dnevnik poskusov za vsako izvedbo beleži hipotezo, različico kode ali konfiguracije, podatkovno obdobje, predpostavke o stroških in rezultat.
Ali lahko popravim učinek večkratnega testiranja?
Obstajajo metode za oceno pristranskosti pri izbiri ali prilagoditev statistične značilnosti pri številnih preizkusih. Lahko so koristne, vendar temeljijo na predpostavkah o medsebojni povezanosti kandidatov in obnašanju donosov. Nominalna vrednost p ali ena sama ocena deflacioniranega Sharpa ne more rešiti iskanja, katerega dejanska zgodovina se je izgubila.
Začnite pri stvareh, ki jih lahko nadzorujete. Pred vrednotenjem resnično nedotaknjenega obdobja določite končno specifikacijo in je ne spreminjajte. Ohranite pregled nad celotnim naborom kandidatov. Pri testiranju številnih sorodnih različic jih združite glede na odločitev, iz katere so nastale, namesto da se pretvarjate, da je bila vsaka neodvisno odkritje. Ob zmagovalcu navedite tudi potek iskanja: število preizkusov, pravilo izbire in podatek o tem, ali je končno vrednotenje vplivalo na nadaljnje spremembe.
Koristen preizkus: Če vas rezultat na rezerviranem vzorcu razočara, boste strategijo spremenili in isto obdobje znova razglasili za rezervirani vzorec? Če da, je to obdobje zdaj del raziskave. Za naslednje vrednotenje potrebujete nove dokaze.
Kaj naj raziskovalni agent AI beleži?
Agent lahko ustvarja kandidate hitreje, kot si jih človek lahko zapomni. Zato je beleženje preizkusov del raziskovalnega sistema, ne pa opravilo za poročanje. Vsakega kandidata shranite pred izvedbo, skupaj z nadrejenim poskusom in razlogom za njegov nastanek. Ohranite neuspešne in zavržene izvedbe. Zabeležite, kdaj je človek ali agent pregledal uspešnost in kakšna odločitev je sledila.
Nato poskrbite, da bo izbirni postopek ponovljiv: ob istem naboru kandidatov in istem pravilu mora izbrati istega zmagovalca. Če agent po ogledu rezultatov še naprej spreminja poziv, cilj ali omejitve, so tudi te spremembe del iskanja.
Sharpe 2.1 je morda vreden nadaljnje preiskave. Njegov pomen je odvisen od poti, ki je pripeljala do njega. Ko raziskovalni dnevnik pokaže, da se je za glavno mesto potegovalo 240 kandidatov, lahko zastavite pravo naslednje vprašanje: kateri dokazi so še ostali, ki jih te izbire še niso porabile?
← Vse objave
