Mēs pārbaudījām 240 parametru kopas. Labākās Sharpe rādītājs bija 2.1, mediāna — 0.1, un tikai 17 pārsniedza 1.0. Šie skaitļi izklausās pēc atklājuma, līdz uzzināt, ka tik plašā meklēšanā var atrasties glaimojošs uzvarētājs pat tad, ja nevienai stratēģijai nav reālas priekšrocības.
Pārsteidzošais skaitlis ir 240. Atpakaļtesta pārskatā atlasīto stratēģiju parasti aplūko tā, it kā tā būtu radusies viena pati. Taču izpēte tā nenotiek. Katra parametra korekcija, funkcijas maiņa, aktīvu kopas maiņa un atkārtota palaišana pēc neglīta rezultāta dod nejaušībai vēl vienu iespēju izskatīties pēc signāla.
Kāpēc lielāks izmēģināto stratēģiju skaits palielina labāko Sharpe rādītāju?
Iedomājieties 240 neatkarīgas stratēģijas bez reālas priekšrocības un ar trokšņainiem novērtētajiem Sharpe rādītājiem. Lielākā daļa novērtējumu būs tuvu nullei, bet maksimālā vērtība parasti būs pozitīva. Jo vairāk kandidātu pārbaudāt, jo tālāk maksimums var attālināties no patiesās vērtības.
Aptuvenam piemēram pieņemsim, ka katra kandidāta novērtētā Sharpe rādītāja standartkļūda ir 0.5. Veicot 240 neatkarīgus izlozes mēģinājumus, lielākais novērtējums atlases dēļ var sasniegt aptuveni 1.4 standartkļūdas virs vidējā jeb apmēram 0.7 Sharpe. Reāli stratēģiju kandidāti ir savstarpēji korelēti, tāpēc šo aprēķinu nevar izmantot kā korekciju pārskatā. Tas parāda, kāpēc pēc plašas meklēšanas apgalvojums “uzvarētājs pārspēja nulli” ir vājš pierādījums.
Turklāt meklēšana reti aprobežojas tikai ar parametru režģi. Iespējams, izmēģinājāt trīs signālu saimes, divas atmetāt pēc to līkņu apskates, mainījāt tirgoto aktīvu kopu un pēc tam vēlreiz palaidāt palikušo variantu ar citu līdzsvarošanas grafiku. Ja šīs izvēles ietekmēja rezultāti, tām jābūt iekļautām izpētes vēsturē.
Kas uzskatāms par atpakaļtesta mēģinājumu?
Uzskaitiet lēmumu kā mēģinājumu, ja tā rezultāts varēja ietekmēt jūsu izvēli par to, kuru stratēģiju atlasīt. Tas ietver arī nep publicētos palaidienus un variantus, kurus pārtraucāt priekšlaikus, jo kapitāla līkne izskatījās slikti. Kompilācijas kļūme nav veiktspējas pārbaudes mēģinājums; palaidiens, kura Sharpe rādītājs sagādāja vilšanos, parasti ir.
| Izpētes darbība | Vai parasti skaita? | Kāpēc |
|---|---|---|
| Pēc rezultātu pārskatīšanas mainīt atskata periodu no 20 uz 30 | Jā | Pirmais rezultāts ietekmēja nākamo kandidātu |
| Palaist to pašu fiksēto stratēģiju iepriekš noteiktā jaunā datumu diapazonā | Parasti nav jauns atlases mēģinājums | Noteikums tika fiksēts pirms šo pierādījumu apskates |
| Mainīt aktīvu kopu pēc tam, kad redzēts, kuri aktīvi uzvarēja | Jā | Aktīvu kopas atlase var uzlabot šķietamo rezultātu |
| Izlabot sintakses kļūdu un vēlreiz palaist nemainītu kodu | Nē | Neviens izpētes lēmums nebija atkarīgs no veiktspējas |
Robežšķirtne ir jautājums par to, vai izmantojāt rezultātu, lai pieņemtu lēmumu. To var būt grūti atcerēties, tāpēc eksperimentu žurnālā katram palaidienam jāreģistrē hipotēze, koda vai konfigurācijas versija, datu periods, izmaksu pieņēmumi un rezultāts.
Vai varu koriģēt daudzkārtēju pārbaudi?
Pastāv metodes, kas novērtē atlases novirzi vai koriģē statistisko nozīmīgumu daudziem mēģinājumiem. Tās var noderēt, taču tām nepieciešami pieņēmumi par to, kā kandidāti ir savstarpēji saistīti un kā uzvedas ienesīgums. Nominālā p vērtība vai viens koriģētais Sharpe novērtējums nevar glābt meklēšanu, kuras patieso vēsturi esat pazaudējuši.
Sāciet ar to, ko varat kontrolēt. Pirms patiesi neskarta perioda novērtēšanas fiksējiet galīgo specifikāciju. Saglabājiet redzamu visu kandidātu kopu. Pārbaudot daudzus saistītus variantus, grupējiet tos pēc lēmuma, kas tos radīja, nevis izliecieties, ka katrs ir neatkarīgs atklājums. Līdzās uzvarētājam ziņojiet arī par meklēšanu: mēģinājumu skaitu, atlases noteikumu un to, vai galīgais novērtējums ietekmēja turpmākās izmaiņas.
Noderīgs pārbaudījums: ja holdout rezultāts sagādās vilšanos, vai mainīsiet stratēģiju un atkal nosauksiet to pašu periodu par holdout? Ja jā, šis periods tagad ir daļa no izpētes. Nākamajam novērtējumam būs vajadzīgi jauni pierādījumi.
Kas AI izpētes aģentam jāreģistrē?
Aģents var ģenerēt kandidātus ātrāk, nekā cilvēks spēj tos paturēt darba atmiņā. Tāpēc mēģinājumu uzskaite ir daļa no izpētes sistēmas, nevis atskaišu sagatavošanas pienākums. Saglabājiet katru kandidātu pirms tā palaišanas, norādot sākotnējo eksperimentu un tā izveides iemeslu. Paturiet neveiksmīgos un atmestos palaidienus. Reģistrējiet, kad cilvēks vai aģents pārskatīja veiktspēju un kāds lēmums tam sekoja.
Pēc tam padariet atlases procesu reproducējamu: ja kandidātu kopa un noteikums ir tie paši, tam jāizvēlas tas pats uzvarētājs. Ja aģents pēc rezultātu apskates turpina mainīt uzvedni, mērķi vai ierobežojumus, arī šīs izmaiņas ir daļa no meklēšanas.
Sharpe rādītājs 2.1 var būt izpētes vērts. Tā nozīme ir atkarīga no ceļa, kas pie tā noveda. Kad izpētes žurnālā redzams, ka par galveno vietu sacentās 240 kandidāti, varat uzdot pareizo nākamo jautājumu: kādi pierādījumi vēl ir palikuši, ko neviena no šīm izvēlēm jau nav izsmēlusi?
← Visi raksti
