Stratēģiju aģents var sabojāt testa datu kopu, neiekļaujot nevienu testa rindu apmācības uzdevumā. Ja aģents redz testa rezultātu, maina parametru un palaiž vēlreiz, šis rezultāts jau ir ietekmējis stratēģiju. Kods šo periodu var dēvēt par “ārpus izlases”. Taču pētniecības process to ir iekļāvis meklēšanā.
Esmu redzējis, ka tas notiek ērtības labad: aģents palaiž partiju, nolasa kopsavilkuma tabulu un pēc tam iesaka nelielu uzlabojumu. Neviens tam nelūdza pielāgot stratēģiju pēc atliktās datu kopas. Taču atgriezeniskās saites cikls tik un tā veica šo pielāgošanu.
1. kļūda: ļaut aģentam ielūkoties pēc katras palaišanas
Parasti to var redzēt testa Sharpe rādītājā, kas glīti kāpj pa maziem solīšiem. Aģents izmēģina 30 variantus, patur labāko un tad izmēģina 30 variantus ap to. Katra atsevišķā izmaiņa šķiet saprātīga. Taču kopā tās pārvērš testa periodu par optimizācijas mērķi.
Lūk, vienkāršots piemērs. Pieņemsim, ka stratēģijai nav reālas priekšrocības un jūs pārbaudāt 100 neatkarīgus variantus atliktajā datu kopā. Izvēloties variantu ar augstāko Sharpe rādītāju, ir pilnīgi iespējams nejaušības dēļ iegūt pievilcīgu rezultātu. Vairumā stratēģiju meklējumu varianti nebūs patiesi neatkarīgi, taču tas procesu neglābj: atkārtota atgriezeniskā saite joprojām atalgo iestatījumus, kas nejauši pielāgoti atliktās datu kopas īpatnībām.
Aizsargājiet atlikto datu kopu ar rezultātu piekļuves robežu. Aģents var izstrādāt stratēģiju, izmantojot apmācības un validācijas periodus, bet nevar piekļūt atliktās datu kopas rādītājiem vai diagrammām. Galīgo novērtējumu veiciet atsevišķā uzdevumā vienu reizi, kad pētniecības lēmumi jau ir fiksēti, un kopā ar rezultātu reģistrējiet stratēģijas versiju un datu momentuzņēmumu.
2. kļūda: katru vēlāku periodu saukt par “jaunu”
Datumu diapazons nav jauns tikai tāpēc, ka seko pēc apmācības perioda. Ja aģents ir redzējis šī diapazona rādītāju vai cilvēks izmantojis tā maksimālo kritumu, lai izvēlētos citu pazīmi, šis diapazons ir kļuvis par daļu no atgriezeniskās saites cikla.
| Periods | Atļautais lietojums | Kas maina tā statusu |
|---|---|---|
| Apmācība | Noteikumu un parametru pielāgošana | Nekas; šo periodu paredzēts izmantot meklēšanai |
| Validācija | Kandidātu salīdzināšana un pētniecības lēmumu pieņemšana | Atkārtota izmantošana palielina pārmācīšanās risku |
| Galīgā atliktā datu kopa | Vienreizējs fiksētā kandidāta novērtējums | Rezultāta nolasīšana un kandidāta maiņa |
| Nākotnes paper-trading periods | Novērot ieviešanas darbību reālajā laikā | Rezultātu izmantošana pielāgošanai sāk jaunu pētniecības ciklu |
Slīdošs walk-forward novērtējums var palīdzēt novērtēt, kā fiksēts pētniecības process darbojas laika gaitā. Tas nedod tiesības bez ierobežojuma ielūkoties katrā datu sadalījumā. Ja aģents redz sadalījumu rezultātus un pielāgo meklēšanu, arī šie sadalījumi kļūst par atgriezenisko saiti. Saglabājiet vienu galīgo, neskarto periodu lēmuma pieņemšanai, kas jums patiešām jāpieņem.
3. kļūda: fiksēt kodu, bet mainīt jautājumu
Dažkārt stratēģijas kods paliek nemainīgs, bet pētnieks pēc rezultāta apskates maina novērtējumu: nomaina etalonu, izslēdz sarežģītu mēnesi, uzrāda citu aktīvu kopu vai pievēršas rādītājam, kas izskatās vislabāk. Testa datu kopa ir ietekmējusi stāstījumu, pat ja neviens parametrs nav mainīts.
To var redzēt glītā pārskatā ar vienu skaidru virsrakstu un bez ziņām par citiem izmēģinātajiem skatījumiem. Akciju stratēģija var izskatīties vāja salīdzinājumā ar plašu tirgus indeksu, bet spēcīga salīdzinājumā ar skaidru naudu; kriptovalūtu stratēģija var izcelties vienā platformā pēc vairāku platformu izvērtēšanas. Šādi salīdzinājumi var būt noderīgi, taču izvēle starp tiem pēc atliktās datu kopas apskates ir vēl viens atlases solis.
Veidojiet pētniecības žurnālu. Katram palaidienam saglabājiet hipotēzi, koda versiju, datu momentuzņēmumu, parametru meklēšanu, novērtējuma logus, pieprasītos rādītājus un to, vai rezultātu redzēja aģents vai pētnieks. Īss žurnāls ir noderīgāks par pārliecinoši skanošu atzīmi “ārpus izlases”.
Pirms novērtējuma skaidri formulējiet galīgo jautājumu: kurš kandidāts, kurš tirgus instrumentu kopums, kurš etalons, kādas izmaksas un kuri rādītāji? Ja atbilde mainās pēc rezultāta saņemšanas, uzskatiet nākamo palaidienu par pētniecību un nākamajai galīgajai pārbaudei rezervējiet jaunus datus.
Ko vēl varu uzzināt no sabojātas atliktās datu kopas?
Tā nav bezjēdzīga. Tā var parādīt, kā stratēģija darbojās attiecīgajā periodā, un palīdzēt noteikt neveiksmes cēloni. Taču vairs neuzdodiet tās rezultātu par neatkarīgu apstiprinājumu. Izmantojiet to kā izstrādes pierādījumu, fiksējiet nākamo kandidātu un novērtējiet to patiesi nākotnes paper-trading periodā, izmantojot tos pašus uzskaites un izpildes pieņēmumus.
Aģentu vadītā darbplūsmā eksperimentu skaitu ir viegli pazaudēt: viena uzvedne var radīt desmitiem palaidienu, pirms kāds to pamana. Aizsardzība ir procesuāla. Ierobežojiet to, ko aģents var pārbaudīt, reģistrējiet katru eksperimentu un saglabājiet vienu novērtējumu, kura rezultāts nevar ietekmēt vērtējamo kandidātu.
← Visi raksti
