Strateegiaagent võib testandmestiku saastada, ilma et ühtki testirida treeningusse kaasataks. Kui agent näeb testitulemust, muudab parameetrit ja käivitab uuesti, on see tulemus strateegiat juba mõjutanud. Kood võib seda perioodi nimetada „valimiväliseks“. Uurimisprotsess on selle aga otsingu osaks muutnud.
Olen näinud, kuidas see juhtub mugavusest: agent käivitab katseseeria, loeb kokkuvõtlikku tabelit ja pakub siis välja väikese paranduse. Keegi ei palunud tal kontrollvalimil sobitada. Tagasisideahel tegi sobitamise ikkagi ära.
Viga 1: agendil lubatakse pärast iga käivitust tulemusi piiluda
Tagajärjeks on tavaliselt testperioodi Sharpe’i suhtarv, mis tõuseb korrapäraste väikeste sammudega. Agent proovib 30 varianti, jätab parima alles ja proovib selle ümber veel 30 varianti. Iga üksik muudatus tundub mõistlik. Koos muudavad need testperioodi optimeerimise sihtmärgiks.
Vaatame lihtsustatud näidet. Oletame, et strateegial puudub tegelik eelis ja testite kontrollvalimil 100 sõltumatut varianti. Kui valite suurima Sharpe’i suhtarvuga variandi, võib juhuse tahtel saada meelitava tulemuse. Enamasti pole strateegiaotsingus variandid tegelikult sõltumatud, kuid see ei päästa protsessi: korduv tagasiside soosib endiselt seadistusi, mis juhtuvad kontrollvalimi iseärasustega sobima.
Seadke kontrollvalimi tulemuste ette ligipääsutõke. Agent võib töötada treening- ja valideerimisperioodidega, kuid ta ei pääse kontrollvalimi mõõdikute ega graafikute juurde. Hoidke lõpphindamine eraldi tööna, käivitage see üks kord pärast uurimisotsuste külmutamist ning salvestage tulemusega strateegia versioon ja andmete hetkeseis.
Viga 2: iga hilisemat perioodi nimetatakse „uueks“
Kuupäevavahemik pole uus pelgalt seetõttu, et järgneb treeningaknale. Kui agent on selle vahemiku tulemust näinud või inimene on selle mahakäigu põhjal mõne muu tunnuse valinud, on vahemik tagasisideahela osaks muutunud.
| Periood | Lubatud kasutus | Mis muudab selle staatust |
|---|---|---|
| Treening | Reeglite ja parameetrite sobitamine | Mitte miski; selle perioodi otsimine ongi eesmärk |
| Valideerimine | Kandidaatide võrdlemine ja uurimisotsuste tegemine | Korduv kasutamine suurendab ülesobitamise ohtu |
| Lõplik kontrollvalim | Külmutatud kandidaadi ühekordne hindamine | Tulemuse vaatamine ja kandidaadi muutmine |
| Tulevane paberkaubanduse periood | Rakenduse käitumise jälgimine tulevikus | Tulemuste kasutamine häälestamiseks loob uue uurimistsükli |
Libisev järelhindamine aitab hinnata, kuidas kindlaks määratud uurimisprotsess eri ajavahemikel toimib. See ei anna piiramatut õigust iga osa tulemustesse piiluda. Kui agent näeb osade tulemusi ja kohandab nende põhjal otsingut, on needki tagasiside. Jätke otsuse jaoks, mida tegelikult teha soovite, alles üks puutumata lõppperiood.
Viga 3: kood külmutatakse, aga küsimust muudetakse
Mõnikord jääb strateegiakood samaks, kuid uurija muudab pärast tulemuse nägemist hindamisviisi: vahetab võrdlusindeksit, jätab raske kuu välja, esitab tulemused teise turuvalimi kohta või keskendub mõõdikule, mis näeb kõige tugevam välja. Testandmestik on lugu suunanud isegi siis, kui ühtki parameetrit ei muudetud.
Tagajärjena sünnib lihvitud aruanne ühe selge põhitulemusega, kuid puudub ülevaade muudest proovitud vaadetest. Aktsiastrateegia võib laia turuindeksi kõrval nõrk välja näha, kuid sularahaga võrreldes tugev; krüptostrateegia võib särada ühel kauplemisplatvormil pärast seda, kui mitut platvormi on juba uuritud. Sellised võrdlused võivad olla kasulikud, kuid nende seast valimine pärast kontrollvalimi nägemist on järjekordne valikusamm.
Pidage uurimispäevikut. Salvestage iga käivituse kohta hüpotees, koodiversioon, andmete hetkeseis, parameetrite otsing, hindamisaknad, küsitud mõõdikud ning teave selle kohta, kas agent või uurija tulemust nägi. Lühike logi on kasulikum kui täiuslikuna kõlav silt „valimiväline“.
Enne hindamist sõnastage lõplik küsimus selgelt: milline kandidaat, milline turgude valim, milline võrdlusindeks, millised kulud ja millised mõõdikud? Kui vastus pärast tulemuse saabumist muutub, käsitlege järgmist käivitust uurimistööna ja jätke uus andmestik järgmise lõppkontrolli jaoks.
Mida saan saastunud kontrollvalimist veel teada?
See pole kasutu. See näitab, kuidas strateegia sel perioodil toimis, ja aitab tõrkeid diagnoosida. Lihtsalt ärge esitage selle tulemust sõltumatu kinnitusena. Kasutage seda arenduse tõendusmaterjalina, külmutage järgmine kandidaat ja hinnake seda päriselt tulevasel paberkaubanduse perioodil, kasutades samu arvestus- ja täitmiseeldusi.
Agendipõhises töövoos on katsete arvu lihtne silmist kaotada: üks viip võib tekitada kümneid käivitusi, enne kui keegi seda märkab. Kaitse seisneb töökorralduses. Piirake, mida agent saab uurida, logige iga katse ja jätke alles üks hindamine, mille tulemus ei saa hinnatavat kandidaati suunata.
← Kõik postitused
