Tagasitest sobib strateegia väljavalimisest paremini selle kõrvale jätmiseks. Niipea kui kasutad ajaloolisi tulemusi paljude variantide seast valimiseks, saab tagasitestist osa eksperimendist ning näilisel võitjal on varjatud hind: valikukallutatus.
See kõlab tagurpidi. Teeme tagasiteste, sest tahame teada, milline strateegia töötab. Kuid iga sama ajaloo põhjal tehtud valik kulutab osa selle tõendusjõust. Muudad tagasivaateperioodi, lävendit, instrumentide valikut, tasakaalustamise päeva või stop-reeglit pärast tulemuste nägemist — ja oled andmetele esitanud uue küsimuse. Lõpuks on küsimusi olnud nii palju, et andmed võivad juhuse tõttu anda veenva vastuse.
Miks muudab suurema hulga strateegiate testimine parima tulemuse vähem usaldusväärseks?
Kujutle, et testid 100 strateegiat, millel pole tegelikku eelist. Nende tootlused erinevad sellest hoolimata. Kui tootluse hinnangud on ligikaudu sõltumatud ja müra normaaljaotusega, on nende seast parim Sharpe positiivne, kuigi iga strateegia tegelik Sharpe on null.
100 sõltumatu standardse normaaljaotusega juhusliku väärtuse maksimumi oodatav suurus on ligikaudu 2.5 standardhälvet keskmisest kõrgemal. Võta seda näitena, mitte parandustegurina, mille saad aruandesse kopeerida: tegelikud strateegiavariandid on omavahel korrelatsioonis, Sharpe'i hinnangutel on oma valimiviga ning tootlused käituvad harva nagu puhtad normaaljaotusega juhuväärtused. Nendest mööndustest hoolimata jääb praktiline järeldus samaks. Mida rohkem kandidaate läbi vaatad, seda tõenäolisem on, et parim tulemus peegeldab soodsat müra.
„Kandidaat” pole ainult salvestatud tagasitest. See hõlmab kõiki valikuid, mis teed pärast tulemuse nägemist: laiendad instrumentide valikut, sest graafik on sakiline, jätad välja kahjuliku aasta või muudad tasude eeldust, kuni tootluskõver taastub. Ka need otsused lähevad arvesse, isegi kui keegi ei andnud neile versiooninumbrit.
Enne järgmise variandi käivitamist pea uurimistöö logi
Pane kirja kogu otsing, sealhulgas kõrvale jäetud ideed ja iga muudatuse põhjus. Nii saad ausama ülevaate sellest, kui palju tulemust valik mõjutas, ja sul on raskem meeles pidada ainult ahvatlevaid katseid.
| Kirje | Näide | Miks see oluline on |
|---|---|---|
| Hüpotees | Lühiajaline pöördumine on tugevam pärast BTC perp-turu ebatavaliselt suuri liikumisi | Eraldab idee selle hiljem valitud parameetritest |
| Variant ja ajatempel | 48 tunni signaal, 2026-10-09, katse 014 | Loendab otsingukatsed ja seob tulemused koodi ning andmetega |
| Valikureegel | Vali neto-Sharpe'i järgi; vähemalt 100 tehingut | Näitab, mida „parim” enne võrdlust tähendas |
| Kõrvale jäetud variandid | 12, 24 ja 72 tunni aknad; kõik alles hoitud | Võitja esiletõstmine ei lase konkurente unustada |
Logi ei tee otsingut olematuks. See muudab otsingu arusaadavaks, mis on esimene samm hindamaks, kui palju võitja usaldust väärib.
Eralda andmed, mida uurimisprotsess ei saa korduvalt läbi vaadata
Jaga andmed ajaliselt osadeks ja kaitse seejärel viimast perioodi. Arenda strateegiat ühel ajavahemikul, tee otsuseid valideerimisvahemiku põhjal ning hinda külmutatud strateegiat hilisema kontrollandmestiku peal ühe korra. Näiteks võid kasutada arenduseks aastaid 2018–2022, valideerimiseks 2023. aastat ja jätta reservi aastad 2024–2025. Need kuupäevad on vaid näide: jaotuse peaksid määrama turg, strateegia ajahorisont ja andmete katvus.
Pane kirja, mida „külmutatud” tähendab: signaal, instrumentide valik, positsiooni suurus, täitmise eeldused ja kõik puuduvate andmete reeglid. Kui kontrollandmestiku tulemus pettumuse valmistab ja häälestad strateegiat selle põhjal, on sellest perioodist saanud valideerimisandmestik. Järgmiseks ausaks hindamiseks vajad värskeid tõendeid.
Siin annavad tunda ka väikesed valimid. Strateegia, mis teeb kontrollandmestikus 18 tehingut, ei anna alust täpseks otsuseks. Esita tehingute arv ja määramatus koos tootlusstatistikaga; üks keskmine võib panna väikese valimi näima lõplikuna.
Kas see tähendab, et tagasitestid on strateegiate valimisel kasutud?
Ei. Kriitikute väide, et ranged kontrollandmestikud võivad olla raiskavad, peab paika: turud muutuvad, ajalugu on lühike ja puutumata periood võib esindada vaid üht ebatavalist tururežiimi. Hoolikalt kavandatud libisev testimine võib näidata, kuidas strateegia käitub ajaloo kättesaadava osa nihkudes. See ei muuda korduvat häälestamist tasuta tegevuseks. Kui vaatad iga andmeosa tulemused üle ja muudad strateegiat, mõjutasid need osad uurimistööd.
Kasuta tagasiteste rikkekohtade leidmiseks, turumehhanismil põhinevate väheste ideede võrdlemiseks ning selle kontrollimiseks, kas tulemused peavad vastu usutavatele tasude, rahastamise, turumõju ja parameetrite muutustele. Pea logi. Säilita lõplik kontrollandmestik. Seejärel vii paljulubav külmutatud versioon paberil kauplemisse, kus võivad ilmneda töökorralduslikud lahknevused.
Tagasitesti kõige tugevam vastus on sageli: „See idee kukub läbi tingimustes, mida juba näeme.” Kui see ütleb: „See on parim strateegia,” küsi, kui palju muid vastuseid temalt oodati.
← Kõik postitused
