Atgalinis testas geriau tinka strategijai atmesti, nei jai išrinkti. Kai tik pagal ankstesnius rezultatus pradedate rinktis iš daugelio variantų, atgalinis testas tampa eksperimento dalimi, o tariamas nugalėtojas ima nešti paslėptą kainą – atrankos šališkumą.
Skamba nelogiškai. Atliekame atgalinius testus, nes norime sužinoti, kuri strategija veikia. Tačiau kiekvienas pagal tuos pačius istorinius duomenis priimtas sprendimas išeikvoja dalį jų įrodomosios galios. Pakeitę laikotarpį, slenkstį, instrumentų rinkinį, perbalansavimo dieną ar nuostolio ribojimo taisyklę jau pamatę rezultatus, duomenims užduodate dar vieną klausimą. Galiausiai klausimų būna tiek, kad duomenys atsitiktinai pateikia įtikinamą atsakymą.
Kodėl išbandžius daugiau strategijų geriausiu rezultatu galima mažiau pasitikėti?
Įsivaizduokite, kad išbandote 100 strategijų, kurios iš tikrųjų neturi jokio pranašumo. Jų grąža vis tiek skirsis. Jei jų rezultatų įverčiai yra apytikriai nepriklausomi, o triukšmas pasiskirstęs pagal normalųjį skirstinį, geriausias iš jų Sharpe rodiklių bus teigiamas, nors tikrasis kiekvienos strategijos Sharpe rodiklis lygus nuliui.
Apytikris 100 nepriklausomų standartinio normaliojo skirstinio reikšmių maksimumo vidurkis yra 2.5 standartinio nuokrypio virš vidurkio. Laikykite tai iliustracija, o ne pataisa, kurią galima tiesiog įrašyti į ataskaitą: realūs strategijų variantai yra susiję, Sharpe įverčiai turi savąją imties paklaidą, o grąža retai pasiskirsto kaip tvarkingos normaliojo skirstinio reikšmės. Nepaisant šių išlygų, praktinė išvada nesikeičia. Kuo daugiau kandidatų apžiūrite, tuo didesnė tikimybė, kad aukščiausią įvertį nulėmė palankus atsitiktinis triukšmas.
„Kandidatas“ – tai ne vien išsaugotas atgalinis testas. Tai kiekvienas sprendimas, priimtas jau pamačius rezultatą: išplėsti instrumentų rinkinį, nes grafikas atrodo netolygus, išmesti nuostolingus metus arba pakeisti mokesčių prielaidą, kol kreivė atsigaus. Šie sprendimai taip pat skaičiuojami, net jei niekas jiems nepriskyrė versijos numerio.
Prieš paleisdami kitą variantą, pradėkite tyrimų žurnalą
Registruokite visą paiešką, įskaitant atmestas idėjas ir kiekvieno pakeitimo priežastį. Taip sąžiningiau užfiksuosite, kiek rezultatą nulėmė atranka, ir bus sunkiau prisiminti tik patrauklius bandymus.
| Įrašas | Pavyzdys | Kodėl tai svarbu |
|---|---|---|
| Hipotezė | Trumpalaikis grįžimas prie vidurkio sustiprėja po neįprastai didelių BTC neterminuotųjų ateities sandorių kainos pokyčių | Atskira idėja nuo vėliau parinktų parametrų |
| Variantas ir laiko žyma | 48 valandų signalas, 2026-10-09, bandymas 014 | Leidžia skaičiuoti paieškos apimtį ir susieti rezultatus su kodu bei duomenimis |
| Atrankos taisyklė | Rinktis pagal grynąjį Sharpe; bent 100 sandorių | Parodo, ką „geriausias“ reiškė prieš palyginimą |
| Atmesti variantai | 12, 24, 72 valandų laikotarpiai; visi išsaugoti | Neleidžia matomam nugalėtojui nustelbti kitų variantų |
Žurnalas paieškos nepanaikins. Jis padarys ją suprantamą, o tai pirmas žingsnis sprendžiant, kiek pasitikėjimo vertas nugalėtojas.
Atskirkite duomenis, prie kurių tyrimo proceso metu nebegalėsite grįžti
Padalykite duomenis pagal laiką, o galutinį laikotarpį apsaugokite nuo pakartotinio naudojimo. Strategiją kurkite viename laikotarpyje, sprendimus priimkite naudodami validavimo laikotarpį, tada užfiksuotą strategiją vieną kartą įvertinkite vėlesniame kontroliniame laikotarpyje. Pavyzdžiui, kūrimui galite naudoti 2018–2022 m., validavimui – 2023 m., o 2024–2025 m. laikotarpį pasilikti kontrolei. Tai tik pavyzdinis planas: skaidymą turėtų lemti rinka, strategijos horizontas ir turimų duomenų aprėptis.
Užrašykite, ką reiškia „užfiksuota“: signalą, instrumentų rinkinį, pozicijų dydžius, vykdymo prielaidas ir visas trūkstamų duomenų tvarkymo taisykles. Jei kontrolinio laikotarpio rezultatai nuvilia ir pagal juos koreguojate strategiją, tas laikotarpis jau tapo validavimo duomenimis. Kitam sąžiningam vertinimui reikės naujų įrodymų.
Čia išryškėja ir mažų imčių problema. Strategija, kuri kontroliniu laikotarpiu sudarė 18 sandorių, dar nesuteikia pagrindo tiksliam vertinimui. Kartu su grąžos statistika pateikite sandorių skaičių ir neapibrėžtumą; vienas vidurkis gali sudaryti įspūdį, kad nedidelė imtis jau duoda aiškų atsakymą.
Ar tai reiškia, kad atgaliniai testai nenaudingi strategijoms rinktis?
Ne. Kritikai pagrįstai sako, kad griežtai atskirtas kontrolinis laikotarpis gali būti neefektyvus: rinkos keičiasi, istorinių duomenų nedaug, o nepaliestas laikotarpis gali atspindėti tik vieną neįprastą režimą. Kruopščiai suplanuotas slenkantis testavimas gali parodyti, kaip strategija veikia slenkant turimai istorijai. Tačiau pakartotinis derinimas dėl to netampa nemokamas. Jei peržiūrite kiekvieną atkarpą ir koreguojate strategiją, tos atkarpos turėjo įtakos tyrimui.
Atgaliniais testais atskleiskite galimus nesėkmės scenarijus, palyginkite nedidelį skaičių idėjų, pagrįstų rinkos mechanizmu, ir patikrinkite, ar rezultatai išlieka įtikinami taikant tikėtinus mokesčius, finansavimo sąnaudas, poveikį rinkai ir parametrų pakeitimus. Veskite žurnalą. Išsaugokite galutinį kontrolinį laikotarpį. Tada perspektyvų, užfiksuotą versiją išbandykite prekyboje bandomojoje aplinkoje, kur gali išryškėti veiklos neatitikimai.
Dažniausiai tvirčiausias atgalinio testo atsakymas būna toks: „Ši idėja neveikia sąlygomis, kurias jau galime pastebėti.“ Kai jis sako: „Tai geriausia strategija“, paklauskite, į kiek kitų klausimų jo buvo prašyta atsakyti.
← Visi įrašai
