Atpakaļtests ir piemērotāks stratēģijas noraidīšanai nekā izvēlei. Tiklīdz izmantojat vēsturiskos rezultātus, lai izvēlētos starp daudziem variantiem, atpakaļtests kļūst par daļu no eksperimenta, un šķietamajam uzvarētājam līdzi nāk slēptas izmaksas: atlases nobīde.
Tas izklausās aplami. Mēs veicam atpakaļtestus, jo vēlamies noskaidrot, kura stratēģija darbojas. Taču katra izvēle, ko nosaka tie paši vēsturiskie dati, iztērē daļu no to sniegtajiem pierādījumiem. Mainiet atskatīšanās periodu, slieksni, instrumentu kopu, pārbalansēšanas dienu vai stop noteikumu pēc rezultātu apskatīšanas, un jūs esat uzdevuši datiem vēl vienu jautājumu. Galu galā jautājumu būs tik daudz, ka dati nejaušības pēc sniegs pārliecinošu atbildi.
Kāpēc, pārbaudot vairāk stratēģiju, labākajam rezultātam var uzticēties mazāk?
Iedomājieties, ka pārbaudāt 100 stratēģijas, kurām nav reālas priekšrocības. To ienesīgums tik un tā atšķirsies. Ja to veiktspējas aplēses ir aptuveni neatkarīgas un troksnis ir normāli sadalīts, labākais Sharpe rādītājs būs pozitīvs, lai gan katras stratēģijas patiesais Sharpe rādītājs ir nulle.
Aptuvens novērtējums: 100 neatkarīgu standarta normālsadalījuma vērtību maksimālā sagaidāmā vērtība ir 2.5 standartnovirzes virs vidējās. Uztveriet to kā ilustrāciju, nevis korekciju, ko var vienkārši ielīmēt pārskatā: reālie stratēģiju varianti ir savstarpēji korelēti, Sharpe aplēsēm ir sava izlases kļūda, un ienesīgums reti uzvedas kā tīras normālsadalījuma vērtības. Taču praktiskais secinājums nemainās. Jo vairāk kandidātu pārbaudāt, jo lielāka iespēja, ka augstākais rezultāts atspoguļo labvēlīgu troksni.
Turklāt “kandidāts” nav tikai saglabāts atpakaļtests. Tas ir ikviens lēmums, kas pieņemts pēc rezultāta apskatīšanas: paplašināt instrumentu kopu, jo grafikā redzama svārstīga kustība, atmest nelabvēlīgu gadu vai mainīt komisijas pieņēmumu, līdz līkne atkopjas. Šie lēmumi ir jāskaita arī tad, ja tiem neviens nav piešķīris versijas numuru.
Pirms nākamā varianta pārbaudes sāciet izpētes žurnālu
Reģistrējiet visu meklēšanas procesu, arī atmestās idejas un katras izmaiņas iemeslu. Tā iegūsiet godīgāku priekšstatu par to, cik lielā mērā rezultāts tika atlasīts, un būs grūtāk atcerēties tikai pievilcīgos mēģinājumus.
| Kas jāreģistrē | Piemērs | Kāpēc tas ir svarīgi |
|---|---|---|
| Hipotēze | Īstermiņa cenu reversija ir izteiktāka pēc neparasti lielām BTC beztermiņa nākotnes līgumu cenas kustībām | Nošķir ideju no tās vēlāk izvēlētajiem parametriem |
| Variants un laika atzīme | 48 stundu signāls, 2026-10-09, 014. izpilde | Uzskaita meklēšanas mēģinājumus un sasaista rezultātus ar kodu un datiem |
| Atlases noteikums | Izvēlēties pēc neto Sharpe rādītāja; vismaz 100 darījumu | Parāda, ko “labākais” nozīmēja pirms salīdzināšanas |
| Noraidītie varianti | 12, 24, 72 stundu periodi; visi saglabāti | Neļauj redzamajam uzvarētājam izdzēst no atmiņas pārējos kandidātus |
Žurnāls neatceļ meklēšanu. Tas padara meklēšanas procesu pārskatāmu, un tas ir pirmais solis, lai izvērtētu, cik lielu uzticību pelna uzvarētājs.
Atvēliet datu periodu, pie kura izpētes procesā nevarēsiet atkal un atkal atgriezties
Sadaliet datus pēc laika un pēc tam aizsargājiet pēdējo periodu. Izstrādājiet stratēģiju vienā periodā, pieņemiet lēmumus, izmantojot validācijas periodu, un vienu reizi novērtējiet nemainītu stratēģiju vēlākā, galīgajai pārbaudei rezervētā periodā. Piemēram, izstrādei varētu izmantot 2018–2022, validācijai — 2023, bet 2024–2025 atstāt rezervē. Šie datumi ir tikai piemērs: sadalījums jānosaka tirgum, stratēģijas laika horizontam un datu pārklājumam.
Precīzi aprakstiet, ko nozīmē “nemainīta”: signālu, instrumentu kopu, pozīciju lieluma noteikšanu, izpildes pieņēmumus un noteikumus trūkstošiem datiem. Ja galīgās pārbaudes rezultāts sagādā vilšanos un pielāgojat stratēģiju, izmantojot šo periodu, tas ir kļuvis par validācijas datiem. Nākamajam godīgam novērtējumam vajadzīgi jauni pierādījumi.
Šeit problēmas rada arī mazas izlases. Stratēģija, kas galīgās pārbaudes periodā veikusi 18 darījumus, vēl neļauj izdarīt precīzu slēdzienu. Līdzās ienesīguma statistikai norādiet darījumu skaitu un nenoteiktību; viens vidējais rādītājs var radīt iespaidu, ka nepietiekama izlase sniedz skaidru atbildi.
Vai tas nozīmē, ka atpakaļtesti ir nederīgi stratēģiju izvēlei?
Nē. Kritiķiem ir taisnība, ka stingri nodalīti pārbaudes periodi var būt izšķērdīgi: tirgi mainās, vēsture ir īsa, un neskarts periods var atspoguļot tikai vienu neparastu tirgus režīmu. Rūpīgi izstrādāts slīdošās pārbaudes process var parādīt, kā stratēģija uzvedas, pieejamajai vēsturei pakāpeniski virzoties uz priekšu. Taču tas nepadara atkārtotu pielāgošanu bezmaksas. Ja pārbaudāt katru perioda daļu un pārskatāt stratēģiju, šīs daļas ir ietekmējušas izpēti.
Izmantojiet atpakaļtestus, lai atklātu kļūmju scenārijus, salīdzinātu nelielu skaitu ideju, kuru pamatā ir tirgus mehānisms, un pārbaudītu, vai rezultāti saglabājas pie ticamiem komisiju, finansējuma maksājumu, tirgus ietekmes un parametru pieņēmumiem. Uzturiet žurnālu. Saglabājiet galīgo pārbaudes periodu. Pēc tam pārbaudiet daudzsološu, nemainītu versiju simulētā tirdzniecībā, kur var atklāties darbības neatbilstības.
Atpakaļtests visbiežāk sniedz visvērtīgāko atbildi, sakot: “Šī ideja neiztur apstākļus, kurus jau varam saskatīt.” Kad tas saka: “Šī ir labākā stratēģija,” pajautājiet, cik daudz citu atbilžu tam bija jāsniedz.
← Visi raksti
