Walk-forward testēšanai būtu jāatbild uz praktisku jautājumu: kā stratēģija būtu darbojusies nākamajā vēl neredzēto datu posmā, ja jūs to vairākkārt būtu pielāgojuši, izmantojot tikai pagātnes datus? Metode šķiet vienkārša. Izvēlieties apmācības logu, pielāgojiet stratēģiju, testējiet to nākamajā periodā, tad pārbīdiet logu un atkārtojiet.
Problēma ir tā, ka logu secība var izskatīties disciplinēta, bet informācija joprojām var noplūst pāri to robežām. Esmu redzējis, kā sekas izpaužas aizdomīgi gludā ārpusizlases ienesīgumā, šķietami neticami stabilos parametru iestatījumos un darījumos, kas pieskaitīti testa periodam, lai gan tas sākās vēl pirms šos darījumus varēja veikt.
Kļūda 1: testa loga uzskatīšana par tīru lapu
Testa logs sākas 1. jūnijā. Signālā tiek izmantots 50 dienu mainīgais vidējais, tāpēc atpakaļtests ielādē maija cenas, lai iesildītu aprēķinu. Tas ir saprātīgi: arī reāllaikā darbojošā stratēģija turpinātu izmantot iepriekšējo indikatora stāvokli. Taču, ja testa perioda ienesīgumu sāk uzskaitīt no 1. maija, šīs iesildīšanas dienas jau tiek ieskaitītas rezultātā.
Tāda pati robežas problēma rodas ar pozīcijām. Pieņemsim, ka stratēģija atver darījumu 29. maijā un aizver to 3. jūnijā. Vai peļņa būtu jāieskaita testa perioda rezultātos? Tikai tad, ja simulācijā ir skaidri noteikts, kā apstrādā pozīcijas, kas robežas brīdī jau ir atvērtas. Pretējā gadījumā testā var pārņemt ieeju, kas izvēlēta ar apmācības datiem, un pēc tam ieskaitīt testa periodam no tās gūto peļņu.
| Robežgadījums | Droša pieeja | Bieža kļūda |
|---|---|---|
| Indikatora vēsture | Ielādēt iepriekšējos stabiņus stāvokļa noteikšanai; rezultātus sākt uzskaitīt testa perioda sākumā | Iesildīšanas perioda ienesīgumu ieskaitīt testa rezultātos |
| Atvērtās pozīcijas | Aizvērt, paturēt atvērtas vai izslēgt saskaņā ar skaidri noteiktu kārtību | Testa periodā ieskaitīt ieeju, kas veikta pirms tā |
| Rīkojumi un izpilde | Nodrošināt, ka lēmums un izpilde notiek testa periodā | Izpildīt rīkojumu, kas sagatavots pirms robežas |
Lai sadalījums būtu tīrs, vajadzīgs noteikums par stāvokli, nevis tikai datums. Saglabājiet indikatora vēsturi, kāda būtu reāllaika procesā, bet rezultātus uzskaitiet tikai par periodu, kuru vēlaties novērtēt. Skaidri nosakiet, kā rīkoties ar atvērtajām pozīcijām un rīkojumiem, un piemērojiet vienu un to pašu noteikumu katrā loga pārbīdē.
Kļūda 2: darījumu šķērsošana pāri sadalījuma robežai bez embargo perioda
Pārklājošās etiķetes rada vēl vienu noplūdi. Iedomājieties modeli, kas apmācīts ar signāliem, kuru rezultāts ir nākamo piecu tirdzniecības dienu ienesīgums. Apmācības piemērs no maija pēdējās dienas izmanto jūnija cenas, lai noteiktu, vai tā prognoze bija pareiza. Ja tests sākas 1. jūnijā, apmācībā jau ir izmantota daļa no testa perioda rezultāta.
To ir viegli nepamanīt, jo pati pazīmju rinda ir datēta ar 31. maiju. Etiķete sniedzas nākotnē. Laika sadalījums, kas balstīts tikai uz rindu datumiem, šo pārklāšanos neuztver.
Izņemiet no apmācības piemērus, kuru rezultātu logi sniedzas līdz testa periodam. Atkarībā no etiķetes horizonta un pazīmju veidošanas metodes atstājiet arī pārtraukumu starp apmācību un testēšanu. Šim pārtraukumam, ko bieži sauc par embargo periodu, jāatbilst laikam, kurā informācija vai rezultāti pārklājas. Piecu dienu etiķete neattaisno vienas dienas pārtraukumu tikai tāpēc, ka tas padara grafiku glītāku.
Pierakstiet pilnu laika posmu, ko aptver katrs apmācības piemērs: pazīmju atskata periodu, lēmuma pieņemšanas laiku un rezultāta logu. Sadaliet pēc šiem posmiem, nevis tikai pēc datuma, kas norādīts pie katras rindas.
Kļūda 3: uzvarētāja izvēle pēc visu fold rezultātu apskates
Lūk, vilinošākā kļūda. Jūs veicat walk-forward testus 40 parametru kopām. Viena kombinācija izskatās labi vairākos fold, tāpēc izvēlaties to un kā pierādījumu tās vispārināšanas spējai ziņojat par tiem pašiem fold rezultātiem.
Katrs fold, iespējams, bija neredzēts brīdī, kad tika pielāgots attiecīgais modelis. Taču stratēģijas dizains tika izvēlēts pēc visu fold rezultātu apskates. Testu rezultāti tagad ir ietekmējuši izpētes lēmumu, tātad eksperimenta līmenī tie ir daļa no apmācības procesa.
Veidojiet datētu uzskaiti par to, kuri lēmumi pieņemti pirms katra novērtējuma. Ja izmantojat walk-forward rezultātus, lai izvēlētos parametrus, pazīmes, tirgus vai pat testēšanas logu, atvēliet vienu pēdējo, neaizskartu periodu noslēguma novērtējumam. Šo periodu atveriet tikai vienu reizi, kad izvēle jau fiksēta. Ja pēc tā apskates atgriežaties pie pielāgošanas, tas vairs nav noslēguma tests.
Te ir kāda ikdienišķa nianse: saglabājiet eksperimenta žurnālu, pirms saņemat rezultātus. Izklājlapa, kas rediģēta pēc daudzsološa testa, slikti atspoguļo to, ko jūs patiesībā izmēģinājāt.
Kas jāiekļauj uzticamā walk-forward pārskatā?
Līdz ar ienesīgumu norādiet arī testa uzstādījumus: apmācības un testa datumus, loga pārbīdes biežumu, etiķetes horizontu, iesildīšanas kārtību, pozīciju pārvaldības noteikumus pie robežām un izmēģināto konfigurāciju skaitu. Parādiet gan katra fold, gan kopējos rezultātus. Spēcīgs koprezultāts, ko veido viens veiksmīgs logs, jāvērtē citādi nekā pieticīgi rezultāti, kas atkārtojas dažādos apstākļos.
Walk-forward testēšana var ieviest noderīgu disciplīnu stratēģiju izpētē, taču šī disciplīna balstās robežu noteikumos un lēmumu uzskaitē. Ja tos ievērosiet, tests var sniegt priekšstatu par to, kā izpētes process varētu darboties laika gaitā. Ja tos ignorēsiet, walk-forward apzīmējums būs tikai rotājums rezultātam, kurā nākotne jau ir ņemta vērā.
← Visi raksti


