2026 m. lapkričio 19 d. · tyrimai

Jūsų „walk-forward“ testas turi tris būdus klaidingai parodyti ateitį

Jūsų „walk-forward“ testas turi tris būdus klaidingai parodyti ateitį

„Walk-forward“ testavimas turėtų atsakyti į praktinį klausimą: kaip būtų veikusi strategija kitame dar nematytų duomenų etape, jei ją būtumėte ne kartą pritaikę naudodami tik praeities duomenis? Metodas atrodo paprastas. Pasirenkate mokymo langą, pritaikote strategiją, testuojate tolesniame laikotarpyje, tada slenkate langą ir viską kartojate.

Problema ta, kad langų seka gali atrodyti disciplinuota, nors informacija vis tiek nuteka per jų ribas. Esu matęs, kaip tai pasireiškia įtartinai tolygia OOS grąža, neįtikėtinai stabiliais atrodančiais parametrų nustatymais ir sandoriais, priskirtais testavimo laikotarpiui, kuris prasidėjo dar prieš atsirandant galimybei juos sudaryti.

1 klaida: testavimo langą laikyti švariu lapu

Testavimo langas prasideda birželio 1 d. Signalui naudojamas 50 dienų slankusis vidurkis, todėl skaičiavimui „įšildyti“ atgalinis testas įkelia gegužės kainas. Tai pagrįsta: gyva strategija taip pat išsaugotų indikatoriaus būseną. Tačiau jei testavimo laikotarpio grąža pradedama skaičiuoti nuo gegužės 1 d., tos „įšildymo“ dienos jau tampa rezultatu.

Ta pati ribos problema kyla ir dėl pozicijų. Tarkime, strategija atidaro sandorį gegužės 29 d., o uždaro birželio 3 d. Ar pelnas turėtų būti įskaičiuotas į testavimo laikotarpio rezultatą? Tik jei simuliacijoje aiškiai apibrėžta, kaip tvarkomos ribos metu jau atidarytos pozicijos. Priešingu atveju testas gali perimti įėjimą, pasirinktą pagal mokymo duomenis, o tada priskirti gautą pelną testui.

Ribos elementasSaugus tvarkymasDažna klaida
Indikatoriaus istorijaĮkelti ankstesnes žvakes būsenai nustatyti; rezultatą pradėti skaičiuoti nuo testavimo pradžios„Įšildymo“ grąžą įskaityti į testavimo rezultatą
Atviros pozicijosUždaryti, perkelti arba neįtraukti pagal iš anksto nurodytą taisyklęPrieš testą atidaryto sandorio rezultatą priskirti testui
Pavedimai ir įvykdymaiReikalauti, kad sprendimas ir įvykdymas vyktų testavimo laikotarpiuĮvykdyti pavedimą, sugeneruotą prieš ribą

Tvarkingam padalijimui reikia būsenos taisyklės, o ne vien datos. Išsaugokite tokią indikatoriaus istoriją, kokią turėtų gyvas procesas, bet rezultatą skaičiuokite tik už vertinamą laikotarpį. Aiškiai apibrėžkite, kaip elgtis su atviromis pozicijomis ir pavedimais, ir taikykite tą pačią taisyklę kiekvieną kartą slinkdami langą.

2 klaida: leisti sandoriams kirsti padalijimo ribą be embargo

Persidengiančios žymos sukuria dar vieną informacijos nutekėjimo būdą. Įsivaizduokite modelį, mokytą pagal signalus, kurių rezultatas yra kitų penkių prekybos dienų grąža. Mokymo pavyzdyje, sudarytame paskutinę gegužės dieną, naudojamos birželio kainos, kad būtų nustatyta, ar prognozė buvo teisinga. Jei testas prasideda birželio 1 d., mokymo metu jau panaudota dalis testavimo rezultato.

Tai lengva pražiūrėti, nes pati požymių eilutė datuota gegužės 31 d. Žyma apima ateitį. Laiko padalijimas vien pagal eilučių datas tokio persidengimo neaptinka.

Pašalinkite mokymo pavyzdžius, kurių rezultatų langai tęsiasi į testavimo laikotarpį. Atsižvelgdami į žymos horizontą ir požymių sudarymo būdą, tarp mokymo ir testavimo taip pat palikite tarpą. Šis tarpas, dažnai vadinamas embargo, turėtų atitikti laikotarpį, per kurį persidengia informacija arba rezultatai. Penkių dienų žyma nepateisina vienos dienos tarpo vien todėl, kad taip diagrama atrodo švariau.

Užrašykite visą laikotarpį, kurį apima kiekvienas mokymo pavyzdys: požymių retrospektyvos langą, sprendimo laiką ir rezultatų langą. Padalijimą atlikite pagal šiuos laikotarpius, o ne vien pagal prie kiekvienos eilutės nurodytą datą.

3 klaida: išrinkti nugalėtoją pamačius visus fold'us

Štai pati viliojamiausia klaida. Atlikote „walk-forward“ testus su 40 parametrų rinkinių. Vienas derinys keliuose fold'uose atrodo gerai, todėl jį pasirenkate ir tuos pačius fold'us pateikiate kaip įrodymą, kad strategija apibendrinama.

Kiekvienas fold'as galėjo būti nematytas, kai buvo pritaikomas jo modelis. Tačiau strategijos sandara pasirinkta jau peržiūrėjus visus fold'us. Testų rezultatai dabar paveikė tyrimo sprendimą, todėl eksperimento lygmeniu jie tapo mokymo proceso dalimi.

Fiksuokite su datomis, kurie pasirinkimai buvo padaryti prieš kiekvieną vertinimą. Jei „walk-forward“ rezultatus naudojate parametrams, požymiams, rinkoms ar net testavimo langui pasirinkti, galutiniam vertinimui pasilikite vieną nepaliestą laikotarpį. Jį atverkite tik vieną kartą, užfiksavę pasirinkimus. Jei pamatę jo rezultatus grįžtate prie derinimo, tai jau nebėra galutinis testas.

Čia yra viena paprasta smulkmena: išsaugokite eksperimento žurnalą dar prieš gaudami rezultatus. Skaičiuoklė, redaguota po daug žadančio bandymo, prastai parodo, ką iš tikrųjų išbandėte.

Ką turėtų parodyti patikima „walk-forward“ ataskaita?

Kartu su grąža pateikite ir sąranką: mokymo ir testavimo datas, langų slinkimo dažnį, žymos horizontą, „įšildymo“ tvarkymą, pozicijų politiką ties ribomis ir išbandytų konfigūracijų skaičių. Parodykite ir kiekvieno fold'o, ir bendrus rezultatus. Stiprus bendras rezultatas, paremtas vienu sėkmingu langu, vertintinas kitaip nei nuosaikūs rezultatai, pasikartojantys skirtingomis sąlygomis.

„Walk-forward“ testavimas gali suteikti strategijų tyrimams naudingos disciplinos, tačiau jos pagrindas yra ribų taisyklės ir sprendimų įrašai. Tinkamai juos apibrėžus, testas gali parodyti, kaip tyrimo procesas galėtų veikti laikui bėgant. Jei šiuos dalykus praleisite, „walk-forward“ etiketė tėra papuošalas ant rezultato, kuris jau matė ateitį.

„walk-forward“ testavimaspersimokymasatgalinis testavimasstrategijų tyrimai
← Visi įrašai