Dapat sagutin ng walk-forward testing ang isang praktikal na tanong: kung paulit-ulit mong iniangkop ang isang strategy gamit lang ang nakaraan, paano ito kikilos sa susunod na bahagi ng data na hindi pa nakikita? Simple lang pakinggan ang paraang ito. Pumili ng training window, i-fit ang strategy, subukan ito sa kasunod na panahon, pagkatapos ay igalaw ang window at ulitin.
Ang problema, puwedeng magmukhang disiplinado ang sunod-sunod na window pero may tumatagas pa ring impormasyon sa mga hangganan ng mga ito. Nakita ko na ang pinsalang lumilitaw bilang kahina-hinalang makinis na out-of-sample returns, mga setting ng parameter na tila di-kapani-paniwalang matatag, at mga trade na ibinilang sa test period kahit nagsimula ang mga ito bago pa man mailagay.
Pagkakamali 1: Ituring na malinis na simula ang test window
Nagsisimula ang isang test window sa Hunyo 1. Gumagamit ang signal ng 50-araw na moving average, kaya naglo-load ang backtest ng mga presyo noong Mayo para mapainit ang kalkulasyon. Makatuwiran ito: dadalhin din ng live na strategy ang estado ng indicator nito. Pero kung magsisimula nang maipon ang kita ng test period sa Mayo 1, naging performance na ang mga araw ng warm-up.
Lumilitaw din ang parehong problema sa hangganan kapag may mga bukas na posisyon. Ipagpalagay na nagbukas ng trade ang strategy noong Mayo 29 at isinara ito noong Hunyo 3. Dapat bang ibilang ang kita bilang performance ng test period? Oo lang kung malinaw na itinatakda ng simulation kung paano nito hinahawakan ang mga posisyong bukas na sa hangganan. Kung hindi, maaaring mamana ng test ang entry na pinili gamit ang training data, saka ibilang sa test ang nabuong panalo.
| Bahagi sa hangganan | Ligtas na paghawak | Karaniwang pagkakamali |
|---|---|---|
| Kasaysayan ng indicator | I-load ang mga naunang bar para sa estado; magsimulang mag-score sa simula ng test | Ibilang ang returns sa warm-up bilang performance ng test |
| Mga bukas na posisyon | Isara, ipagpatuloy, o ibukod ang mga ito ayon sa nakasaad na tuntunin | Ibilang sa test ang entry bago magsimula ang test |
| Mga order at fill | Atasan na maganap sa test period ang desisyon at execution | I-fill ang order na nabuo bago ang hangganan |
Kailangan ng malinis na split ng tuntunin para sa estado, hindi lang petsa. Panatilihin ang kasaysayan ng indicator na magkakaroon ang isang live na proseso, pero i-score lang ang panahong layon mong suriin. Malinaw na itakda ang paghawak sa mga bukas na posisyon at order, at ilapat ang parehong tuntunin sa bawat pag-usad ng window.
Pagkakamali 2: Hayaang tumawid sa split ang mga trade nang walang embargo
Nagiging sanhi rin ng pagtagas ang magkakapatong na label. Isipin ang isang modelong sinanay sa mga signal na ang kinalabasan ay ang return sa susunod na 5 araw ng trading. Gumagamit ng mga presyo sa Hunyo ang isang training example mula sa huling araw ng Mayo para matukoy kung tama ang prediksyon nito. Kung magsisimula ang test sa Hunyo 1, nagamit na ng training ang bahagi ng kinalabasan ng test.
Madali itong hindi mapansin dahil Mayo 31 ang petsang nakalagay sa mismong feature row. Umaabot sa hinaharap ang label. Hindi nakikita ng time split na batay lang sa mga petsa ng row ang pagsasapawang iyon.
Alisin ang mga training example na umaabot sa test period ang mga outcome window. Depende sa haba ng label horizon at kung paano binuo ang mga feature, mag-iwan din ng pagitan sa training at testing. Dapat tumugma ang agwat, na madalas tawaging embargo, sa panahong nagsasapawan ang impormasyon o mga kinalabasan. Hindi sapat na dahilan ang 5-araw na label para mag-iwan lang ng 1-araw na pagitan dahil mas malinis tingnan ang chart.
Itala ang buong saklaw ng oras na ginagamit ng bawat training example: feature lookback, oras ng desisyon, at outcome window. Hatiin batay sa mga saklaw na iyon, hindi lang sa petsang nakalimbag sa tabi ng bawat row.
Pagkakamali 3: Piliin ang panalo matapos makita ang lahat ng fold
Ito ang pinakamakatuksong pagkakamali. Nagpatakbo ka ng walk-forward tests sa 40 set ng parameter. Mukhang maganda sa ilang fold ang isang kombinasyon, kaya pinili mo ito at iniulat ang mga fold na iyon bilang ebidensiya na nagge-generalize ito.
Maaaring hindi pa nakita ang bawat fold noong ini-fit ang mismong modelo nito. Pero pinili ang disenyo ng strategy matapos mong siyasatin ang lahat ng fold. Nakaimpluwensiya na ngayon sa desisyon sa pananaliksik ang mga resulta ng test, kaya bahagi na ang mga ito ng proseso ng training sa antas ng eksperimento.
Panatilihin ang may petsang tala kung aling mga pagpili ang ginawa bago ang bawat pagsusuri. Kung gagamit ka ng mga resulta ng walk-forward para pumili ng mga parameter, feature, market, o maging ng testing window, magtabi ng huling panahong hindi pa nagagalaw para sa isang panghuling pagsusuri. Isang beses lang bubuksan ang panahong iyon, matapos maipirmi ang mga pagpili. Kung babalik ka at mag-aayos matapos makita ang resulta nito, hindi na ito panghuling test.
May isang simpleng detalye rito: i-save ang tala ng eksperimento bago lumabas ang mga resulta. Hindi magandang tala ng mga aktuwal mong sinubukan ang spreadsheet na inedit matapos ang isang magandang run.
Ano ang dapat ipakita ng isang kapani-paniwalang walk-forward report?
Iulat ang setup kasama ng returns: mga petsa ng training at test, dalas ng pag-usad ng window, haba ng label horizon, paghawak sa warm-up, tuntunin para sa mga posisyon sa mga hangganan, at dami ng konfigurasyong sinubukan. Ipakita ang bawat fold pati ang pinagsama-samang resulta. Dapat iba ang pagbasa sa mataas na kabuuang resultang galing sa isang mapalad na window kumpara sa katamtamang resultang paulit-ulit na nakita sa magkakaibang kondisyon.
Makapagbibigay ng kapaki-pakinabang na disiplina sa pananaliksik sa strategy ang walk-forward testing, pero nasa mga tuntunin sa hangganan at talaan ng mga desisyon ang disiplina. Kapag tama ang mga iyon, may maipapakita ang test tungkol sa kung paano maaaring umusad sa paglipas ng panahon ang isang proseso ng pananaliksik. Kapag nilaktawan ang mga iyon, palamuti na lang ang katawagang walk-forward sa resultang nakakita na sa hinaharap.
← Lahat ng post


