Maaaring tama ang timestamp ng bawat candle sa isang backtest pero gumagamit pa rin ito ng impormasyong mula sa hinaharap. Nangyayari ito kapag sinusubok ng estratehiya ang mga asset na nakaligtas hanggang ngayon sa loob ng maraming taon ng kasaysayan, na para bang alam na nito kung aling mga market ang mananatiling likido, nakalista, at sulit panatilihin.
Bahagi ng estratehiya ang pagbuo ng universe. Kung mga asset lang na available sa bawat oras ng pagpapasya ang mapagpipilian ng live system, kailangang sundin din ng backtest ang kaparehong hangganan. Tatlong karaniwang shortcut ang nag-aalis sa hangganang ito.
Unang pagkakamali: i-backtest ang listahan ngayon sa buong kasaysayan
Ipagpalagay na pinili mo ngayon ang 50 pinakamalalaking crypto perpetual market, saka mo sila i-backtest mula 2021. Hindi kasama sa listahan ang mga kontratang naglaho, nawalan ng liquidity, o na-delist. Binibigyan din nito ang mga naunang petsa ng access sa mga market na maaaring hindi pa umiiral noon.
Madaling hindi mapansin ang pinsala: mas mukhang matatag ang estratehiya dahil nawala na sa sample nito ang mga asset na bumagsak. Halimbawa, maaaring magmukhang napakahusay ng isang momentum rule sa 50 market ngayon, samantalang paulit-ulit sanang maglalaan ang makasaysayang bersyon nito sa mga asset na bumagsak kalaunan o nawala sa listahan ng venue. Sinubukan mo ang portfolio na pinili batay sa kaalaman sa kinalabasan.
Itala ang membership ayon sa petsa. Para sa bawat asset, subaybayan kung kailan ito naging kwalipikado, kung kailan ito tumigil maging kwalipikado, at kung bakit. Sa bawat rebalance, ilapat ang mga patakaran gamit lang ang impormasyong available noon. Dapat mapasama ang isang market matapos ang aktuwal nitong listing at anumang kinakailangang warm-up period. Kung ma-delist ito, kailangang may itinakdang paraan ng paglabas o settlement para sa huling posisyon nito; hindi exit rule ang basta pag-alis ng mga row nito.
Ikalawang pagkakamali: mag-ranggo batay sa estadistikang nasukat pagkatapos ng pagpapasya
Puwede pa ring magkaroon ng data leakage ang makasaysayang universe kung gumagamit ng window na kumpleto na sa hinaharap ang patakaran nito sa membership. Mukhang makatwiran ang “I-trade ang 20 stock na may pinakamataas na liquidity bawat buwan,” hanggang malaman mong niraranggo ang liquidity gamit ang buong buwan kung kailan dapat nang mag-trade ang estratehiya.
Isipin na nagre-rebalance ka sa unang araw ng trading. Kapag niranggo mo gamit ang average dollar volume ng buwang iyon, palihim mong ginagamit ang susunod na 3 linggo para pagpasyahan kung kwalipikado ang isang asset sa unang araw. Madalas lumitaw ang pinsala bilang kapasidad na kahina-hinalang maganda: naiiwasan ng estratehiya ang mga asset na nawalan ng liquidity sa bandang huli ng buwan, kahit hindi nito iyon malalaman sa oras ng pagpasok.
Itakda ang cutoff ng pagsukat bago ang oras ng pagpili. Para sa buwanang rebalance sa unang session, maaari kang mag-ranggo batay sa nakaraang 20 kumpletong session na nagtapos sa naunang session. Pagkatapos, tukuyin nang malinaw ang pagkaantala sa execution: kung closing price kahapon ang gamit sa ranking, maaari bang isumite ang order sa open ngayon ayon sa ipinapalagay mong workflow?
| Panuntunan sa pagpili | Bersyong point-in-time | Karaniwang leakage |
|---|---|---|
| Nangungunang 20 batay sa dollar volume | I-ranggo ang mga kumpletong session na nagtapos bago ang rebalance | Pagsama sa araw o buwan ng rebalance |
| Nakalista sa venue | Gamitin ang aktuwal na oras ng listing at delisting | Paggamit ng kasalukuyang symbols endpoint para sa mga lumang petsa |
| Minimum na kasaysayan | Bilangin ang mga obserbasyong available sa oras ng pagpili | Pag-aatas na mabuhay pa ito sa hinaharap para makapasa sa filter |
Ikatlong pagkakamali: ituring na patunay na hindi kwalipikado ang asset ang nawawalang kasaysayan
Hindi laging kumpletong tala ng makasaysayang market ang archive ng isang data vendor. Maaaring mangahulugan ang nawawalang symbol na hindi talaga umiral ang asset, nagbago ang sistema ng pagpapangalan ng venue, hindi itinago ng vendor ang mga na-delist na instrumento, o nagkaroon lang ng puwang sa feed. Magkakaiba ang epekto ng mga kasong ito.
Ang pinsala ay isang maayos tingnang universe na may mga butas na walang paliwanag. Madalas magtakda ang mga mananaliksik ng buong lookback window, saka tahimik na inaalis ang anumang walang ganoon. Maaaring makatuwirang warm-up rule ito, pero sadyang inaalis din nito ang mga bagong-list na asset. Mas malala, kung mas madalas nawawala ang kasaysayan ng mga pumalyang market, nagiging panibagong survivorship filter ang “kumpletong data lang.”
Panatilihing magkakahiwalay na datos ang eligibility, availability ng data, at warm-up ng estratehiya. Itala sa bawat petsa kung bakit hindi isinama ang isang asset. Panatilihin sa research ledger ang mga nawawalang datos sa halip na tahimik na burahin ang mga ito. Kung hindi matiyak ng pinagmulan kung nakalista o naipagpapalit ang isang market, sabihin ito at sukatin kung gaano nakasalalay dito ang resulta.
Gawing mauulit ang pagbuo ng universe
Magsimula ng kapaki-pakinabang na audit sa isang makasaysayang rebalance. Muling buuin ang listahan ng mga kandidato gamit ang mga listing na may petsa at datos na available sa cutoff na iyon. Muling kalkulahin ang mga input sa ranking gamit lang ang mga nakumpletong obserbasyon. Pagkatapos, ihambing ang membership na nakuha sa listahang aktuwal na ginamit ng backtest mo.
Itabi ang patakaran, cutoff nito, mga desisyon sa membership, at bersyon ng pinagmulan kasama ng run. Kung hindi mo maipaliwanag kung bakit nakapasok ang isang asset at hindi naman ang isa sa isang partikular na petsa, hindi mo pa matutukoy kung may natuklasang edge ang estratehiya o minana lang nito ang sample na hinubog ng hinaharap.
Bihirang magpakita ang mga pagkakamali sa universe bilang mga presyong imposibleng mangyari. Lumilitaw ang mga ito bilang estratehiyang nagkataong nakaiwas sa mga market na kalauna'y hindi na naging kapaki-pakinabang.
← Lahat ng post
