Maaaring magmukhang mas kapani-paniwala ang backtest matapos mong palalain ang data nito. Alisin ang mga pangit na print, punan ang mga puwang ng maayos na presyo, at maaaring tumaas ang Sharpe. Babala ang pagbuting iyon: baka binura ng tuntunin sa paglilinis ang mismong mga kondisyon sa market na kailangang malampasan ng strategy mo.
Mahalaga ang kalidad ng data. Maaaring magresulta sa fill na hindi naman makukuha ninuman ang crossed quote o dobleng trade. Pero isa ring pagpili sa modelo ang filter na nagpapawala sa mga di-kanais-nais na obserbasyon. Pagdudahan ito gaya ng pagdududa mo sa bagong signal feature.
Kailan maituturing na masamang data ang masamang presyo?
Magsimula sa pagtatanong kung ano ang kinakatawan ng obserbasyon. Maaaring sirang rekord, totoong malawakang bentahan sa manipis na liquidity, o kaganapang partikular sa isang venue ang trade na malayo sa umiiral na market. Maaaring mangahulugan ang 1-minute candle na may zero-volume bar na walang naganap na trade, samantalang maaaring senyales ng pumalyang feed ang nawawalang candle. Magkaiba dapat ang paghawak sa mga kasong ito.
Isipin ang isang simpleng mean-reversion strategy na bumibili kapag bumaba ang presyo nang 1% sa ibaba ng maikling moving average at nagbebenta pagbalik nito sa average. Sa panahong manipis ang bentahan sa magdamag, may trade na naitala nang 1.2% mas mababa sa naunang presyo, at pagkatapos ay mabilis na bumawi ang market. Kung tunay ang print, maaaring napunan ang resting limit order ng strategy. Kung bad tick ito na walang sinuportahang executable quote, gawa-gawa ang edge kapag isinama ang fill.
Hindi awtomatikong mas ligtas ang pagbura sa bar. Maaaring may nakabukas pa ring order sa market ang strategy, at maaaring mapunan iyon ng susunod na totoong trade. Dapat imodelo sa mapagtatanggol na replay kung ano ang maaaring makita ng strategy at kung anong mga presyo ang makatwirang makapupuno sa order nito.
Ano ang nagagawa ng tuntunin sa paglilinis sa resulta?
Patakbuhin ang strategy gamit ang malinaw na tinukoy na mga paraan ng paghawak sa data at paghambingin ang mga pagbabago. Panatilihin ang orihinal na source at itala ang bawat inalis o inayos na bahagi kasama ang dahilan. Pagkatapos, iulat kung gaano kalaking bahagi ng resulta ang nakasalalay sa mga desisyong iyon.
| Paghawak sa data | Posibleng pakinabang | Panganib sa backtest |
|---|---|---|
| Alisin ang print na lampas sa dokumentadong saklaw ng error ng exchange | Pinipigilan ang kilalang di-wastong rekord na magtakda ng sukdulang halaga | Maaaring mapagkamalan ng tuntunin ang mga lehitimong trade sa mabilis na market |
| Gamitin ang huling presyo para punan ang nawawalang pagitan | Pinipigilan ang pagkasira ng mga indicator dahil sa mga puwang | Lumilikha ng presyong maaaring walang naganap na trade |
| Gumamit ng pinagsama-samang quote sa halip na huling trade | Mas malinaw na ipinakikita ang mga presyong nakadispley para sa execution | Mahalaga pa rin ang laki ng quote, access sa venue, at puwesto sa pila |
| Alisin ang lahat ng outlier bar batay sa estadistikal na threshold | Binabawasan ang pagiging sensitibo sa mga sukdulang halaga | Maaaring maalis ang mga totoong panahon ng matinding stress kung kailan pinakamalaki ang pagkalugi ng strategy |
Ipagpalagay na 0.9 ang Sharpe ng hindi na-filter na run, samantalang tumaas ito sa 1.4 sa run na nag-alis ng 0.8% ng mga bar. Hindi pa ito nangangahulugang tagumpay sa kalidad ng data. Suriin kung nagsisiksikan ang mga inalis na bar sa panahon ng biglang pagtaas ng volatility, kung malaking bahagi ng P&L ang nagmula sa mga iyon, at kung itinakda ang tuntunin sa pag-aalis bago mo nakita ang resulta.
Panatilihin ang talaan ng mga eksepsiyon sa data: source, timestamp, mga apektadong field, dahilan ng ginawa, at kung nagpasya ka bago o pagkatapos suriin ang performance ng strategy.
Paano ko susuriin kung binago ng paglilinis ang edge?
I-freeze ang strategy at paghambingin ang ilang kapani-paniwalang paraan ng paghawak sa parehong mga petsa. Kung maaari, isama ang replay gamit ang orihinal na data, hanay ng mga dokumentadong pagwawasto, at konserbatibong kaso ng execution para sa mga obserbasyong nananatiling malabo. Sa bawat run, iulat ang bilang ng trade, turnover, drawdown, at ambag sa P&L ng mga apektadong pagitan, kasama ng Sharpe.
Pagkatapos, suriin ang mga trade na nagbago. Kung nawawala ang pinakamalalaking panalo ng strategy kapag inalis ang maliit na grupo ng mga kahina-hinalang print, isa-isahin ang pagsusuri sa mga rekord na iyon. Kung nawawala naman ang mga pagkalugi, gayon din ang masusing pagsuri. Kapag mas maingat mo lang sinusuri ang tuntunin kapag nakasasama ito sa backtest, bahagi na ito ng pananaliksik.
Para madaling maulit ang pag-aaral, lagyan ng bersyon ang mga file ng vendor o ang mga checksum ng mga ito, ang code sa paglilinis, at ang listahan ng mga eksepsiyon. Maaaring baguhin ng vendor ang nakaraang data; sa susunod mong run, dapat matukoy kung nagbago ang strategy o ang mga input nito.
Pero hindi ba kailangang linisin ang data?
Oo. Maaaring makalikha ng trade ang pagpapanatili ng halatang sirang rekord, magbaluktot ng volatility, o magpabagsak sa isang indicator. At hindi dapat magkunwari ang sinuman na ground truth ang raw feed. Mas tiyak ang praktikal na punto: kailangan ng ebidensiya, nakapirming tuntunin, at pagsusuri ng pagiging sensitibo ang paglilinis dahil maaari nitong baguhin kung aling market ang sinasabing kinakatawan ng backtest.
Kapag pinahusay ng pag-aayos ng data ang performance, itanong kung anong obserbasyon ang inalis nito at kung gagawin mo pa rin ang parehong desisyon kung hindi mo nakita ang equity curve. Kung hindi ka sigurado, panatilihin ang dalawang bersyon sa talaan ng pananaliksik. Bahagi ng resulta ang pagkakaiba ng mga ito.
← Lahat ng post
