Hindi maililigtas ng tick data ang backtest mo—para sa karamihan ng strategy, lalo pa nitong pinapalala

Karaniwang payo ito: kung gusto mo ng makatotohanang backtest, kumuha ka ng tick data. Sa tingin ko, mali ang payong iyan para sa karamihan ng strategy, at kadalasan ay lalo lang nitong pinapalala ang backtest sa halip na pagandahin. Hindi dahil hindi tumpak ang tick data—ito ang pinakatumpak na makukuha mo—kundi dahil ipinagpapalit ng karamihan ang resolusyon sa pagiging masusi, gayong magkaiba ang dalawang iyon.

Ganito karaniwang pumapalya. Gumagawa ang isang researcher ng strategy gamit ang 1-minute bar at nakakakuha ng Sharpe na gusto niya. Pagkatapos, may magsasabi sa kanya—mentor, post sa forum, o sarili niyang pag-aalinlangan—na hindi makatotohanan ang backtest dahil bar ang pinagbabatayan nito. Kaya itinatayo niyang muli ang buong pipeline gamit ang tick data: bawat trade, bawat update ng quote, at timestamp na hanggang microsecond. Bumibigat ang backtest, nagiging tatlong beses na mas kumplikado ang code, at ang Sharpe... halos hindi gumagalaw, o gumagalaw sa direksiyong walang makapagpaliwanag. Itinutuloy pa rin nila ito dahil mas masusi raw ang tick data, pero magkaiba ang pakiramdam ng pagiging masusi at ang tunay na pagiging masusi.

Ano talaga ang naibibigay ng tick resolution

Ipinapakita ng tick data ang pagkakasunod-sunod at presyo ng bawat trade at (kung magbabayad ka para rito) ng bawat update sa order book. Tunay na impormasyon iyan. Nagagamit ito para buuing muli ang posisyon sa pila, tantiyahin ang posibilidad na ma-fill sa isang partikular na antas ng presyo, at makita ang adverse selection—kung gumagalaw laban sa iyo ang market kaagad matapos ang ipinapalagay mong fill. Napakahalaga ng lahat ng iyan kung segundo ang sinusukat na tagal ng hawak mo sa posisyon at bahagi lamang ng isang tick ang edge mo.

Pero karamihan sa mga strategy na nakikita namin sa Stratmill—at karamihan sa aktuwal na ginagamit ng retail at semi-pro na researcher—ay may mga posisyong hawak nang ilang minuto hanggang ilang araw. Sa ganitong tagal, hindi kung namodelo mo ang ika-40 trade sa loob ng isang minuto ang magtatakda kung makatotohanan ang backtest mo. Ang mahalaga ay kung namodelo mo ang spread, funding rate, slippage curve, at ang katotohanang nakapila ang limit order mo sa likod ng mga order ng ibang tao. Maaari kang magkamali sa apat na iyan gamit ang tick data at maitama ang lahat gamit ang 1-minute bar. Magkahiwalay na bagay ang resolusyon at pagiging makatotohanan.

Iyan ang bilang na madalas hindi gaanong pinapansin. Ang backtest sa antas ng tick ay hindi basta “parehong backtest na mas maraming row.” Sa karamihan ng exchange, dumarating ang mga trade nang hindi nakaayos ayon sa timestamp ng pagkuha ng datos, itinatama ang mga ito pagkalipas ng pangyayari, nahahati sa maraming matching engine shard, at—sa ilang venue na pinagkunan namin ng datos—paminsan-minsang nadodoble o tuluyang nawawala kapag muling kumokonekta. Tunay na proyekto sa systems engineering ang paggawa ng tick pipeline na mas tama talaga kaysa sa mahusay na bar pipeline, hindi lang mas pino. Karamihan ng team ay hindi ginagawa ang proyektong iyon. Itinuturo lang nila ang backtester sa tick file ng vendor at itinuturing na tapos na, kaya ipinagpalit nila ang kilala at dokumentadong mga pagtatantiya (OHLCV) sa hindi kilala at hindi dokumentadong mga pagtatantiya (anuman ang ginagawa ng tick reconciliation logic ng vendor kapag pumalya ang araw).

Ang ingay na kapalit ng tick data

May ikalawang gastos na higit na may kinalaman sa estadistika kaysa sa engineering. Salit-salitang tumatama sa bid at ask ang mga indibidwal na print ng trade—ito ang bid-ask bounce, at kilala na itong epekto sa literatura tungkol sa market microstructure mula pa noong 1980s. Kung mas mabilis sa ilang segundo ang operasyon ng signal mo, maaaring magmukhang may pattern ang tick-level backtesting kahit pagtalbog lang pala iyon. Nakita kong may researcher na nakatuklas ng napakagandang mean-reversion pattern sa datos ng bawat trade, pero naglaho iyon nang pagsamahin niya ang datos bilang 5-second bar, dahil ang pattern ay bid-ask bounce lang pala.

Ganito ang paliwanag sa akin ng isang quant na kilala ko—dating nasa market making, at ngayon ay nagpapatakbo ng maliit na crypto book: “Parang magnifying glass ang tick data. Itutok mo ito sa edge mo, ayos. Itutok mo sa ingay mo, anim na buwan mong mamomodelo nang napakaganda ang ingay mo.” Ngayon, halos lahat ay bina-backtest niya gamit ang 1-second o 1-minute bar, at gumagamit lang siya ng tick data para sa partikular na tanong na “talaga bang mafi-fill ang limit order na ito?” Tanong iyan tungkol sa posibilidad ng fill, hindi tungkol sa signal.

Tamang kutob ang paghihiwalay na iyan, at iyan ang madalas malimutan ng mga nagtataguyod ng tick data. Hindi paggamit ng tick data sa buong strategy ang makatotohanang paraan ng paggamit nito—gamitin ito nang pili para sagutin ang isa o dalawang tanong na talagang hindi kayang sagutin ng bar data.

Kung kailan tama ang mga kritiko

Gayunman, may mga strategy na hindi puwedeng wala ang tick data, at magiging sobra ang pahayag ko kung magpapanggap akong kabaligtaran. Kung nagpapatakbo ka ng paraang kahawig ng market making—naglalagay ng quote sa magkabilang panig, namamahala ng inventory sa bawat tick, at isinasaalang-alang ang posisyon mo sa pila sa isang partikular na antas ng presyo—hindi kayang ilarawan ng bar data ang problema mo. Nasa loob ng minuto ang buong ekonomiya ng strategy na iyan, hindi sa pagitan ng mga minuto. Ganoon din sa latency-sensitive na statistical arbitrage sa pagitan ng mga venue, kung saan literal na tanong ang “alin sa mga trade ang nauna,” at sa market making ng options para sa malalaking volume, kung saan buong laro na ang ilang daang millisecond ng adverse selection matapos ang isang print. Sa ganitong mga sitwasyon, hindi pagpapasimple ang pag-backtest gamit ang bar; mali ang kategorya nito—hindi mas mababang resolusyon ng strategy mo ang sinusubok mo, kundi ibang strategy na nagkataong kapangalan ng tunay na strategy.

Hindi naman sinasabi rito na “masama ang tick data.” Ang punto ay madalas paraan lang ito para umiwas sa mas mahirap at hindi gaanong kapana-panabik na tanong: tama ba ang cost model ko? Tama ba ang palagay ko sa fill? Talaga bang mafi-fill ang order na ito, o ipinapalagay ko lang na mafi-fill ito sa presyong hindi naman talaga inalok ng order book? Masasagot ang mga tanong na iyan gamit ang 1-minute o kahit 1-second bar kung tapat kang isinasaalang-alang ang posisyon sa pila at ang spread. Mas eksaktong masasagot ng tick data ang mga ito, pero ilang ulit na mas malaki ang gastos sa engineering, at walang nababago sa konklusyon ng mga strategy na hindi nangangailangan ng dagdag na katumpakang iyon. Ituon ang dagdag na pagsisikap kung saan talaga ito hinihingi ng tagal ng strategy, at huwag nang gamitin sa iba—mas mahusay na paggamit iyan ng oras ng research team kaysa palaging piliin ang pinakapinong datos dahil pakiramdam mo ay mas masusi ito.