Maaaring Tumaas ang Sharpe ng Backtest Mo Kapag Nagdagdag Ka ng mga Market

Kapag nagdagdag ka ng mga market sa paghahanap ng estratehiya, maaaring magmukhang mas malakas ang pinakamagandang backtest kahit humihina naman ang ebidensiya. Madalas ituring na diversification ang mas mataas na Sharpe matapos magdagdag ng mga symbol; pero kung hinanapan mo ng panalo ang mga symbol na iyon, dumami rin ang pagkakataong makatsamba.

Mahalaga ang pagkakaibang iyan, daan-daang signal man ang imungkahi ng isang agent o iilang signal lang ang subukan ng researcher nang mano-mano. Saklaw ng search space ang bawat kombinasyon ng market, timeframe, feature, at parameter na nakaimpluwensiya sa pinal na pagpili. Hindi sinasabi ng “isa lang ang inilunsad naming estratehiya” kung ilang kandidato ang sumalang sa pagpili.

Bakit kayang palakihin ng mas malawak na universe ng mga market ang pinakamataas na Sharpe?

Isipin mong sinubukan ang iisang template ng estratehiya sa 40 magkakaibang market. Ipagpalagay, para simple, na zero ang tunay na Sharpe ng bawat market at 0.5 ang standard error ng bawat tinantiyang Sharpe. Paligid lang ng zero ang galaw ng mga estimate. Pero piliin mo ang pinakamataas, at karaniwan itong magiging positibo dahil pinili mo ang pinakamataas.

Sa isang payak na normal approximation, inaasahang nasa bandang 1.3 standard error sa ibabaw ng zero ang pinakamataas sa 40 independent na noise estimate: humigit-kumulang 0.65 Sharpe sa halimbawang ito. Nakadepende ang eksaktong bilang sa ugnayan ng mga market, haba ng sample, at distribusyon ng mga return. Ang punto: nagdudulot ng sobrang optimismo ang pagpili kahit walang edge ang alinmang estratehiya.

Hindi magkakahiwalay na paghagis ng barya ang mga market. Madalas sabay gumalaw ang BTC at ETH; maaaring magkapareho ang malaking bahagi ng risk ng dalawang equity index. Binabawasan nito ang epektibong bilang ng independent na pagsubok, pero hindi nito inaalis ang problema. At maaari pa ring magkaiba ang mga market na magkakaugnay pagdating sa fees, funding, liquidity, at mga oras na gumagana ang signal.

Bahagi ba ng multiple testing ang pagsubok sa mas maraming market?

Oo, kapag ginagamit mo ang mga resulta para magpasya kung alin ang pananatilihin. Kung “nakukuha ng tuntuning ito ang epekto ng funding sa mga pangunahing perpetual” ang orihinal na hypothesis, bahagi ng pagsubok sa hypothesis na iyon ang pagtingin sa iba’t ibang market. Kung sumubok ka sa 50 market, pinili ang pinakamahusay, at saka binuo ang hypothesis batay sa naging asal nito, naging bahagi na ng optimization ang pagpili ng universe.

Mahalagang pag-ibahin ang lawak na itinakda nang maaga at ang lawak na pinili matapos makita ang mga resulta. Maipapakita ng basket na itinakda nang maaga kung matatag ang isang ideya sa saklaw na tinukoy. Samantala, proseso ng paghahanap ang pagpapalawak ng basket hanggang may isang symbol na magpakita ng kapansin-pansing equity curve. Parehong lehitimong pananaliksik ang dalawang paraan, pero magkaibang tanong ang sinasagot ng mga ito.

Paano ko susubukan kung naililipat ang edge sa mga bagong market?

Itakda nang pinal ang mga pagpili sa pananaliksik bago buksan ang holdout. Kabilang dito ang depinisyon ng signal, mga parameter, tuntunin sa universe, iskedyul ng rebalance, at mga palagay sa execution. Pagkatapos, suriin ang estratehiyang hindi binago sa mga market na hindi nakaimpluwensiya sa mga pagpiling iyon.

Halimbawa, ipagpalagay na binuo ang crypto momentum rule gamit ang BTC at ETH perpetual hanggang 2023. Maaari kang magtabi ng isang pangkat ng iba pang likidong perpetual na pinili ayon sa tuntuning gumagamit lang ng impormasyong makukuha bago ang panahon ng pagsubok, at huwag isama ang mga ito sa lahat ng tuning. Ilapat ang nakapirming tuntunin sa mga kontratang iyon sa 2024 at 2025. Isama ang aktuwal na fee tier, mga bayad sa funding, detalye ng kontrata, at makatwirang palagay sa market impact para sa bawat venue; kung walang gastos sa trading na partikular sa market ang transfer test, maaaring mapagkamalan nitong pagkabigo ng signal ang pagkakaiba sa gastos—o matakpan ang tunay na pagkabigo.

Iulat ang distribusyon sa iba’t ibang market na itinabi, hindi lang ang pinagsamang Sharpe. Maaaring itago ng pinagsamang portfolio na halos lahat ng return ay galing sa iisang market. Ipakita ang netong resulta, bilang ng trade, drawdown, at bahaging ambag sa kabuuang P&L ng pinakamalaking market. Kung iisang kontrata lang gumagana ang tuntunin, tawagin itong resultang partikular sa kontrata.

Panatilihing tapat din ang paghahati ng panahon. Maaaring hindi ginalaw ang isang market pero sumasaklaw pa rin ang panahon ng datos nito sa parehong regime na nagpasigla sa performance habang binubuo ang estratehiya. Sinusukat ng cross-market holdout kung naililipat ang tuntunin sa iba’t ibang instrumento; sinusukat naman ng holdout sa mas huling panahon kung gumagana ito sa paglipas ng panahon. Magkaibang pagsubok ang mga ito, at hindi maipapalit ang magandang resulta sa isa para sa isa pa.

Paano kung dapat talagang gumamit ng mas maraming market ang estratehiya?

Isama ang mga ito, pero malinaw na itakda kung paano. Iba ang tuntunin sa portfolio na nagte-trade sa bawat kwalipikadong market batay sa nakapirming signal sa paligsahan kung saan nananalo ang market na may pinakamagandang makasaysayang resulta. Dapat tukuyin kung kwalipikado ang isang market nang hindi tinitingnan ang performance sa hinaharap: halimbawa, gamit ang liquidity threshold sa takdang panahon at minimum na rekisito sa haba ng kasaysayan. Kailangan ding lagyan ng timestamp ang mga pagbabago sa kasapian, kung hindi, maaaring maipasok ng kasalukuyang listahan ng “mga likidong market” ang mga market na nakaligtas hanggang ngayon sa lumang backtest.

Tama ang mga kritiko na maaaring maging marupok ang estratehiya kapag masyadong makitid ang universe, at mahalagang pagsusuri ng tibay ang malawak na pagsubok. Hindi solusyon ang pag-iwas sa pagsubok ng mga market. Dapat ihiwalay ang mga market na ginamit sa pagtuklas ng ideya sa mga market na ginamit sa pagsubok sa nakapirming ideya, at isama sa ebidensiya ang gawaing ginawa sa pagtuklas.

Makakatulong ang mas malaking universe para gumana ang estratehiya sa labas ng laboratoryo. Makakatulong din ito para manalo sa pagpili ng estratehiya sa laboratoryo ang isang backtest na sinuwerte lang. Ipinapakita ng talaan ng paghahanap at holdout kung alin sa dalawang paliwanag ang sinusuportahan ng Sharpe mo.