Sinubukan namin ang 240 set ng parameter. 2.1 ang ipinakitang Sharpe ratio ng pinakamahusay; 0.1 ang median; at 17 lang ang lumampas sa 1.0. Parang may natuklasan kami sa mga numerong iyon—hanggang malaman mong kahit walang tunay na bentahe ang bawat estratehiya, kayang makalikha ng ganitong kalawak na paghahanap ng nagwaging mukhang kahanga-hanga.
Ang nakakagulat na bilang ay 240. Karaniwang ipinapalagay sa ulat ng backtest na nag-iisa lang lumitaw ang napiling estratehiya. Hindi ganoon ang pananaliksik. Sa bawat pagbabago ng parameter, pagpapalit ng feature, pagbabago ng universe, at muling pagpapatakbo matapos ang pangit na resulta, nabibigyan ang ingay ng panibagong pagkakataong magmukhang signal.
Bakit tumataas ang pinakamataas na Sharpe kapag mas marami kang estratehiyang sinusubukan?
Isipin ang 240 magkakahiwalay na estratehiyang walang tunay na bentahe at may maingay na tantiyang Sharpe. Karamihan sa mga tantiya ay malapit sa zero, pero karaniwang positibo ang pinakamataas. Habang dumarami ang kandidatong sinusuri mo, mas malayo sa katotohanan ang maaaring marating ng pinakamataas na tantiyang iyon.
Bilang payak na halimbawa, ipagpalagay na 0.5 ang standard error ng tinantiyang Sharpe ng bawat kandidato. Sa 240 magkakahiwalay na draw, maaaring umabot ang pinakamataas na tantiya sa humigit-kumulang 1.4 na standard error lampas sa mean, o mga 0.7 Sharpe, dahil lang sa pagpili. Magkakaugnay ang mga totoong kandidatong estratehiya, kaya hindi ito pagwawastong basta maipapasok sa ulat. Ipinapakita nito kung bakit mahina ang ebidensiyang “nalampasan ng nagwagi ang zero” matapos ang malawak na paghahanap.
At bihirang sa grid ng parameter lang umikot ang paghahanap. Maaaring sumubok ka ng 3 pamilya ng signal, itinapon ang 2 matapos makita ang mga kurba ng mga ito, binago ang trading universe, at saka muling pinatakbo ang natira gamit ang ibang iskedyul ng rebalance. Kung nakaimpluwensiya sa mga pagpiling iyon ang performance, dapat kasama ang mga ito sa tala ng pananaliksik.
Ano ang maituturing na pagsubok sa backtest?
Bilangin ang isang desisyon bilang pagsubok kung maaaring nakaapekto ang resulta nito sa pagpili mo ng estratehiya. Kasama rito ang mga run na hindi mo inilathala at mga baryasyong maaga mong itinigil dahil pangit ang itsura ng equity curve. Hindi pagsubok sa performance ang pagkabigo sa pag-compile; karaniwan namang pagsubok ang run na nagbigay ng nakakadismayang Sharpe.
| Aksyon sa pananaliksik | Karaniwang binibilang ba? | Bakit |
|---|---|---|
| Baguhin ang lookback mula 20 tungong 30 matapos suriin ang mga resulta | Oo | Nakaimpluwensiya ang unang resulta sa susunod na kandidato |
| Patakbuhin ang parehong nakapirming estratehiya sa bagong saklaw ng petsang itinakda na bago pa man | Karaniwang hindi bagong pagsubok sa pagpili | Nakapirmi na ang tuntunin bago makita ang ebidensiyang iyon |
| Baguhin ang universe matapos makita kung aling mga asset ang nanguna | Oo | Maaaring pagandahin ng pagpili ng universe ang nakikitang resulta |
| Ayusin ang error sa syntax at patakbuhin muli ang hindi binagong code | Hindi | Walang desisyon sa pananaliksik na nakabatay sa performance |
Ang batayan ay kung ginamit mo ang kinalabasan para magpasya. Mahirap itong buuing muli mula sa alaala, kaya dapat itala sa talaan ng eksperimento ang hypothesis, bersyon ng code o configuration, saklaw ng datos, mga palagay sa gastos, at resulta ng bawat run.
Maaari ba akong magwasto para sa multiple testing?
May mga paraang tumatantiya sa bias sa pagpili o nag-aayos ng significance para sa maraming pagsubok. Maaari itong makatulong, pero nangangailangan ang mga ito ng mga palagay tungkol sa ugnayan ng mga kandidato at sa asal ng mga return. Hindi kayang iligtas ng nominal na p-value o iisang deflated Sharpe estimate ang paghahanap kung nawala na ang totoong kasaysayan nito.
Magsimula sa mga bahaging kontrolado mo. Itakda ang pinal na espesipikasyon bago suriin ang panahong talagang hindi pa nagagamit. Panatilihing nakikita ang buong hanay ng kandidato. Kapag maraming magkakaugnay na baryasyon ang sinusubukan, pangkatin ang mga ito ayon sa desisyong pinagmulan ng mga ito sa halip na magkunwaring magkakahiwalay na tuklas ang bawat isa. Iulat ang paghahanap kasama ng nagwagi: bilang ng mga pagsubok, tuntunin sa pagpili, at kung nakaimpluwensiya ang pinal na pagsusuri sa mga sumunod na pagbabago.
Isang kapaki-pakinabang na pagsubok: Kung nakakadismaya ang resulta sa holdout, babaguhin mo ba ang estratehiya at tatawagin mo ulit na holdout ang parehong panahon? Kung oo, bahagi na ito ngayon ng pananaliksik. Kailangan mo ng bagong ebidensiya para sa susunod na pagsusuri.
Ano ang dapat itala ng AI research agent?
Kayang bumuo ng agent ng mga kandidato nang mas mabilis kaysa kayang tandaan ng isang tao ang mga ito. Dahil dito, bahagi ng sistema ng pananaliksik ang pagtatala ng mga pagsubok, hindi lang gawaing pang-ulat. Itago ang bawat kandidato bago ito patakbuhin, pati ang pinagmulan nitong eksperimento at dahilan kung bakit ito ginawa. Panatilihin ang mga nabigo at itinapong run. Itala kung kailan sinuri ng tao o agent ang performance at kung anong desisyon ang sumunod.
Pagkatapos, gawing mauulit ang proseso ng pagpili: sa parehong hanay ng kandidato at tuntunin, dapat iisa ang mapiling nagwagi. Kung patuloy na binabago ng agent ang prompt, layunin, o mga limitasyon nito matapos makita ang mga resulta, bahagi rin ng paghahanap ang mga pagbabagong iyon.
Maaaring karapat-dapat siyasatin ang Sharpe na 2.1. Nakasalalay ang kahulugan nito sa prosesong nagluwal dito. Kapag nakatala sa tala ng pananaliksik na 240 kandidato ang nagpaligsahan para sa pamagat, maituturo mo ang tamang susunod na tanong: anong ebidensiya pa ang natitira na hindi pa nakonsumo ng mga pagpiling iyon?
← Lahat ng post
