Išbandėme 240 parametrų rinkinių. Geriausio Sharpe rodiklis buvo 2.1, mediana – 0.1, o 1.0 ribą peržengė vos 17 rinkinių. Šie skaičiai skamba kaip atradimas, kol nesužinote, kad net kai nė viena strategija iš tiesų neturi pranašumo, tokia plati paieška gali atsitiktinai iškelti įspūdingai atrodantį laimėtoją.
Stebina skaičius 240. Atgalinio testo ataskaitoje pasirinkta strategija paprastai pateikiama taip, tarsi ji būtų atsiradusi viena. Tačiau tyrimai taip nevyksta. Kiekvienas parametrų pakeitimas, požymio pakeitimas, aktyvų aibės pakeitimas ir pakartotinis bandymas po prasto rezultato suteikia triukšmui dar vieną progą atrodyti kaip signalui.
Kodėl išbandžius daugiau strategijų išpučia geriausią Sharpe rodiklį?
Įsivaizduokite 240 nepriklausomų strategijų, neturinčių tikro pranašumo, kurių įvertinti Sharpe rodikliai svyruoja dėl triukšmo. Dauguma įverčių bus arti nulio, tačiau didžiausias paprastai bus teigiamas. Kuo daugiau kandidatų apžiūrite, tuo labiau didžiausias įvertis gali nutolti nuo tikrosios reikšmės.
Apytiksliai iliustracijai tarkime, kad kiekvieno kandidato įvertinto Sharpe rodiklio standartinė paklaida yra 0.5. Iš 240 nepriklausomų imčių didžiausias įvertis vien dėl atrankos gali būti maždaug 1.4 standartinės paklaidos virš vidurkio, arba apytiksliai 0.7 Sharpe rodiklio punkto. Tikri strategijų kandidatai yra tarpusavyje koreliuoti, todėl šis skaičiavimas nėra korekcija, kurią galima tiesiog įrašyti į ataskaitą. Jis parodo, kodėl po plačios paieškos teiginys „laimėtojas pranoko nulį“ yra silpnas įrodymas.
Be to, paieška retai apsiriboja vien parametrų tinkleliu. Galbūt išbandėte tris signalų šeimas, dvi atmetėte pamatę jų kreives, pakeitėte prekiaujamų aktyvų aibę, o tada likusį variantą išbandėte dar kartą pagal kitokį perbalansavimo grafiką. Jei šiems sprendimams įtakos turėjo rezultatai, jie priklauso tyrimų istorijai.
Kas laikoma atgalinio testo bandymu?
Sprendimą laikykite bandymu, jei jo rezultatas galėjo turėti įtakos tam, kurią strategiją pasirinkote. Įskaičiuokite ir nepaskelbtus bandymus, ir variantus, kuriuos nutraukėte anksčiau, nes nuosavo kapitalo kreivė atrodė prastai. Kompiliavimo klaida nėra našumo bandymas; bandymas, kurio Sharpe rodiklis nuvylė, paprastai yra.
| Tyrimo veiksmas | Ar paprastai įskaičiuoti? | Kodėl |
|---|---|---|
| Peržiūrėjus rezultatus pakeisti peržiūros laikotarpį iš 20 į 30 | Taip | Pirmojo bandymo rezultatas padėjo parinkti kitą kandidatą |
| Paleisti tą pačią fiksuotą strategiją iš anksto numatytam naujam laikotarpiui | Paprastai nelaikyti nauju atrankos bandymu | Taisyklė buvo nustatyta prieš gaunant šiuos įrodymus |
| Pakeisti aktyvų aibę pamačius, kurie aktyvai laimėjo | Taip | Aktyvų atranka gali pagerinti tariamą rezultatą |
| Ištaisyti sintaksės klaidą ir vėl paleisti nepakeistą kodą | Ne | Joks tyrimo sprendimas nepriklausė nuo našumo |
Riba priklauso nuo to, ar panaudojote rezultatą sprendimui priimti. Tai gali būti sunku atkurti iš atminties, todėl eksperimento žurnale reikėtų fiksuoti hipotezę, kodo ar konfigūracijos versiją, duomenų laikotarpį, sąnaudų prielaidas ir kiekvieno bandymo rezultatą.
Ar galima koreguoti dėl daugybinio testavimo?
Yra metodų, kuriais galima įvertinti atrankos šališkumą arba koreguoti reikšmingumą atsižvelgiant į daugybę bandymų. Jie gali būti naudingi, tačiau remiasi prielaidomis apie kandidatų tarpusavio ryšį ir grąžos elgseną. Nominali p reikšmė ar vienas defliuoto Sharpe įvertis neišgelbės paieškos, kurios tikrąją istoriją praradote.
Pradėkite nuo to, ką galite kontroliuoti. Prieš vertindami iš tiesų neliestą laikotarpį, užfiksuokite galutinę specifikaciją. Išsaugokite visą matomą kandidatų aibę. Bandydami daug susijusių variantų, grupuokite juos pagal sprendimą, iš kurio jie atsirado, užuot apsimetę, kad kiekvienas buvo nepriklausomas atradimas. Kartu su laimėtoju pateikite ir paieškos informaciją: bandymų skaičių, atrankos taisyklę ir tai, ar galutinis vertinimas paskatino tolesnius pakeitimus.
Praktiškas testas: Jei kontrolinio laikotarpio rezultatas nuvils, ar pakeisite strategiją ir tą patį laikotarpį vėl pavadinsite kontroliniu? Jei taip, šis laikotarpis jau tapo tyrimo dalimi. Kitam vertinimui reikės naujų įrodymų.
Ką tyrimų žurnale turėtų fiksuoti AI agentas?
Agentas gali generuoti kandidatus greičiau, nei žmogus spėja juos išlaikyti darbinėje atmintyje. Todėl bandymų apskaita yra tyrimų sistemos dalis, o ne ataskaitų rengimo formalumas. Prieš paleisdami išsaugokite kiekvieną kandidatą, nurodydami jo pirminį eksperimentą ir atsiradimo priežastį. Išsaugokite nepavykusius ir atmestus bandymus. Užfiksuokite, kada žmogus ar agentas peržiūrėjo našumo rezultatus ir koks sprendimas buvo priimtas po to.
Tada užtikrinkite, kad atrankos procesą būtų galima pakartoti: gavus tą pačią kandidatų aibę ir taisyklę, turi būti pasirinktas tas pats laimėtojas. Jei agentas, pamatęs rezultatus, vis keičia užklausą, tikslą ar apribojimus, šie pakeitimai taip pat yra paieškos dalis.
2.1 Sharpe rodiklį verta patyrinėti. Jo reikšmė priklauso nuo kelio, kuriuo jis gautas. Kai tyrimų žurnale matyti, kad dėl pagrindinio rezultato varžėsi 240 kandidatų, galite užduoti tinkamą kitą klausimą: kokių įrodymų dar turime, kurių šie pasirinkimai jau neišnaudojo?
← Visi įrašai
