Įtraukus daugiau rinkų į strategijos paiešką, geriausias „backtest“ gali atrodyti stipresnis, nors įrodymai tampa silpnesni. Didesnis Sharpe po simbolių pridėjimo dažnai laikomas diversifikacija; tačiau jei tarp šių simbolių ieškojote geriausios strategijos, kartu padidinote ir galimybių pasisekti atsitiktinai.
Šis skirtumas svarbus tiek tada, kai agentas pasiūlo šimtus signalų, tiek tada, kai tyrėjas rankiniu būdu išbando keletą variantų. Paieškos erdvę sudaro kiekviena rinka, laikotarpis, požymis ir parametrų derinys, kurio rezultatas turėjo įtakos galutiniam pasirinkimui. Teiginys „įdiegėme tik vieną strategiją“ neatskleidžia, kiek kandidatų buvo atrinkta.
Kodėl didesnis rinkų universumas gali išpūsti geriausią Sharpe?
Įsivaizduokite, kad tą patį strategijos šabloną išbandote 40 nesusijusių rinkų. Tarkime, paprastumo dėlei, kad tikrasis kiekvienos rinkos Sharpe lygus nuliui, o kiekvieno įvertinto Sharpe standartinė paklaida yra 0.5. Įverčiai svyruoja aplink nulį. Tačiau pasirinkus didžiausią įvertį, jis paprastai bus teigiamas vien todėl, kad pasirinkote maksimumą.
Pagal apytikslę normaliojo skirstinio prielaidą, didžiausias iš 40 nepriklausomų triukšmingų įverčių turėtų būti maždaug 1.3 standartinės paklaidos virš nulio: šiame pavyzdyje tai būtų apie 0.65 Sharpe. Tikslus skaičius priklauso nuo priklausomybės, imties trukmės ir grąžos skirstinio. Esmė ta, kad atranka sukuria pernelyg optimistinį vertinimą net tada, kai nė viena strategija neturi pranašumo.
Veskite paieškos žurnalą. Užfiksuokite kiekvieną peržiūrėtą rinką ir kandidatą, įskaitant nesėkmingus bandymus ir atmestus variantus. Galutinės strategijos bandymų skaičių lemia tai, kas turėjo įtakos pasirinkimui, o ne tai, kiek failų liko po tvarkymo.
Rinkos nėra nepriklausomi monetos metimai. BTC ir ETH dažnai juda kartu; du akcijų indeksai gali turėti didžiąją dalį rizikos bendrai. Tai sumažina efektyvų nepriklausomų bandymų skaičių, bet problemos nepanaikina. Be to, koreliuojančios rinkos vis tiek gali skirtis mokesčiais, finansavimo mokėjimais, likvidumu ir valandomis, kuriomis signalas veikia.
Ar daugiau rinkų testavimas laikomas daugkartiniu testavimu?
Taip, jei rezultatus naudojate sprendimui, ką palikti. Jei pradinė hipotezė buvo „ši taisyklė atspindi finansavimo poveikį pagrindinėse neterminuotose sutartyse“, rinkų peržiūra yra šios hipotezės testavimo dalis. Jei išbandote 50 rinkų, randate geriausią, o tada suformuluojate hipotezę pagal jo elgseną, universumo atranka tampa optimizavimo dalimi.
Svarbu atskirti iš anksto pasirinktą aprėptį nuo aprėpties, pasirinktos jau pamačius rezultatus. Fiksuotas krepšelis gali parodyti, ar idėja patikimai veikia apibrėžtoje srityje. Krepšelis, plečiamas tol, kol vieno simbolio nuosavo kapitalo kreivė atrodo įspūdingai, yra paieškos procedūra. Abu tyrimo būdai gali būti pagrįsti, bet jie atsako į skirtingus klausimus.
| Tyrimo pasirinkimas | Ką jis gali pagrįsti | Ko vienas pats negali įrodyti |
|---|---|---|
| Iš anksto nustatytas krepšelis, vienodas vertinimas | Ar taisyklė veikia pasirinktose rinkose | Kad krepšelis apima visas prekiaujamas rinkas |
| Po testų pasirinkta geriausiai veikusi rinka | Kuri iš testuotų rinkų istoriškai pasiekė geriausią rezultatą | Kad pasirinktas Sharpe yra nešališkas įvertis |
| Rinkos, atidėtos į šalį prieš paiešką | Ar užfiksuota taisyklė persikelia į netestuotas rinkas | Kad būsimos sąlygos atitiks atidėto rinkinio sąlygas |
Kaip patikrinti, ar pranašumas persikelia į naujas rinkas?
Prieš atverdami atidėtą rinkinį, užfiksuokite tyrimo pasirinkimus. Tai reiškia signalo apibrėžimą, parametrus, universumo taisykles, perbalansavimo grafiką ir vykdymo prielaidas. Tada įvertinkite nepakeistą strategiją rinkose, kurios neturėjo įtakos šiems pasirinkimams.
Pavyzdžiui, tarkime, kad kriptovaliutų momentum taisyklę kuriate pagal BTC ir ETH neterminuotų sutarčių duomenis iki 2023 m. Galite iš anksto rezervuoti kitas likvidžias neterminuotas sutartis pagal taisyklę, kurioje naudojama tik iki testavimo laikotarpio prieinama informacija, ir neįtraukti jų į visus derinimo etapus. Taikykite užfiksuotą taisyklę šioms sutartims 2024 ir 2025 m. Įtraukite kiekvienos platformos faktinį mokesčių lygį, finansavimo mokėjimus, sutarčių specifikacijas ir pagrįstą poveikio prielaidą; perkėlimo testas be konkrečiai rinkai būdingų prekybos sąnaudų gali palaikyti sąnaudų skirtumą signalo nesėkme arba ją paslėpti.
Pateikite rezultatų pasiskirstymą atidėtose rinkose, o ne vien bendrą Sharpe. Bendras portfelio rodiklis gali slėpti, kad beveik visą grąžą sugeneravo viena rinka. Parodykite kiekvienos rinkos grynąjį rezultatą, sandorių skaičių, nuosmukį ir didžiausios rinkos indėlį į bendrą P&L. Jei taisyklė veikia tik vienoje sutartyje, taip ir įvardykite: tai konkrečiai sutarčiai būdingas rezultatas.
Sąžiningai padalykite ir laikotarpius. Rinka gali būti neliesta, bet jos duomenų laikotarpis gali sutapti su tuo pačiu režimu, kuris lėmė kūrimo etapo rezultatus. Kryžminės rinkų atrankos testas klausia, ar taisyklė persikelia į kitas priemones; vėlesnio laikotarpio testas klausia, ar ji veikia ir kitu metu. Tai atskiri testai, o geras vieno testo rezultatas nepakeičia kito.
O jeigu strategija iš tiesų turėtų naudoti daugiau rinkų?
Tuomet įtraukite jas, bet apibrėžkite, kaip. Portfelio taisyklė, pagal fiksuotą signalą prekiaujanti visose tinkamose rinkose, skiriasi nuo varžybų, kuriose laimi geriausią istorinį rezultatą parodžiusi rinka. Tinkamumą reikia nustatyti nežiūrint į būsimus rezultatus, pavyzdžiui, pagal konkrečiu laiko momentu galiojantį likvidumo slenkstį ir minimalią istorijos trukmę. Narystės pokyčius taip pat reikia žymėti laiko žymomis, nes dabartinis „likvidžių rinkų“ sąrašas gali į seną „backtest“ nepastebimai įtraukti šiandien išlikusias rinkas.
Kritikai teisūs: siauras universumas gali lemti trapios strategijos sukūrimą, o platus testavimas yra vertingas patikimumo patikrinimas. Sprendimas nėra vengti rinkų testavimo. Reikia atskirti rinkas, naudotas idėjai atrasti, nuo rinkų, naudotų užfiksuotai idėjai patikrinti, ir atradimo darbą įtraukti į įrodymų vertinimą.
Didesnis universumas gali padėti strategijai veikti ir už laboratorijos ribų. Tačiau jis taip pat gali padėti sėkmingai atsitiktinai pasirodžiusiam „backtest“ laimėti laboratorinę atranką. Paieškos žurnalas ir atidėtas rinkinys parodo, kurį pasakojimą pagrindžia jūsų Sharpe.
← Visi įrašai
