Tuhat strateegiavarianti. Võitja mõõdetud Sharpe’i suhtarv 2.0. Valepositiivsete määr 5%. Need arvud kõlavad tugeva tulemusena, kuni küsid, kui palju katseid selle leidmiseks tehti. Piisava arvu katsetega võib veenev tagasittest tekkida ka pelgalt mürast.
Üllatav number pole Sharpe’i suhtarv. See on katsete arv. Iga indikaatori periood, sisenemislävi, instrumentide valik ja kõrvale jäetud idee annab veel ühe võimaluse õnnelik tulemus välja valida. Kui su uurimisprotsess need katsed unustab, teeb seda ka su kindlustunde arvutus.
Miks muudab rohkemate strateegiate katsetamine võitja näiliselt paremaks?
Kujutle, et testid 1,000 strateegiat, millel pole tegelikku eelist. Igal neist on tavapärase testi järgi 5% tõenäosus näida statistiliselt olulisena. Päris uuringutes pole need katsed täiesti sõltumatud, kuid põhiidee kehtib: mida rohkem kandidaate uurid, seda tõenäolisemalt paistab üks neist juhuse tõttu erakordne.
Isegi kui kõik kandidaadid oleksid sõltumatud, on tõenäosus, et vähemalt üks ületab selle 5% lävendi, umbes 99.4%. Praktikas käituvad lähestikku asuvad parameetriseaded sageli sarnaselt, seega pole 1,000 varianti 1,000 sõltumatut mündiviset. Kuid tegelik katsete arv on harva ka ainult üks.
Olen märkmikes kohanud üht väikest lõksu: uurija testib tagasivaatamisperioode vahemikus 5 kuni 100, joonistab Sharpe’i pinna ja raporteerib siis puhtana näiva tipu. Pind aitab tundlikkust mõista. Tipp on aga samuti otsinguprotsessi tulemus ja väärib vähem usaldust kui enne katset valitud lävend.
Mida loetakse uuringukatseks?
Loenda otsuseid, mida mõjutasid vaadeldud tulemused. Katse võib olla kooditud tagasittest, aga ka käsitsi tehtud muudatus pärast omakapitalikõvera nägemist. Kui laiendasid stoppi, sest vana seade jättis tõusuralli tabamata, kasutas see muudatus testiperioodi teavet.
| Uuringutegevus | Kas loetakse tavaliselt katseks? | Põhjus |
|---|---|---|
| Veel ühe signaalilävendi testimine | Jah | Tulemus aitab kandidaati valida |
| Kuupäevavahemiku muutmine pärast languse nägemist | Jah | Valim valiti tulemuse põhjal |
| Dokumenteeritud andmevea parandamine | Tavaliselt ei | Muudatus taastab kavandatud katse |
| Sama külmutatud strateegia käivitamine uuel hoideperioodil | Pole veel uus valikukatse | Sellest saab katse, kui häälestad strateegiat tulemuse põhjal |
Piiride tõmbamisel tuleb kasutada kaalutlusvõimet. Kirjavea parandamine erineb funktsiooni muutmisest pärast ebaõnnestumise koha märkamist. Pea lühikest katsete logi, kuhu märgid hüpoteesi, muudatuse, andmeperioodi ja tulemuse. See ei pea olema viimistletud; kuupäevadega CSV on parem kui kolm kuud hiljem oma otsingut mälu järgi taastada.
Kas saan Sharpe’i suhtarvu mitmikhüpoteeside testimise suhtes korrigeerida?
Meetodid nagu Deflated Sharpe Ratio hindavad, kui palju näilisest tootlusest võib tuleneda paljude kandidaatide seast valimisest, võttes arvesse ka selliseid tegureid nagu tootluste jaotus ja katsete sõltuvus. Need on kasulikud diagnostikavahendid, mitte masin, mis muudab segase uurimisprotsessi kindluseks. Tulemused sõltuvad eeldustest ja sellest, kas katsete arv on usutav.
Näiteks oletame, et uurija testis 400 varianti, leidis Sharpe’i suhtarvu 1.8 ning hindab, et tootlused on tugevalt viltuse ja paksude sabadega jaotusega. Selle tulemuse suhtes tuleks rakendada rangemat lävendit kui Sharpe’i suhtarvu 1.8 puhul, mis saadi ühest eelregistreeritud testist. Korrigeerimine võib tõendeid märkimisväärselt nõrgendada, kuid ei saa kinnitada, et eelis on päriselt olemas.
Pane otsing kirja enne, kui pead seda kaitsma: kandidaatide arv, parameetrivahemikud, vaadeldud andmeperioodid ja kõik käsitsi tehtud muudatused. Kui need üksikasjad pole teada, kirjelda tagasittestimist uurimuslikuna.
Mida tuleks teha enne paberkaubandust?
Külmuta üks kandidaat ja määra järgmine hindamine enne selle käivitamist. Kasulik järjestus on valida strateegia treeningandmete põhjal, kontrollida seda valideerimisandmetel ning seejärel jätta lõplik periood või paberkaubanduse aken, mille tulemused ei mõjuta enam kavandamist. Iga etapp vastab eri küsimusele; strateegia korduv kohandamine viimase etapi järgi muudab selle taas treeningandmeteks.
Vaata ka, kas lähestikku asuvad seaded annavad sama pildi. Lai mõõdukalt positiivsete tulemuste piirkond on tavaliselt usaldusväärsem kui üks terav tipp, kuigi robustsus ei päästa vigast täitmismudelit. Tasud, rahastusmaksed, turumõju ja instrumendi saadavus peavad endiselt vastama tingimustele, millega strateegia oleks tegelikult kokku puutunud.
Paberkaubandus annab tõendeid operatiivse kooskõla kohta: ajastus, korralduste käsitlemine ja see, kas reaalaja uuringutorustik töötab ootuspäraselt. See ei kustuta juba toimunud valikuid. Tuhat õnnelikku tagasittestimist jäävad tuhandeks katseks ka siis, kui esimene paberkorraldus välja saadetakse.
Seega, kui tagasittest annab Sharpe’i suhtarvuks 2, küsi tootluskõvera kõrval ka uuringute ajalugu. Kui palju ideid prooviti? Millised tulemused muutsid järgmist katset? Vastus võib olla raporti kõige olulisem statistika.
← Kõik postitused
