Tūkstoš stratēģiju variantu. Uzvarētāja aprēķinātais Sharpe rādītājs ir 2.0. Viltus pozitīvu rezultātu īpatsvars — 5%. Šie skaitļi izklausās pēc spēcīga rezultāta, līdz pajautājat, cik mēģinājumu vajadzēja, lai to atrastu. Pietiekami daudz mēģinājumu, un pārliecinošs atpakaļtests var rasties tikai no nejaušības.
Pārsteidzošais skaitlis nav Sharpe rādītājs. Tas ir mēģinājumu skaits. Katrs indikatora periods, ieejas slieksnis, aktīvu kopas izvēle un atmestā ideja dod vēl vienu iespēju atlasīt laimīgu rezultātu. Ja izpētes procesā šos mēģinājumus neuzskaitāt, arī jūsu pārliecības aprēķins tos neņem vērā.
Kāpēc, izmēģinot vairāk stratēģiju, uzvarētāja rezultāts izskatās labāks?
Iedomājieties, ka pārbaudāt 1,000 stratēģiju, kurām nav reālas priekšrocības. Katrai ir 5% iespēja, ka parastā testā tā izskatīsies statistiski nozīmīga. Reālā izpētē šie mēģinājumi nav pilnīgi neatkarīgi, tomēr pamatideja nemainās: jo vairāk kandidātu pārbaudāt, jo lielāka iespēja, ka kāds nejauši izskatīsies izcils.
Pat ja visi kandidāti būtu neatkarīgi, varbūtība, ka vismaz viens pārsniegs 5% slieksni, ir aptuveni 99.4%. Praksē tuvi parametru iestatījumi bieži uzvedas līdzīgi, tāpēc 1,000 varianti nav 1,000 neatkarīgi monētas metieni. Taču arī efektīvais mēģinājumu skaits reti kad ir tikai viens.
Esmu piezīmju grāmatiņās redzējis šādu slazdu: pētnieks pārbauda atskata periodus no 5 līdz 100, attēlo Sharpe virsmu un pēc tam ziņo par glīti izskatīgo maksimumu. Virsma palīdz saprast jutīgumu. Taču maksimums ir arī meklēšanas rezultāts, un tam pienākas mazāka uzticamība nekā slieksnim, kas noteikts pirms eksperimenta.
Kas skaitās izpētes mēģinājums?
Uzskaitiet lēmumus, kurus ietekmējuši novērotie rezultāti. Mēģinājums var būt kodēts atpakaļtests, bet arī manuālas izmaiņas pēc kapitāla līknes apskatīšanas. Ja paplašinājāt stopa intervālu, jo iepriekšējais iestatījums lika palaist garām kāpumu, šajā izmaiņā izmantojāt informāciju no testa perioda.
| Izpētes darbība | Vai parasti skaitās mēģinājums? | Kāpēc |
|---|---|---|
| Cita signāla sliekšņa pārbaude | Jā | Rezultāts palīdz atlasīt kandidātu |
| Datumu diapazona maiņa pēc krituma novērošanas | Jā | Izlase izvēlēta, reaģējot uz rezultātiem |
| Dokumentētas datu kļūdas labošana | Parasti nē | Izmaiņa atjauno iecerēto eksperimentu |
| Tās pašas fiksētās stratēģijas palaišana jaunā kontrolperiodā | Pagaidām nav jauna atlases mēģinājuma | Tas kļūst par tādu, ja pielāgojat stratēģiju šim rezultātam |
Robežgadījumos jāizvērtē situācija. Drukas kļūdas labošana atšķiras no funkcijas maiņas pēc tam, kad pamanījāt, kur tā nedarbojās. Uzturiet īsu mēģinājumu žurnālu, fiksējot hipotēzi, izmaiņu, datu periodu un rezultātu. Tam nav jābūt izsmalcinātam: datēts CSV fails ir labāks par mēģinājumu pēc 3 mēnešiem rekonstruēt meklēšanas gaitu no atmiņas.
Vai varu koriģēt Sharpe rādītāju par daudzkārtēju testēšanu?
Tādas metodes kā Deflated Sharpe Ratio novērtē, cik liela šķietamā peļņa varētu rasties, atlasot vienu no daudziem kandidātiem, ņemot vērā tādus faktorus kā ienesīguma sadalījums un mēģinājumu savstarpējā atkarība. Tie ir noderīgi diagnostikas rīki, nevis mašīna, kas nekārtīgu izpētes procesu pārvērš pārliecībā. Rezultāts ir atkarīgs no pieņēmumiem un no tā, vai jūsu norādītais mēģinājumu skaits ir ticams.
Aptuvenam priekšstatam pieņemsim, ka pētnieks pārbaudīja 400 variantus, ieguva Sharpe rādītāju 1.8 un lēš, ka ienesīgumam ir būtiska asimetrija un smagas astes. Šādam rezultātam jāpārvar augstāks slieksnis nekā Sharpe rādītājam 1.8, kas iegūts vienā iepriekš reģistrētā testā. Korekcija var ievērojami vājināt pierādījumus, taču tā nevar pateikt, ka priekšrocība ir reāla.
Fiksējiet meklēšanas gaitu, pirms rodas vajadzība to pamatot: kandidātu skaitu, parametru diapazonus, aplūkotos datu periodus un visas manuālās izmaiņas. Ja šī informācija nav zināma, raksturojiet atpakaļtestu kā izpētes testu.
Kas jādara pirms papīra tirdzniecības?
Fiksējiet vienu kandidātu un nosakiet nākamo novērtējumu, pirms to veicat. Noderīga secība ir izvēlēties stratēģiju, izmantojot apmācības datus, pārbaudīt to validācijas datos un pēc tam rezervēt galīgo periodu vai papīra tirdzniecības intervālu, kura rezultāti neietekmē izstrādi. Katrs posms atbild uz citu jautājumu; atkārtoti pielāgojot stratēģiju galīgajā posmā, šie dati kļūst par papildu apmācības datiem.
Pārbaudiet arī, vai līdzīgi iestatījumi sniedz tādu pašu kopainu. Plaša zona ar mēreni pozitīviem rezultātiem parasti ir ticamāka nekā viens ass maksimums, taču robustums neglābj kļūdainu izpildes modeli. Komisijām, finansējumam, tirgus ietekmei un instrumentu pieejamībai joprojām jāatbilst apstākļiem, ar kuriem stratēģija būtu saskārusies.
Papīra tirdzniecība sniedz papildu pierādījumus par darbības atbilstību: laika noteikšanu, orderu apstrādi un to, vai reāllaika izpētes plūsma darbojas, kā paredzēts. Tā nevar izdzēst jau notikušo atlasi. Tūkstoš laimīgu atpakaļtestu joprojām ir tūkstoš mēģinājumu arī tad, kad tiek iesniegts pirmais papīra orderis.
Tāpēc, kad atpakaļtests uzrāda Sharpe rādītāju 2, blakus kapitāla līknei aplūkojiet arī izpētes vēsturi. Cik ideju tika izmēģināts? Kuri rezultāti mainīja nākamo eksperimentu? Atbilde var būt vissvarīgākais rādītājs pārskatā.
← Visi raksti
