Tūkstantis strategijos variantų. Nugalėtojo išmatuotas Sharpe rodiklis – 2.0. Klaidingai teigiamo rezultato tikimybė – 5%. Šie skaičiai skamba įspūdingai, kol nepaklausiate, kiek bandymų prireikė rezultatui rasti. Pakankamai daug bandant, įtikinamas atgalinio testavimo rezultatas gali atsirasti vien iš triukšmo.
Netikėtas skaičius yra ne Sharpe rodiklis. Tai bandymų skaičius. Kiekvienas indikatoriaus langas, įėjimo slenkstis, instrumentų visumos pasirinkimas ir atmesta idėja suteikia dar vieną galimybę atrinkti atsitiktinai pasisekusį rezultatą. Jei tyrimo procese šie bandymai pamirštami, į juos neatsižvelgiama ir skaičiuojant pasitikėjimą rezultatu.
Kodėl išbandžius daugiau strategijų nugalėtojas atrodo geresnis?
Įsivaizduokite, kad išbandote 1,000 strategijų, kurios neturi tikro pranašumo. Kiekviena iš jų turi 5% tikimybę įprastu testu pasirodyti statistiškai reikšminga. Tikruose tyrimuose šie bandymai nėra visiškai nepriklausomi, bet pagrindinė mintis išlieka: kuo daugiau kandidatų vertinate, tuo didesnė tikimybė, kad vienas iš jų atsitiktinai atrodys išskirtinis.
Net jei visi kandidatai būtų nepriklausomi, tikimybė, kad bent vienas peržengs 5% slenkstį, siektų apie 99.4%. Praktikoje artimos parametrų reikšmės dažnai duoda panašius rezultatus, tad 1,000 variantų nereiškia 1,000 nepriklausomų monetos metimų. Tačiau efektyvus bandymų skaičius retai būna lygus 1.
Štai dažni spąstai, kuriuos pastebiu užrašinėse: tyrėjas išbando slankiuosius langus nuo 5 iki 100, nubraižo Sharpe rodiklio paviršių ir paskui pateikia tvarkingai atrodantį piką. Paviršius naudingas jautrumui suprasti. Tačiau pikas taip pat yra paieškos rezultatas, todėl jam reikėtų skirti mažiau pasitikėjimo nei slenksčiui, pasirinktam prieš eksperimentą.
Kas laikoma tyrimo bandymu?
Skaičiuokite sprendimus, kuriems turėjo įtakos stebėti rezultatai. Bandymas gali būti užkoduotas atgalinis testavimas, bet taip pat ir rankinis pakeitimas, atliktas pamačius kapitalo kreivę. Jei padidinote nuostolio ribojimo pavedimo atstumą, nes ankstesnis nustatymas neleido pasinaudoti raliu, keisdami jį pasinaudojote testavimo laikotarpio informacija.
| Tyrimo veiksmas | Ar paprastai laikomas bandymu? | Kodėl |
|---|---|---|
| Kito signalo slenksčio testavimas | Taip | Rezultatas padeda pasirinkti kandidatą |
| Datos intervalo keitimas pamačius nuosmukį | Taip | Imtis parinkta atsižvelgiant į rezultatus |
| Dokumentuotos duomenų klaidos taisymas | Paprastai ne | Pakeitimu atkuriamas numatytas eksperimentas |
| Tos pačios užfiksuotos strategijos vykdymas nauju kontroliniu laikotarpiu | Kol kas naujo atrankos bandymo nėra | Jis atsiranda, jei pagal šį rezultatą koreguojate strategiją |
Riba priklauso nuo situacijos. Rašybos klaidos taisymas skiriasi nuo požymio keitimo pastebėjus, kur strategija patyrė nesėkmę. Pildykite trumpą bandymų žurnalą: užrašykite hipotezę, pakeitimą, duomenų laikotarpį ir rezultatą. Jis nebūtinai turi būti išbaigtas – datuotas CSV failas geriau nei bandymas po 3 mėnesių atkurti paieškos eigą iš atminties.
Ar galiu pakoreguoti Sharpe rodiklį atsižvelgdamas į daugkartinį testavimą?
Tokie metodai kaip Deflated Sharpe Ratio įvertina, kiek tariamo našumo galėjo atsirasti dėl atrankos iš daugelio kandidatų, atsižvelgdami į tokius veiksnius kaip grąžos pasiskirstymas ir bandymų priklausomumas. Tai naudinga diagnostika, o ne mašina, kuri netvarkingą tyrimo procesą paverčia tikrumu. Rezultatai priklauso nuo prielaidų ir nuo to, ar jūsų nurodytas bandymų skaičius patikimas.
Apytikriam vaizdui susidaryti tarkime, kad tyrėjas išbandė 400 variantų, gavo 1.8 Sharpe rodiklį ir nustatė, jog grąžos yra smarkiai asimetriškos bei pasižymi storomis uodegomis. Tokiam rezultatui reikėtų taikyti griežtesnį kriterijų nei 1.8 Sharpe rodikliui, gautam per vieną iš anksto užregistruotą testą. Korekcija gali gerokai susilpninti įrodymus, tačiau ji negali pasakyti, kad pranašumas tikras.
Užfiksuokite paiešką dar prieš prireikiant ją pagrįsti: kandidatų skaičių, parametrų intervalus, peržiūrėtus duomenų laikotarpius ir visus rankinius pakeitimus. Jei šios informacijos nėra, įvardykite atgalinį testavimą kaip tiriamąjį.
Kas turėtų įvykti prieš pradedant prekybą su virtualiais pinigais?
Užfiksuokite vieną kandidatą ir apibrėžkite kitą vertinimą dar prieš jį atlikdami. Naudinga seka: pasirinkti strategiją pagal mokymo duomenis, įvertinti ją validavimo duomenimis, tada palikti galutinį laikotarpį arba prekybos su virtualiais pinigais langą, kurio rezultatai nebus grąžinami į kūrimo procesą. Kiekvienas etapas atsako į skirtingą klausimą; jei galutiniame etape strategiją nuolat koreguosite, šis etapas taps dar vienais mokymo duomenimis.
Taip pat patikrinkite, ar panašūs nustatymai pasakoja tą pačią istoriją. Plati, nuosaikiai teigiamų rezultatų sritis paprastai patikimesnė už vieną smailų piką, nors atsparumas neišgelbės netinkamo vykdymo modelio. Mokesčiai, finansavimas, rinkos poveikis ir galimybė prekiauti konkrečiais instrumentais vis dar turi atitikti sąlygas, su kuriomis strategija būtų susidūrusi.
Prekyba su virtualiais pinigais suteikia papildomų įrodymų apie veiklos atitiktį: laiką, pavedimų tvarkymą ir tai, ar tiesioginis tyrimų procesas veikia taip, kaip tikėtasi. Ji nepanaikina jau įvykusios atrankos. Kai pateikiamas pirmasis bandomasis pavedimas, tūkstantis atsitiktinai pasisekusių atgalinių testavimų ir toliau lieka tūkstantis bandymų.
Taigi, kai atgalinio testavimo ataskaitoje nurodomas 2 Sharpe rodiklis, šalia kapitalo kreivės paprašykite pateikti ir tyrimų istoriją. Kiek idėjų buvo išbandyta? Kurie rezultatai pakeitė kitą eksperimentą? Atsakymas gali būti svarbiausia ataskaitos statistika.
← Visi įrašai
