Strategijos agentas gali užteršti testavimo imtį nė vienos testavimo eilutės nepateikęs mokymo užduočiai. Jei agentas pamato testo įvertį, pakeičia parametrą ir paleidžia dar kartą, tas įvertis jau turėjo įtakos strategijai. Kode šis laikotarpis gali būti vadinamas „ne imties“ laikotarpiu. Tačiau tyrimo procese jis tapo paieškos dalimi.
Esu matęs, kaip taip nutinka iš patogumo: agentas paleidžia paketą, perskaito suvestinę lentelę ir pasiūlo nedidelį patobulinimą. Niekas neprašė jo pritaikyti strategijos pagal atidėtą imtį. Vis dėlto tai padarė grįžtamasis ryšys.
1 klaida: leisti agentui žvilgtelėti po kiekvieno paleidimo
Žalą dažniausiai išduoda tvarkingais mažais žingsniais kylantis testo Sharpe rodiklis. Agentas išbando 30 variantų, pasilieka geriausią, tada išbando 30 variantų aplink jį. Kiekvienas atskiras pakeitimas atrodo pagrįstas. Kartu jie paverčia testavimo laikotarpį optimizavimo taikiniu.
Štai paprastas pavyzdys. Tarkime, strategija neturi tikro pranašumo, o atidėtoje imtyje išbandote 100 nepriklausomų variantų. Pasirinkus didžiausią Sharpe rodiklį, visiškai įmanoma atsitiktinai gauti palankiai atrodantį rezultatą. Daugumoje strategijų paieškų variantai iš tiesų nebus nepriklausomi, tačiau tai proceso neišgelbėja: nuolatinis grįžtamasis ryšys vis tiek palankus nustatymams, kurie atsitiktinai pritaikyti atidėtos imties ypatumams.
Apsaugokite atidėtą imtį rezultatų prieigos riba. Agentas gali kurti strategiją pagal mokymo ir validavimo laikotarpius, tačiau negali gauti atidėtos imties metrikų ar grafikų. Galutinį įvertinimą vykdykite atskiroje užduotyje, 1 kartą, kai tyrimo sprendimai jau užfiksuoti, o kartu su rezultatu išsaugokite strategijos versiją ir duomenų momentinę kopiją.
2 klaida: kiekvieną vėlesnį laikotarpį vadinti „nauju“
Laikotarpis netampa naujas vien todėl, kad eina po mokymo intervalo. Jei agentas matė to laikotarpio įvertį arba žmogus pagal jo nuosmukį pasirinko kitą požymį, tas laikotarpis jau tapo grįžtamojo ryšio ciklo dalimi.
| Laikotarpis | Leistinas naudojimas | Kas pakeičia jo statusą |
|---|---|---|
| Mokymo | Taisyklių ir parametrų pritaikymas | Niekas; šio laikotarpio duomenyse ir turi būti ieškoma |
| Validavimo | Kandidatų palyginimas ir sprendimų dėl tyrimo priėmimas | Pakartotinis naudojimas didina persimokymo tikimybę |
| Galutinė atidėta imtis | 1 užfiksuoto kandidato įvertinimas | Rezultato peržiūra ir kandidato pakeitimas |
| Būsimas prekybos realiomis sąlygomis laikotarpis | Perspektyviai stebėti įgyvendinimo elgseną | Rezultatų naudojimas derinimui pradeda naują tyrimų ciklą |
Slankusis walk-forward vertinimas gali padėti įvertinti, kaip nekintantis tyrimų procesas veikia laikui bėgant. Tačiau tai nesuteikia teisės neribotai žvilgčioti į kiekvieną atkarpą. Jei agentas mato atkarpų rezultatus ir pagal juos pritaiko paiešką, šios atkarpos taip pat tampa grįžtamuoju ryšiu. Galutiniam sprendimui, kurį iš tiesų norite priimti, išsaugokite 1 nepaliestą galutinį laikotarpį.
3 klaida: užfiksuoti kodą, bet keisti klausimą
Kartais strategijos kodas lieka toks pat, bet tyrėjas, pamatęs rezultatą, pakeičia vertinimą: pasirenka kitą lyginamąjį indeksą, pašalina prastą mėnesį, pateikia kitokią rinkų aibę arba išskiria geriausiai atrodančią metriką. Testavimo imtis nulėmė pasakojimą, net jei parametras nepasikeitė.
Žalą rodo nugludinta ataskaita su viena aiškia pagrindine išvada ir be įrašo apie kitus išbandytus pjūvius. Akcijų strategija gali atrodyti silpna lyginant su plačiu rinkos indeksu, bet stipri lyginant su grynaisiais; kriptovaliutų strategija gali puikiai atrodyti vienoje prekybos platformoje, kai jau peržiūrėtos kelios. Tokie palyginimai gali būti naudingi, tačiau pasirinkimas tarp jų pamačius atidėtos imties rezultatus yra dar vienas atrankos žingsnis.
Veskite tyrimų žurnalą. Kiekvienam paleidimui išsaugokite hipotezę, kodo versiją, duomenų momentinę kopiją, parametrų paiešką, vertinimo intervalus, prašytas metrikas ir tai, ar rezultatą matė agentas arba tyrėjas. Glaustas žurnalas naudingesnis už skambiai skambančią žymą „ne imties“ laikotarpis.
Prieš vertinimą aiškiai suformuluokite galutinį klausimą: kuris kandidatas, kuri rinkų aibė, kuris lyginamasis indeksas, kokios sąnaudos ir kurios metrikos? Jei atsakymas pasikeičia gavus rezultatą, kitą paleidimą laikykite tyrimu, o naujus duomenis pasilikite kitam galutiniam patikrinimui.
Ko dar galiu išmokti iš užterštos atidėtos imties?
Ji nėra bevertė. Ji gali parodyti, kaip strategija veikė tuo laikotarpiu, ir padėti diagnozuoti nesėkmę. Tiesiog nebepristatykite jos įverčio kaip nepriklausomo patvirtinimo. Naudokite ją kaip kūrimo įrodymą, užfiksuokite kitą kandidatą ir įvertinkite jį iš tiesų būsimu prekybos realiomis sąlygomis laikotarpiu, taikydami tas pačias apskaitos ir vykdymo prielaidas.
Agentų valdomame darbo procese lengva pamesti eksperimentų skaičių: vienas raginimas gali sukurti dešimtis paleidimų, kol kas nors tai pastebės. Apsauga yra procedūrinė. Apribokite tai, ką agentas gali peržiūrėti, registruokite kiekvieną eksperimentą ir palikite 1 vertinimą, kurio rezultatas negali nulemti vertinamo kandidato.
← Visi įrašai
