AI strategijos agentas gali pateikti galiojantį atgalinį testą, nors naudoja informaciją, kurios dar nebuvo tuo metu, kai turėjo įvykti sandoriai. Kodas veikia. Nuosavo kapitalo kreivė atrodo tikėtina. Signalas gali būti net pagrįstas. Tačiau laiko žyma, duomenų sujungimas ar pataisytas duomenų laukas tyliai suteikė jam atsakymą iš ateities.
Sprendimas – įtraukti duomenų prieinamumo laiką į tyrimo sąlygas. Apie kiekvieną įvestį turi būti aiškūs atsakymai į 2 klausimus: kokį laikotarpį ši reikšmė apibūdina ir kada strategija galėjo ją sužinoti anksčiausiai?
Kaip atrodo žvilgsnio į ateitį šališkumas AI sugeneruotoje strategijoje?
Akivaizdus atvejis – signalas apskaičiuojamas pagal tos pačios žvakės uždarymo kainą, o tada pavedimas įvykdomas už tą pačią kainą. Jei sprendimui strategijai reikia uždarymo kainos, ji negali tuo pat metu prekiauti už tą kainą. Tačiau sujungdami duomenų šaltinius ar pasirinkdami patogias numatytąsias reikšmes agentai dažnai sukuria subtilesnių tokio šališkumo atvejų.
Tarkime, modelis kiekvienos minutės pabaigoje apskaičiuoja 20 žvakių slankųjį vidurkį ir atidaro poziciją, kai uždarymo kaina jį kerta. Jei atgaliniame teste pavedimas įvykdomas už tą pačią uždarymo kainą, strategija pasinaudojo paskutiniu žvakės sandoriu dar prieš tai, kai tas sandoris tapo jai žinomas. Perkėlus pavedimą į kitos žvakės atidarymo kainą, galima gauti pagrįstą aproksimaciją, tačiau rinkos pavedimui vis tiek reikia įskaičiuoti mokesčius ir kainos poveikį.
Dabar įsivaizduokime, kad požymis yra dienos akcijų fundamentalus rodiklis arba kriptovaliutų atvirų pozicijų momentinė kopija. Įrašo data gali būti pirmadienis, tačiau reikšmė galėjo būti paskelbta po pirmadienio uždarymo arba vėliau pataisyta. Data nėra prieinamumo laiko žyma.
Kaip reikėtų žymėti strategijos įvesčių laiką?
Kai šaltinis leidžia, saugokite bent 3 laikus: laikotarpį, kurį reikšmė apibūdina, laiką, kada leidėjas ją paskelbė, ir laiką, kada ją gavo jūsų sistema. Sprendimo metu strategijos informacijos rinkinyje gali būti tik iki to laiko prieinamos reikšmės.
| Laukas | Į kokį klausimą atsako | Dažna klaida |
|---|---|---|
| Įvykio laikas | Kada įvyko rinkos įvykis? | Žvakės uždarymo kainos naudojimas dar nepasibaigus žvakei |
| Paskelbimo laikas | Kada šaltinis paskelbė šią reikšmę? | Dienos pabaigos žymos laikymas paskelbimu prekybos sesijos pradžioje |
| Gavimo laikas | Kada ši tyrimų sistema galėjo ją gauti? | Tiekėjo ar duomenų apdorojimo grandinės vėlavimo nepaisymas |
| Pataisymo laikas | Kada ši versija buvo įrašyta arba pataisyta? | Pataisytų istorinių duomenų įkėlimas atgaline data, tarsi jie būtų buvę pradiniai |
1 minutės strategijai 1 sekundės vėlavimas savaime nėra nereikšmingas. Jo svarba priklauso nuo sprendimo priėmimo laiko ir nuo to, kokius duomenis naudoja signalas. Jei įvestis yra užbaigta valandinė statistika, tai gali beveik neturėti reikšmės. Jei tai pavedimų knygos disbalansas, užfiksuotas prieš pat pavedimą, jis gali apversti sandorio kryptį.
Ar konkrečiu laiku prieinamų duomenų saugykla gali apsaugoti nuo nutekėjimo?
Gali, jei „konkrečiu laiku prieinami duomenys“ reiškia, kad galima gauti reikšmę, kuri buvo žinoma konkrečiu istoriniu sprendimo momentu, įskaitant tuo metu galiojusią jos versiją. Lentelėje, kurioje yra vien istorinės datos, vis tiek gali būti šiandien pataisytos tų datų reikšmės.
Kiekvienam įrašui išsaugokite galiojimo intervalą ir prieinamumo laiko žymą, o pataisymus saugokite kaip naujas versijas, užuot perrašę ankstesnes. Tada aiškiai apibrėžkite istorines užklausas: grąžinkite naujausią versiją, kuri buvo prieinama imituojamo sprendimo metu. Tai ypač svarbu fundamentaliesiems rodikliams, indeksų sudėčiai, ekonominiams duomenų paskelbimams ir tiekėjo išvalytiems duomenų rinkiniams.
Yra ir ne itin įspūdingas praktinis keblumas: tobulai užfiksuotas paskelbimo laikas nieko vertas, jei duomenų gavimo užduotis vėlavo 20 minučių. Jei istorinėje saugykloje nėra gavimo laiko, taikykite konservatyvų vėlavimą ir jį nurodykite. Šaltinio niekada nefiksuotas tikslumas tėra puošmena.
Kokie patikrinimai aptinka žvilgsnio į ateitį šališkumą prieš prekybą imitavimo režimu?
Paprašykite tyrimų agento kartu su atgaliniu testu pateikti požymių ir pavedimų laiko juostą. Kiekvienam sprendimui užfiksuokite naujausią kiekvieno požymio šaltinio prieinamumo laiką, sprendimo laiką, pavedimo laiką ir modeliuojamą įvykdymo laiką. Atmeskite bet kurią eilutę, kurioje įvestis gauta po sprendimo.
- Pavėlinkite signalus 1 žvake ir palyginkite rezultatus. Staigus rezultatų nuosmukis gali atskleisti priklausomybę nuo uždarymo kainų laiko, tačiau tai diagnostikos priemonė, o ne nutekėjimo įrodymas.
- Apribokite kiekvieną šaltinį istorine ribine data, iš naujo paleiskite duomenų apdorojimo grandinę ir palyginkite gautus požymius su išsaugotais istoriniais požymiais.
- Pakeiskite įtartiną požymį konstanta. Jei rezultatai beveik nepakinta, patikrinkite, ar kodas iš tiesų naudojo numatytą duomenų seką.
- Paleiskite per grandinę sąmoningai neįmanomą ateities požymį. Patikra turi aiškiai parodyti klaidą, kai jo prieinamumo laikas yra vėlesnis už sprendimo laiką.
Šie patikrinimai strategijos nepatvirtina. Jie padeda aiškiai pamatyti konkrečias laiko prielaidas ir aptikti dažnus atvejus, kai jų nesilaikoma.
Ar prekyba imitavimo režimu įrodo, kad atgaliniame teste nebuvo nutekėjimo?
Ne. Prekyba imitavimo režimu gali atskleisti, kad tiesioginis duomenų srautas vėluoja, trūksta duomenų arba jie nesutampa su istoriniais. Ji negali įrodyti, kad senosios mokymo požymių reikšmės atspindėjo tai, kas buvo žinoma tuo metu. Modelis taip pat gali nustoti gauti naudos iš nutekėjimo vien todėl, kad netyčia matyta ateitis jau tapo dabartimi.
Naudokite prekybą imitavimo režimu kaip atitikties patikrą: palyginkite tiesiogines požymių reikšmes, sprendimų laiko žymas, pavedimų generavimą ir modeliuojamus įvykdymus su atgalinio testo apibrėžimais. Jei jie skiriasi, atsekite konkrečią įvestį ir laikrodį. Agentų komanda, galinti paaiškinti kiekvieno sprendimo informacijos rinkinį, atlieka naudingą tyrimą. Jei komanda gali parodyti tik glotnią kreivę, ji praleido sudėtingiausią auditą.
← Visi įrašai
