Pirmdien mūsu AI pētniecības aģents atrada kripto fjūčeru stratēģiju ar 4.1 Sharpe rādītāju. Līdz ceturtdienai, kad bijām saskaitījuši eksperimentus un vairs neļāvām aģentam pielāgot parametrus tai pašai validācijas perioda izlasei, rezultāts bija 0.8. Stratēģija nebija mainījusies. Bija mainījies mūsu vērtējums par to, ko meklēšana patiesībā bija devusi.
Šo darbu veicām kā nelielu pētniecības dienasgrāmatu, jo padomu “optimizējiet uzmanīgi” ir viegli dot, bet grūti īstenot praksē, ja aģents dažu minūšu laikā var uzrakstīt kodu, palaist atpakaļtestus, apskatīt rezultātu un mēģināt vēlreiz. Lūk, kas un kādā secībā nogāja greizi.
Pirmdiena: uzdodam aģentam ierobežotu jautājumu
Lūdzām aģentam pārbaudīt vienkāršu stundas tendenču stratēģiju likvīdā beztermiņa fjūčeru tirgū: atvērt pozīciju, kad īsā slīdošā vidējā vērtība šķērso garāko, noteikt pozīcijas apjomu pēc fiksēta svārstīguma mērķa un aizvērt pozīciju, kad parādās pretējs signāls. Norādījām instrumentu, datumus, komisiju grafiku, finansēšanas vēsturi, izpildes pieņēmumu un parametru diapazonus, ko drīkstēja izpētīt.
Vēsturiskā izlase aptvēra laiku no 2021. līdz 2025. gadam. 2021.–2023. gadu izmantojām izstrādei, 2024. gadu — validācijai, bet 2025. gadu atstājām noslēgtai galīgajai pārbaudei. Šo sadalījumu ierakstījām uzdevuma konfigurācijā, tāpēc aģents varēja nolasīt izstrādes rezultātus un validācijas vērtējumus, bet nevarēja piekļūt noslēgtās pārbaudes atdevēm.
Pirmā kļūda bija vienā uzdevumā atļaut 300 parametru kombinācijas, bet nefiksēt meklēšanas budžetu kā pētniecības rezultātu. Aģents atgrieza labāko variantu: 9 stundu īso vidējo, 73 stundu garo vidējo un 0.8% svārstīguma mērķi. Tā Sharpe validācijas periodā bija 4.1. Mēs zinājām, ka aģents ir izmēģinājis daudz iestatījumu. Taču vēl nebijām panākuši, ka šo faktu nebūtu iespējams aizmirst.
Otrdiena: atkārtojot palaišanu, uzvarētājs mainījās
Atkārtojām to pašu uzdevumu tīrā vidē. Labākais iestatījums mainījās, un tā Sharpe noslīdēja līdz 2.7. Pirmajā reizē tirgus datu kešatmiņa bija izmantojusi atjauninātu finansēšanas datu rindu, bet atkārtotajā palaišanā tika izmantots fiksēts momentuzņēmums. Abos uzdevumos bija norādīts viens un tas pats datumu diapazons, taču reproducējama datu versija bija tikai vienam no tiem.
Pārstājām salīdzināt vērtējumus un sākām reģistrēt pilnu eksperimenta informāciju: koda versiju, datu momentuzņēmumu, komisijas, finansēšanu, izpildes iestatījumus, parametru vērtības un katru aģenta palaisto mēģinājumu. Tas parādīja, ka 4.1 nebija noslēpumaina tirgus priekšrocība. Tas bija viena iestatījuma rezultāts meklēšanā, kurā tie paši 300 mēģinājumi tika veikti vienā un tajā pašā validācijas gadā.
Trešdiena: iesaldējam meklēšanu, pirms atveram noslēgto pārbaudi
Eksperimentu atkārtojām ar fiksētu datu momentuzņēmumu un mazāku, iepriekš noteiktu režģi: 24 kombinācijām. Aģents varēja sarindot tās pēc rezultātiem 2021.–2023. gada izstrādes periodā. 2024. gada datus ļāvām apskatīt vienreiz, lai izvēlētos stratēģiju, un pēc tam fiksējām izvēlētos iestatījumus un kodu.
Izvēlētā stratēģija validācijā uzrādīja 0.8 Sharpe. Noslēgtajā 2025. gada pārbaudes periodā tās Sharpe bija 0.3 pēc taker komisijām un finansēšanas, piemērojot to pašu vienas sveces izpildes aizkavi, kas tika izmantota visā pētījumā. Tā bija noderīga atbilde. Taču tā nebija liecība, ka stratēģija pelnītu naudu reālā kontā.
Neliela piebilde par šo nedēļu: vairāk laika pavadījām, vienojoties par to, ko nozīmē “viens mēģinājums”, nekā rakstot slīdošo vidējo kodu. Par mēģinājumu skaitījām katru mainītu parametru kopu, kā arī palaišanas, kurās mainījām signālu vai pozīcijas apjoma noteikšanas kārtulu. Jauns datu momentuzņēmums vai izpildes pieņēmums tika reģistrēts atsevišķā ierakstā, jo tas varēja mainīt rezultātu secību tikpat lielā mērā.
Ceturtdiena: ko nākamreiz izlaistu
Mēs izlaistu pirmo, neierobežoto uzdevumu. Pētniecības aģentam vajadzīgs meklēšanas budžets un ieraksts par visu izmēģināto, īpaši tad, ja katrs rezultāts var ietekmēt nākamo mēģinājumu. Noslēgtā pārbaude arī jāpasargā no neformālas ielūkošanās: tiklīdz kāds izlasa tās rezultātu un maina stratēģiju, šis periods kļūst par vēl vienu validācijas kopu.
Nelielai meklēšanai praktisks eksperimentu žurnāls var būt vienkāršs un skaidrs:
| Kas jāreģistrē | Kāpēc tas ir svarīgi |
|---|---|
| Koda un datu versijas | Lai atkārtotā palaišanā tiktu izmantota tā pati ievade un loģika |
| Katrs izmēģinātais variants | Lai uzvarētāju varētu izvērtēt, ņemot vērā visu meklēšanu |
| Izstrādes, validācijas un noslēgtās pārbaudes lomas | Lai galīgais vērtējums netiktu nemanāmi izmantots atkārtotai pielāgošanai |
| Komisijas, finansēšana un izpildes pieņēmumi | Lai paziņotais rezultāts raksturotu pārbaudāmu simulāciju |
Pēc noslēgtās pārbaudes atvēršanas atgriezieties pie izstrādes ar jaunu pētniecības jautājumu un saglabājiet iepriekšējo rezultātu kā vēsturisku pierādījumu. Nepulējiet to pašu stratēģiju, izmantojot periodu, ko tā jau ir “redzējusi”.
Aģents izdarīja savu darbu: ātri veica meklēšanu un atrada konfigurāciju, ko bija vērts izpētīt. Mūsu uzdevums bija padarīt šo meklēšanu pārskatāmu, saglabāt neskartu pārbaudes periodu un uztvert vērtējumu kā mērījumu ar savu vēsturi. Interesantais rezultāts nebija 4.1 vai 0.3. Tas bija precīzi redzēt, kā tika iegūts pirmais skaitlis.
← Visi raksti
