Esmaspäeval leidis meie tehisintellektil põhinev uurimisagent krüptofutuuride strateegia, mille Sharpe’i suhtarv oli 4.1. Neljapäevaks oli tulemus 0.8, kui olime katsed kokku lugenud ja keelanud agendil sama valideerimisakna põhjal seadistusi timmida. Strateegia polnud muutunud. Muutunud oli meie hinnang sellele, mida otsinguga saavutati.
Pidasime seda lühikest uurimispäevikut, sest „optimeeri hoolikalt” on lihtne soovitus, mida anda, aga raske ellu viia, kui agent saab minutitega koodi kirjutada, järelteste käivitada, tulemusi kontrollida ja uuesti proovida. Siin on järjest kirjas, mis viltu läks.
Esmaspäev: esitame agendile piiritletud küsimuse
Palusime agendil katsetada lihtsat tunnipõhist trendistrateegiat likviidsel tähtajatute futuuride turul: siseneda positsiooni, kui lühike libisev keskmine ristub pikemaga, määrata positsiooni suurus fikseeritud volatiilsuse sihttaseme järgi ja väljuda vastassuunalise signaali korral. Määrasime instrumendi, kuupäevad, tasude graafiku, rahastusajaloo, täitmise eelduse ja parameetrivahemikud, mida agent võis uurida.
Ajalooline valim hõlmas aastaid 2021 kuni 2025. Määrasime aastad 2021–2023 arendusperioodiks, 2024 valideerimiseks ja hoidsime 2025. aasta lõpliku kontrollvalimina suletuna. Jaotus oli kirjas töö konfiguratsioonis, nii et agent sai vaadata arendustulemusi ja valideerimisskoore, kuid ei saanud kontrollvalimi tootlusi kätte.
Meie esimene viga oli lubada ühe töö raames 300 parameetrikombinatsiooni katsetada, ilma et oleksime otsingueelarvet uurimistulemusena talletanud. Agent tagastas parima tulemuse: lühike keskmine pikkusega 9 tundi, pikk keskmine pikkusega 73 tundi ja volatiilsuse sihttase 0.8%. Selle Sharpe’i suhtarv valideerimisel oli 4.1. Teadsime, et agent oli proovinud paljusid seadistusi. Me polnud veel teinud seda, et seda asjaolu oleks võimatu unustada.
Teisipäev: võitja vahetus korduskäivitamisel
Käivitasime sama töö puhtas keskkonnas uuesti. Parim seadistus muutus ja selle Sharpe’i suhtarv langes 2.7-ni. Esimesel käivitamisel kasutas turuandmete vahemälu uuendatud rahastusandmeid, korduskäivitamisel aga fikseeritud tõmmist. Mõlemad tööd väitsid, et kasutasid sama kuupäevavahemikku; ainult ühe andmeversiooni sai korrata.
Lõpetasime skooride võrdlemise ja hakkasime talletama kogu katse teavet: koodi versiooni, andmetõmmist, tasusid, rahastust, täiteseadeid, parameetrite väärtusi ja kõiki katseid, mille agent käivitas. Selgus, et 4.1 polnud mingi salapärane turueelis. See oli üks seadistus 300 katsega otsingus, mis tehti sama valideerimisaasta peal.
Kolmapäev: peatame otsingu enne kontrollvalimi avamist
Käivitasime katse uuesti fikseeritud andmetõmmise ja väiksema, ette määratud ruudustikuga: 24 kombinatsiooni. Agent sai neid järjestada aastate 2021–2023 arendusperioodi põhjal. Näitasime talle 2024. aasta andmeid üks kord valiku tegemiseks, seejärel lukustasime valitud seadistused ja koodi.
Valitud strateegia Sharpe’i suhtarv oli valideerimisel 0.8. Suletud 2025. aasta kontrollvalimil oli see 0.3, kui arvestasime taker-tasusid, rahastust ja kogu uuringus kasutatud sama ühe küünla pikkust täitmisviivitust. See oli kasulik vastus. See ei tõendanud, et strateegia teeniks päriskontol raha.
Üks kõrvalmärkus selle nädala kohta: kulutasime rohkem aega kokkuleppele, mida „üks katse” tähendab, kui libiseva keskmise koodi kirjutamisele. Lugesime iga muudetud parameetrikomplekti üheks katseks ning arvestasime samuti katseteks jooksud, kus muudeti signaali või positsiooni suuruse määramise reeglit. Uus andmetõmmis või täitmiseeldus sai eraldi käivituskirje, sest kumbki võis paremusjärjestust sama palju muuta.
Neljapäev: mida jätaksime järgmine kord vahele
Jätaksime vahele piiramatu esimese töö. Uurimisagent vajab otsingueelarvet ja arvestust selle kohta, mida ta proovis, eriti kui ta saab iga tulemuse põhjal otsustada, mida järgmisena proovida. Kontrollvalimit tuleb kaitsta ka mitteametliku piilumise eest: kui keegi näeb selle tulemust ja muudab strateegiat, on sellest saanud järjekordne valideerimiskogum.
Väikese otsingu jaoks võib praktiline katsete register olla lihtne ja selgesõnaline:
| Kirje | Miks see oluline on |
|---|---|
| Koodi- ja andmeversioonid | Et korduskäivitus kasutaks samu sisendeid ja loogikat |
| Kõik proovitud variandid | Et võitjat hinnataks otsingu kontekstis |
| Arendus-, valideerimis- ja kontrollvalimi rollid | Et lõplikku skoori ei kasutataks märkamatult uuesti häälestamiseks |
| Tasud, rahastus ja täitmiseeldused | Et esitatud tulemus kirjeldaks kontrollitavat simulatsiooni |
Pärast kontrollvalimi avamist pöörduge uue uurimisküsimusega tagasi arenduse juurde ja säilitage vana tulemus ajaloolise tõendusmaterjalina. Ärge lihvige sama strateegiat edasi perioodi põhjal, mida see on juba näinud.
Agent tegi oma töö: otsis kiiresti ja leidis seadistuse, mis vääris lähemat uurimist. Meie ülesanne oli muuta otsing arusaadavaks, hoida üks katse puutumatuna ja käsitleda skoori mõõtmistulemusena, millel on oma ajalugu. Huvitav tulemus polnud 4.1 ega 0.3. Huvitav oli täpselt näha, kuidas esimene number saadi.
← Kõik postitused
