Hétfőn az AI-kutatóügynökünk talált egy 4.1-es Sharpe-mutatójú kripto határidős stratégiát. Csütörtökre, miután összeszámoltuk a kísérleteket, és leállítottuk, hogy az ügynök ugyanahhoz a validációs időszakhoz igazítsa a beállításokat, az eredmény 0.8 lett. A stratégia nem változott. Annak a becslésünk változott meg, hogy mit ért el a keresés.
Azért vezettük ezt a rövid kutatási naplót, mert könnyű azt tanácsolni, hogy „optimalizálj körültekintően”, de ezt nehéz a gyakorlatba átültetni, amikor egy ügynök kódot írhat, visszateszteket indíthat, megvizsgálhatja az eredményt, majd perceken belül újra próbálkozhat. Íme, mi romlott el, sorban.
Hétfő: adjunk az ügynöknek jól körülhatárolt feladatot
Arra kértük az ügynököt, hogy teszteljen egy egyszerű, órás trendkövető ötletet egy likvid örökös határidős piacon: lépjen pozícióba, amikor a rövidebb mozgóátlag keresztezi a hosszabbat, a pozícióméretet igazítsa egy rögzített volatilitási célhoz, és zárja a pozíciót az ellenkező jelzésre. Meghatároztuk az instrumentumot, az időszakot, a díjszabást, a finanszírozási előzményeket, a végrehajtási feltételezést és a vizsgálható paramétertartományokat.
A történeti minta 2021-től 2025-ig tartott. A 2021–2023-as időszakot fejlesztésre, 2024-et validációra jelöltük ki, 2025-öt pedig végső, elkülönített tesztként félretettük. Ezt a felosztást rögzítettük a feladat konfigurációjában, így az ügynök láthatta a fejlesztési eredményeket és a validációs pontszámokat, de a tesztidőszak hozamait nem kérhette le.
Az első hibánk az volt, hogy egyetlen feladatban 300 paraméterkombinációt engedélyeztünk anélkül, hogy kutatási eredményként rögzítettük volna a keresési keretet. Az ügynök visszaadta a legjobban teljesítőt: 9 órás rövid mozgóátlagot, 73 órás hosszú mozgóátlagot és 0.8%-os volatilitási célt. A validációs Sharpe-mutatója 4.1 volt. Tudtuk, hogy az ügynök sok beállítást kipróbált. Azt még nem tettük lehetetlenné, hogy ezt elfelejtsük.
Kedd: újrafuttatáskor elmozdult a győztes
Tiszta környezetből újra lefuttattuk ugyanazt a feladatot. Megváltozott a legjobb beállítás, a Sharpe-mutatója pedig 2.7-re esett. Az első futásban a piaci adatok gyorsítótára frissített finanszírozási idősorokat szolgált ki, míg az újrafuttatás rögzített pillanatképet használt. Mindkét feladat ugyanazt az időszakot jelölte meg; csak az egyikhez tartozott reprodukálható adatverzió.
Abbahagytuk a pontszámok összehasonlítását, és elkezdtük rögzíteni a teljes kísérletet: a kód verzióját, az adatpillanatképet, a díjakat, a finanszírozást, a végrehajtási beállításokat, a paraméterértékeket és az ügynök által indított összes próbát. Így kiderült, hogy a 4.1 nem valami rejtélyes piaci előnyből fakadt. Egyetlen beállítás eredménye volt a 300 próbálkozásból, amelyeket ugyanazon a validációs éven végeztünk.
Szerda: fagyasszuk be a keresést, mielőtt megnyitjuk a tesztidőszakot
Rögzített adatpillanatképpel és egy előre meghatározott, kisebb rácson futtattuk újra a kísérletet: 24 kombinációval. Az ügynök rangsorolhatta ezeket a 2021–2023-as fejlesztési időszak alapján. Kiválasztáshoz egyszer engedtük megnézni a 2024-es adatokat, majd rögzítettük a kiválasztott beállításokat és a kódot.
A kiválasztott stratégia validáción 0.8-as Sharpe-mutatót ért el. A lezárt, 2025-ös tesztidőszakon 0.3-at ért el a taker díjak, a finanszírozás és a vizsgálat egészében alkalmazott azonos, egy gyertyányi végrehajtási késleltetés után. Ez hasznos válasz volt. Nem bizonyította, hogy a stratégia éles számlán is pénzt termelne.
Egy kitérő a hétről: több időt töltöttünk annak tisztázásával, hogy mit jelent „egy próba”, mint a mozgóátlag kódjának megírásával. Minden megváltoztatott paraméterkészletet próbának számoltunk, ahogy azokat a futásokat is, amelyek a jelzést vagy a pozícióméretezési szabályt módosították. Az új adatpillanatkép vagy végrehajtási feltételezés külön futásrekordot kapott, mert ugyanúgy módosíthatta a rangsort.
Csütörtök: mit hagynánk ki legközelebb
A nyitott végű első feladatot kihagynánk. A kutatóügynöknek szüksége van a keresési keret meghatározására és a kipróbált beállítások nyilvántartására, különösen akkor, ha minden eredményt felhasználhat annak eldöntésére, mi legyen a következő próba. A tesztidőszakot az informális betekintéstől is védeni kell: amint valaki elolvassa az eredményét, majd módosít a stratégián, az időszak újabb validációs halmazzá válik.
Kisebb keresésnél egy gyakorlati kísérleti napló lehet egyszerű és egyértelmű:
| Rögzítendő adat | Miért fontos |
|---|---|
| A kód és az adatok verziója | Így az újrafuttatás ugyanazt a bemenetet és logikát használja |
| Minden kipróbált változat | Így a győztest a keresés tükrében értékeljük |
| A fejlesztési, validációs és tesztidőszak szerepe | Így a végső pontszámot nem használjuk fel észrevétlenül újabb hangolásra |
| Díjak, finanszírozás és végrehajtási feltételezések | Így a közölt eredmény tesztelhető szimulációt ír le |
A tesztidőszak megnyitása után térjünk vissza a fejlesztéshez egy új kutatási kérdéssel, a régi eredményt pedig őrizzük meg történeti bizonyítékként. Ne csiszolgassuk tovább ugyanazt a stratégiát egy olyan időszak alapján, amelyet már látott.
Az ügynök elvégezte a feladatát: gyorsan keresett, és talált egy konfigurációt, amelyet érdemes megvizsgálni. A mi feladatunk az volt, hogy átláthatóvá tegyük a keresést, megőrizzünk egy érintetlen tesztet, és a pontszámot előzményekkel rendelkező mérésként kezeljük. Az érdekes eredmény nem a 4.1 vagy a 0.3 volt. Hanem az, hogy pontosan láthattuk, hogyan született az első szám.
← Összes bejegyzés
