240 paraméterkészletet teszteltünk. A legjobb Sharpe-mutatója 2.1 volt, a medián 0.1, és mindössze 17 haladta meg az 1.0 értéket. Ezek a számok felfedezésnek tűnnek, amíg rá nem jövünk, hogy még akkor is, ha egyik stratégiának sincs valódi előnye, egy ilyen széles keresés hízelgő eredményt hozhat ki győztesként.
A meglepő szám a 240. Egy visszatesztjelentés rendszerint úgy kezeli a kiválasztott stratégiát, mintha egyedül született volna. A kutatás nem így működik. Minden paraméter-módosítás, jellemzőcsere, univerzumváltás és egy csúnya eredmény utáni újrafuttatás újabb esélyt ad a zajnak, hogy jelnek tűnjön.
Miért növeli a több stratégia kipróbálása a legjobb Sharpe-mutatót?
Képzeljünk el 240 független stratégiát, amelyeknek nincs valódi előnyük, és a becsült Sharpe-mutatójuk zajos. A becslések többsége nulla közelébe esik, de a legnagyobb érték jellemzően pozitív. Minél több jelöltet vizsgálunk meg, annál messzebbre kerülhet a maximum a valós értéktől.
Durva szemléltetésként tegyük fel, hogy minden jelölt becsült Sharpe-mutatójának standard hibája 0.5. 240 független mintavételnél a legnagyobb becslés pusztán a szelekció miatt a várható érték fölé, körülbelül 1.4 standard hibával, vagyis nagyjából 0.7 Sharpe-ponttal kerülhet. A valós stratégiajelöltek korrelálnak egymással, ezért ez a számítás nem olyan korrekció, amelyet egyszerűen beilleszthetünk a jelentésbe. Arra mutat rá, miért gyenge bizonyíték az, hogy „a győztes felülmúlta a nullát”, ha előtte széles körű keresést végeztünk.
A keresés pedig ritkán korlátozódik a paraméterrácsra. Lehet, hogy három jelcsaládot is kipróbáltunk, kettőt elvetettünk a görbéjük láttán, megváltoztattuk a kereskedési univerzumot, majd a megmaradt változatot más újrasúlyozási ütemezéssel is lefuttattuk. Ha ezeket a döntéseket befolyásolta a teljesítmény, akkor a kutatási előzményekhez tartoznak.
Mi számít visszatesztelési próbának?
Egy döntést akkor számoljunk próbának, ha az eredménye befolyásolhatta, melyik stratégiát választottuk. Ide tartoznak a nem publikált futtatások és azok a változatok is, amelyeket azért állítottunk le idő előtt, mert rossznak tűnt a tőkeegyenleg-görbéjük. Egy fordítási hiba nem teljesítménypróba; az a futtatás viszont, amely kiábrándító Sharpe-mutatót adott, általában annak számít.
| Kutatási lépés | Általában beleszámít? | Miért |
|---|---|---|
| A visszatekintési időszak módosítása 20-ról 30-ra az eredmények áttekintése után | Igen | Az első eredmény hatott a következő jelöltre |
| Ugyanannak a rögzített stratégiának a futtatása egy előre meghatározott új dátumtartományon | Általában nem új szelekciós próba | A szabályt az adatok megismerése előtt rögzítettük |
| Az univerzum módosítása annak megtekintése után, mely eszközök nyertek | Igen | Az univerzum kiválasztása javíthat a látszólagos eredményen |
| Szintaktikai hiba javítása, majd a változatlan kód újrafuttatása | Nem | Semmilyen kutatási döntés nem függött a teljesítménytől |
A választóvonal az, hogy felhasználtunk-e egy eredményt valamely döntés meghozatalához. Ezt emlékezetből nehéz rekonstruálni, ezért a kísérleti naplóban minden futtatásnál rögzíteni kell a hipotézist, a kód vagy a konfiguráció verzióját, az adatok időablakát, a költségfeltevéseket és az eredményt.
Korrigálhatok a többszörös tesztelésre?
Léteznek módszerek a szelekciós torzítás becslésére vagy a szignifikancia sok próba esetén történő kiigazítására. Hasznosak lehetnek, de feltevéseket igényelnek a jelöltek közötti kapcsolatról és a hozamok viselkedéséről. Egy névleges p-érték vagy egyetlen korrigált Sharpe-becslés sem ment meg egy olyan keresést, amelynek valódi előzményeit elvesztettük.
Kezdjük azokkal a részekkel, amelyeket kézben tarthatunk. Rögzítsünk egy végleges specifikációt, mielőtt egy valóban érintetlen időszakot értékelnénk. Tegyük láthatóvá a teljes jelölthalmazt. Ha sok egymással összefüggő változatot tesztelünk, csoportosítsuk őket az őket létrehozó döntés szerint, ahelyett hogy mindegyiket független felfedezésnek állítanánk be. A győztes mellett a keresést is mutassuk be: a próbák számát, a kiválasztási szabályt, és azt, hogy a végső értékelés hatására történtek-e további módosítások.
Hasznos próba: Ha a tartalékolt adatokon kapott eredmény kiábrándító, megváltoztatjuk a stratégiát, majd ugyanazt az időszakot ismét tartalékolt időszaknak nevezzük? Ha igen, akkor ez az időszak már a kutatás része. A következő értékeléshez új bizonyítékra van szükségünk.
Mit rögzítsen egy AI kutatási ügynök?
Egy ügynök gyorsabban tud jelölteket generálni, mint ahányat az ember munkamemóriában képes tartani. Ezért a próbák számbavétele a kutatási rendszer része, nem pusztán jelentéskészítési feladat. Minden jelöltet még a futtatás előtt tároljunk el, a szülőkísérletével és a létrehozásának indokával együtt. Őrizzük meg a sikertelen és elvetett futtatásokat is. Rögzítsük, mikor tekintette át egy ember vagy ügynök a teljesítményt, és milyen döntés követte ezt.
Ezután tegyük reprodukálhatóvá a kiválasztási folyamatot: ugyanazzal a jelölthalmazzal és szabállyal ugyanazt a győztest kell kiválasztania. Ha egy ügynök az eredmények megtekintése után folyamatosan módosítja a promptját, a célját vagy a korlátait, ezek a változások is a keresés részét képezik.
Egy 2.1-es Sharpe-mutatót érdemes lehet tovább vizsgálni. A jelentése attól függ, milyen úton jutottunk el hozzá. Ha a kutatási napló szerint 240 jelölt versengett a kiemelt helyért, feltehetjük a következő helyes kérdést: milyen bizonyíték maradt, amelyet ezek a döntések még nem használtak fel?
← Összes bejegyzés
