Egy AI-stratégiaügynök érvényes visszatesztet készíthet úgy is, hogy olyan információt használ, amely a kötés tervezett időpontjában még nem létezett. A kód lefut. A tőkegörbe hihetőnek tűnik. A jelzés akár ésszerű is lehet. Egy időbélyeg, egy összekapcsolás vagy egy később módosított adatmező azonban észrevétlenül megadta neki a holnap válaszát.
A megoldás, hogy az adatok elérhetőségének idejét a kutatási megállapodás részévé tesszük. Minden bemenetnél két kérdésre kell egyértelmű választ adnunk: milyen időszakra vonatkozik az érték, és mikortól ismerhette azt először a stratégia?
Hogyan néz ki az előretekintési torzítás egy AI által generált stratégiában?
A legnyilvánvalóbb eset, amikor a jelzést ugyanazon gyertya záróárából számítjuk ki, majd ezen a záróáron teljesül a megbízás. Ha a stratégia a döntéshez a záróárat igényli, akkor ezen az áron már nem kereskedhet. Az ügynökök azonban gyakran ennél kevésbé szembetűnő hibákat vétenek adatforrások összekapcsolásakor vagy kényelmes alapértelmezések választásakor.
Tegyük fel, hogy egy modell minden perc zárásakor 20 gyertyás mozgóátlagot számol, és akkor vesz fel pozíciót, amikor a záróár keresztezi ezt. Ha a visszateszt ugyanazon a záróáron teljesíti a megbízást, akkor az adott gyertya utolsó kötését használta, mielőtt az az ügylet elérhető lett volna a stratégia számára. A megbízás következő gyertya nyitására tolása észszerű közelítés lehet, de egy piaci megbízásnál a díjakat és az árhatást is figyelembe kell venni.
Most legyen a jellemző egy napi részvényfundamentum vagy egy kripto nyitottkamat-adat. A sor dátuma hétfőt mutathat, de az értéket csak hétfői zárás után tették közzé, vagy később javították. A dátum nem az elérhetőség időbélyege.
Hogyan időbélyegezzem a stratégia bemeneteit?
Ha a forrás lehetővé teszi, legalább három időpontot őrizzünk meg: azt az időszakot, amelyre az érték vonatkozik, a közzététel idejét, valamint azt, amikor a rendszerünk megkapta. A stratégia döntéskori információhalmaza csak az addigra elérhető értékeket tartalmazhatja.
| Mező | Mire ad választ? | Tipikus csapda |
|---|---|---|
| Esemény ideje | Mikor történt a piaci esemény? | A gyertya záróárának felhasználása a gyertya befejeződése előtt |
| Közzététel ideje | Mikor tette közzé a forrás ezt az értéket? | A nap végi címke nyitáskori közzétételként kezelése |
| Betöltés ideje | Mikortól használhatta fel ezt a kutatórendszer? | A szolgáltató vagy az adatfolyam késésének figyelmen kívül hagyása |
| Módosítás ideje | Mikor rögzítették vagy javították ezt a verziót? | A javított előzmények visszatöltése úgy, mintha az eredeti adat lett volna |
Egy 1-minute stratégiánál az egy másodperces késés sem automatikusan ártalmatlan. A jelentősége attól függ, mikor születik a döntés, és mit használ a jelzés. Ha a bemenet egy lezárt órára vonatkozó statisztika, alig számíthat. Ha a megbízás közelében mintavételezett könyvegyensúlytalanság, akár meg is fordíthatja az ügylet irányát.
Megakadályozhatja az adatszivárgást egy adott időpontra vonatkozó adattár?
Segít, ha az „adott időpontra vonatkozó” azt jelenti, hogy le tudjuk kérni a múltbeli döntés időpontjában ismert értéket, az akkor érvényes verzióval együtt. Egy olyan táblázat, amelyben csupán múltbeli dátumok szerepelnek, ma már az ezekhez a dátumokhoz tartozó javított értékeket is tartalmazhatja.
Minden rekordnál őrizzünk meg egy érvényességi időszakot és egy elérhetőségi időbélyeget, a régi verziókat pedig ne írjuk felül, hanem tartsuk meg. A múltbeli lekérdezéseket ezután tegyük egyértelművé: a szimulált döntés időpontjáig elérhető legfrissebb verziót adjuk vissza. Ez különösen fontos a fundamentumoknál, az indexösszetételnél, a gazdasági közleményeknél és a szolgáltató által tisztított adathalmazoknál.
Van egy kevésbé látványos működési buktató: a tökéletes közzétételi időbélyeg sem ér semmit, ha az adatbetöltő feladat húsz percet késett. Ha a múltbeli adattár nem rögzíti a betöltés idejét, használjunk óvatosan megválasztott késleltetést, és mondjuk ki ezt. A forrás által soha nem rögzített pontosság csak díszítés.
Milyen ellenőrzések szűrik ki az előretekintési torzítást a paper trading előtt?
Kérjük meg a kutatóügynököt, hogy a visszateszt mellett adja ki a jellemzők és a megbízások idővonalát is. Minden döntésnél rögzítsük az egyes jellemzők forrásának legutóbbi elérhetőségi idejét, a döntés idejét, a megbízás idejét és a modellezett teljesülés idejét. Utasítsunk el minden olyan sort, amelynél valamelyik bemenet a döntés után érkezett meg.
- Toljuk el a jelzéseket egy gyertyával, és hasonlítsuk össze az eredményeket. A nagy visszaesés felfedheti a zárótól záróig mért időzítéstől való függést, bár ez diagnosztikai jelzés, nem pedig az adatszivárgás bizonyítéka.
- Vágjunk le minden adatforrást egy múltbeli időpontnál, futtassuk újra az adatfolyamot, és hasonlítsuk össze az így kapott jellemzőket a tárolt múltbeli jellemzőkkel.
- Cseréljünk egy gyanús jellemzőt állandó értékre. Ha a teljesítmény szinte változatlan marad, ellenőrizzük, hogy a kód valóban a kívánt adatsort használta-e.
- Futtassunk végig az adatfolyamon egy szándékosan lehetetlen, jövőbeli jellemzőt. Az ellenőrzésnek egyértelmű hibát kell jeleznie, ha az elérhetőségi ideje későbbi a döntés időpontjánál.
Ezek az ellenőrzések nem tanúsítják egy stratégia helyességét. Láthatóvá tesznek bizonyos időzítési feltételezéseket, és kiszűrik azok megszegésének gyakori módjait.
Bizonyítja a paper trading, hogy a visszatesztben nem volt adatszivárgás?
Nem. A paper trading feltárhatja, ha az élő adatfolyam késik, hiányos, vagy a múltbeli adatoktól eltérően van igazítva. Azt nem bizonyítja, hogy a régi tanító jellemzők valóban az akkori információkat tükrözték. Az is előfordulhat, hogy a modell egyszerűen azért nem profitál többé a szivárgásból, mert a véletlenül látott jövő időközben jelenné vált.
Használjuk a paper tradinget egyezőségi ellenőrzésre: hasonlítsuk össze az élő jellemzőértékeket, a döntések időbélyegeit, a megbízások létrehozását és a modellezett teljesüléseket a visszateszt definícióival. Ha eltérést találunk, kövessük végig a konkrét bemenetet és az órát. Az az ügynökcsapat végez hasznos kutatást, amely meg tudja magyarázni minden döntés információhalmazát. Amelyik csak egy sima görbét tud mutatni, az átugrotta a legnehezebb ellenőrzést.
← Összes bejegyzés
