Agent AI strategie může vytvořit platný backtest, a přitom používat informace, které v době plánovaného obchodu ještě neexistovaly. Kód se spustí. Kapitálová křivka vypadá věrohodně. Signál může dokonce dávat smysl. Jenže časové razítko, spojení tabulek nebo aktualizované datové pole mu nenápadně prozradily zítřejší výsledek.
Řešením je zahrnout čas dostupnosti do výzkumných pravidel. U každého vstupu musí být jasná odpověď na dvě otázky: jaké období tato hodnota popisuje a kdy se o ní strategie mohla poprvé dozvědět?
Jak vypadá zkreslení pohledem do budoucnosti ve strategii vytvořené AI?
Zjevnou podobou je signál vypočítaný z uzavírací ceny právě probíhajícího baru, po němž následuje plnění obchodu za tuto cenu. Pokud strategie potřebuje závěrečnou cenu k rozhodnutí, nemůže za ni zároveň obchodovat. Agenti ale při spojování zdrojů dat nebo volbě pohodlných výchozích hodnot často vytvářejí i méně nápadné varianty.
Představte si model, který na konci každé minuty počítá klouzavý průměr za 20 barů a zaujme pozici, když jej závěrečná cena překročí. Pokud backtest provede obchod za tuto stejnou závěrečnou cenu, využil poslední obchod v baru dřív, než ho strategie mohla znát. Přesunutí pokynu na otevírací cenu následujícího baru může být rozumným přiblížením, ale i tržní pokyn musí počítat s poplatky a cenovým dopadem.
Teď si představte, že příznakem je denní fundamentální údaj o akcii nebo snímek otevřeného zájmu na kryptoměnovém trhu. Datum řádku může ukazovat pondělí, ale hodnota mohla být zveřejněna až po pondělním zavření trhu nebo později opravena. Datum není časové razítko dostupnosti.
Jak mám časově označovat vstupy strategie?
Pokud to zdroj umožňuje, uchovávejte alespoň 3 časy: období, které hodnota popisuje, čas jejího zveřejnění vydavatelem a čas, kdy ji obdržel váš systém. Informační množina strategie v okamžiku rozhodnutí může obsahovat pouze hodnoty, které už v tu chvíli byly dostupné.
| Pole | Na jakou otázku odpovídá | Typická past |
|---|---|---|
| Čas události | Kdy k tržní události došlo? | Použití závěrečné ceny baru před jeho dokončením |
| Čas zveřejnění | Kdy zdroj tuto hodnotu zveřejnil? | Považovat označení koncem dne za zveřejnění na začátku obchodování |
| Čas ingestu | Kdy ji mohl zpracovat tento výzkumný systém? | Nezohlednění prodlevy u dodavatele nebo v datovém toku |
| Čas revize | Kdy byla tato verze zaznamenána nebo opravena? | Doplnění revidované historie, jako by šlo o původní data |
U 1minutové strategie není jednosekundová prodleva automaticky zanedbatelná. Záleží na tom, kdy se rozhodnutí přijímá a co signál využívá. Pokud jde o dokončenou hodinovou statistiku, může být téměř nepodstatná. Pokud jde o nerovnováhu v knize objednávek zaznamenanou těsně před zadáním pokynu, může obchod obrátit.
Může úniku informací zabránit úložiště dat dostupných v daném okamžiku?
Pomůže, pokud „dostupná v daném okamžiku“ znamená, že lze získat hodnotu známou v konkrétním historickém okamžiku rozhodnutí, včetně revize platné v té době. Tabulka, která obsahuje jen historická data, může stále pro tato data uchovávat dnešní opravené hodnoty.
U každého záznamu uchovávejte interval platnosti a čas dostupnosti a revize ponechávejte místo jejich přepisování. Historické dotazy pak formulujte jednoznačně: vraťte poslední verzi dostupnou k simulovanému okamžiku rozhodnutí. To je zvlášť důležité u fundamentálních údajů, složení indexů, ekonomických oznámení a datových sad vyčištěných dodavatelem.
V provozu je tu i méně vzrušující háček: dokonalé časové razítko zveřejnění je k ničemu, pokud úloha ingestu běžela se zpožděním dvacet minut. Pokud historické úložiště nezaznamenává čas ingestu, použijte konzervativní prodlevu a uveďte to. Přesnost, kterou zdroj nikdy nezaznamenal, je jen na ozdobu.
Jaké kontroly odhalí zkreslení pohledem do budoucnosti ještě před paper tradingem?
Požádejte výzkumného agenta, aby vedle backtestu vytvořil časovou osu příznaků a pokynů. U každého rozhodnutí zaznamenejte nejpozdější čas dostupnosti zdroje pro každý příznak, čas rozhodnutí, čas zadání pokynu a modelovaný čas plnění. Odmítněte každý řádek, u kterého vstup dorazil až po rozhodnutí.
- Posuňte signály o 1 bar dopředu a porovnejte výsledky. Výrazný propad může odhalit závislost na načasování mezi závěrečnými cenami, jde však o diagnostickou kontrolu, nikoli důkaz úniku informací.
- Každý zdroj ořízněte k historickému meznímu času, znovu spusťte datový tok a porovnejte vzniklé příznaky s uloženými historickými příznaky.
- Nahraďte podezřelý příznak konstantou. Pokud výkonnost zůstane téměř stejná, prověřte, zda kód zamýšlenou časovou řadu skutečně používal.
- Prožeňte datovým tokem záměrně nemožný příznak z budoucnosti. Ověření musí výrazně selhat, pokud jeho čas dostupnosti překročí čas rozhodnutí.
Tyto kontroly strategii nepotvrzují jako bezchybnou. Zviditelňují konkrétní předpoklady o načasování a odhalují běžné způsoby, jakými se porušují.
Dokazuje paper trading, že backtest neobsahoval žádný únik informací?
Ne. Paper trading může odhalit, že živý datový tok má zpoždění, chybí v něm data nebo je zarovnaný jinak než historický tok. Nemůže potvrdit, že historické příznaky použité při trénování odpovídaly tomu, co bylo tehdy známo. Model také může přestat těžit z úniku informací jen proto, že budoucnost, kterou náhodou viděl, je nyní přítomností.
Paper trading používejte ke kontrole shody: porovnávejte živé hodnoty příznaků, časová razítka rozhodnutí, generování pokynů a modelovaná plnění s definicemi použitými v backtestu. Pokud se liší, dohledávejte konkrétní vstup a hodiny. Tým agentů, který dokáže vysvětlit informační množinu každého rozhodnutí, odvádí užitečnou výzkumnou práci. Tým, který vám umí ukázat jen hladkou křivku, přeskočil nejnáročnější audit.
← Všechny články
