V pondělí náš AI výzkumný agent našel strategii pro kryptoměnové futures se Sharpeho poměrem 4.1. Ve čtvrtek, poté co jsme spočítali experimenty a agentovi znemožnili ladit strategii vůči stejnému validačnímu oknu, výsledek klesl na 0.8. Strategie se nezměnila. Změnil se náš odhad toho, co hledání přineslo.
Vedli jsme si tento stručný výzkumný deník, protože rada „optimalizujte pečlivě“ se snadno dává, ale těžko převádí do praxe, když agent dokáže psát kód, spouštět zpětné testy, kontrolovat skóre a během několika minut to zkusit znovu. Tady je přehled toho, co se pokazilo, v pořadí.
Pondělí: Položte agentovi jasně ohraničenou otázku
Požádali jsme agenta, aby otestoval jednoduchou hodinovou trendovou strategii na likvidním trhu s perpetual futures: vstoupit do pozice, když krátký klouzavý průměr překříží delší, nastavit velikost pozice podle pevného cíle volatility a při opačném signálu ji uzavřít. Určili jsme instrument, data, sazebník poplatků, historii financování, předpoklady provádění pokynů a rozsahy parametrů, které mohl prohledat.
Historický vzorek pokrýval roky 2021 až 2025. Období 2021–2023 jsme vyhradili pro vývoj, rok 2024 pro validaci a rok 2025 jsme zapečetili jako finální testovací vzorek. Toto rozdělení jsme zapsali do konfigurace úlohy: agent mohl číst výsledky za vývojové období a validační skóre, ale nemohl získat výnosy z testovacího vzorku.
Naší první chybou bylo povolit v jedné úloze 300 kombinací parametrů a nezaznamenat rozpočet hledání jako výsledek výzkumu. Agent vrátil nejlepší variantu: rychlý průměr s periodou 9 hodin, pomalý průměr s periodou 73 hodin a cílovou volatilitu 0.8%. Její validační Sharpe bylo 4.1. Věděli jsme, že agent vyzkoušel mnoho nastavení. Zatím jsme ale neudělali nic, co by nám nedovolilo na tuto skutečnost zapomenout.
Úterý: Při opakovaném spuštění se vítěz změnil
Stejnou úlohu jsme spustili znovu v čistém prostředí. Nejlepší nastavení se změnilo a jeho Sharpe kleslo na 2.7. Mezipaměť tržních dat při prvním spuštění poskytla aktualizovanou řadu financování, zatímco opakované spuštění použilo připnutý snímek dat. Obě úlohy uváděly stejné časové období; reprodukovatelnou verzi dat však měla jen jedna.
Přestali jsme porovnávat skóre a začali zaznamenávat celý experiment: revizi kódu, snímek dat, poplatky, financování, nastavení provádění pokynů, hodnoty parametrů a každý pokus spuštěný agentem. Ukázalo se, že výsledek 4.1 nebyl záhadnou tržní výhodou. Patřil jednomu nastavení z hledání zahrnujícího 300 pokusů nad stejným validačním rokem.
Středa: Před otevřením testovacího vzorku hledání zmrazte
Experiment jsme zopakovali s pevným snímkem dat a menší, předem stanovenou mřížkou: 24 kombinací. Agent je mohl seřadit podle výsledků za vývojové období 2021–2023. Rok 2024 jsme mu ukázali jednou, aby mohl vybrat nastavení, a poté jsme zvolené nastavení i kód uzamkli.
Vybraná strategie dosáhla na validaci Sharpe 0.8. V zapečetěném testovacím vzorku za rok 2025 dosáhla po započtení taker poplatků, financování a stejného zpoždění provedení o 1 svíčku, které jsme uplatňovali po celou studii, hodnoty 0.3. To byla užitečná odpověď. Nebyl to důkaz, že strategie bude vydělávat na živém účtu.
Ještě jedna poznámka k tomuto týdnu: víc času jsme strávili dohadováním, co znamená „jeden pokus“, než psaním kódu pro klouzavé průměry. Za pokus jsme počítali změnu sady parametrů i běhy, v nichž se změnil signál nebo pravidlo nastavení velikosti pozice. Nový snímek dat nebo předpoklad provádění pokynů dostal samostatný záznam běhu, protože mohl stejně tak změnit pořadí výsledků.
Čtvrtek: Co bychom příště vynechali
Vynechali bychom úvodní neomezené hledání. Výzkumný agent potřebuje rozpočet na hledání a záznam toho, co vyzkoušel, zvlášť když může každý výsledek použít k rozhodnutí, co zkusí dál. Testovací vzorek je také potřeba chránit před neformálním nahlížením: jakmile si někdo přečte jeho výsledek a upraví strategii, stává se z něj další validační sada.
Pro malé hledání může být praktický experimentální přehled jednoduchý a výslovný:
| Záznam | Proč je důležitý |
|---|---|
| Verze kódu a dat | Aby opakované spuštění používalo stejné vstupy a logiku |
| Každá vyzkoušená varianta | Abychom vítěze chápali v kontextu celého hledání |
| Role vývojového, validačního a testovacího období | Aby se finální skóre potají znovu nepoužívalo k ladění |
| Poplatky, financování a předpoklady provádění pokynů | Aby vykázaný výsledek popisoval simulaci, kterou lze otestovat |
Po otevření testovacího vzorku se vraťte k vývoji s novou výzkumnou otázkou a starý výsledek uchovejte jako historický doklad. Nepokračujte v dolaďování stejné strategie vůči období, které už viděla.
Agent odvedl svou práci: rychle prohledal možnosti a našel konfiguraci, kterou stálo za to prozkoumat. Naším úkolem bylo zpřehlednit hledání, zachovat nedotčený test a vnímat skóre jako měření s vlastní historií. Zajímavým výsledkem nebylo 4.1 ani 0.3. Bylo to přesné zjištění, jak vzniklo to první číslo.
← Všechny články
