У понеділок наш AI-агент для досліджень знайшов стратегію торгівлі криптовалютними ф'ючерсами з коефіцієнтом Sharpe 4.1. До четверга, коли ми підрахували експерименти й заборонили агенту налаштовувати стратегію на тому самому валідаційному вікні, результат знизився до 0.8. Стратегія не змінилася. Змінилася наша оцінка того, чого вдалося досягти в ході пошуку.
Ми вели цей невеликий дослідницький щоденник, бо легко радити «оптимізуйте обережно», але важко втілити цю пораду на практиці, коли агент може писати код, запускати бектести, переглядати оцінки й за лічені хвилини пробувати знову. Ось що пішло не так і в якій послідовності.
Понеділок: ставимо агенту чіткі межі
Ми попросили агента перевірити просту ідею торгівлі за трендом на годинному таймфреймі на ліквідному ринку безстрокових ф'ючерсів: відкривати позицію, коли коротка ковзна середня перетинає довшу, визначати розмір позиції за фіксованим цільовим рівнем волатильності й закривати її за зворотним сигналом. Ми вказали інструмент, дати, графік комісій, історію фінансування, припущення щодо виконання й діапазони параметрів для пошуку.
Історична вибірка охоплювала період із 2021 до 2025 року. Дані за 2021–2023 роки ми відвели для розробки, 2024 рік — для валідації, а 2025 рік залишили недоторканим для фінального контрольного тесту. Цей поділ зафіксували в конфігурації завдання: агент міг переглядати результати на даних для розробки та оцінки на валідації, але не міг отримати дохідність за контрольний період.
Першою помилкою було дозволити агенту перевірити 300 комбінацій параметрів в одному завданні, не зафіксувавши бюджет пошуку як результат дослідження. Агент повернув найкращий варіант: швидка середня за 9 годин, повільна середня за 73 години й цільова волатильність 0.8%. Sharpe на валідації становив 4.1. Ми знали, що агент випробував багато налаштувань. Але ще не подбали про те, щоб про це було неможливо забути.
Вівторок: після повторного запуску переможець змінився
Ми повторно запустили те саме завдання в чистому середовищі. Найкраще налаштування змінилося, а Sharpe впав до 2.7. Під час першого запуску кеш ринкових даних надав оновлений ряд фінансування, тоді як повторний запуск використовував зафіксований знімок даних. Обидва завдання нібито використовували той самий діапазон дат, але відтворювану версію даних мав лише один запуск.
Ми перестали порівнювати оцінки й почали записувати повні дані експерименту: ревізію коду, знімок даних, комісії, фінансування, налаштування виконання, значення параметрів і кожну спробу, яку запускав агент. Стало зрозуміло: Sharpe 4.1 не був загадковою перевагою на ринку. Він належав одному налаштуванню серед 300 спроб на тому самому валідаційному році.
Середа: зупиняємо пошук до відкриття контрольної вибірки
Ми повторили експеримент із фіксованим знімком даних і меншою сіткою параметрів, визначеною заздалегідь: 24 комбінації. Агент міг ранжувати їх за результатами на періоді розробки 2021–2023 років. Ми дозволили йому переглянути 2024 рік один раз — для вибору, — після чого зафіксували вибрані налаштування та код.
Вибрана стратегія показала Sharpe 0.8 на валідації. На недоторканій контрольній вибірці за 2025 рік результат становив 0.3 з урахуванням taker-комісій, фінансування й тієї самої затримки виконання на 1 бар, що застосовувалася впродовж усього дослідження. Це була корисна відповідь. Але вона не доводила, що стратегія приноситиме прибуток на реальному рахунку.
Невеликий відступ за підсумками тижня: ми витратили більше часу на узгодження того, що вважати «однією спробою», ніж на написання коду ковзних середніх. Спробою ми вважали кожен змінений набір параметрів, а також кожен запуск зі зміненим сигналом або правилом визначення розміру позиції. Для нового знімка даних чи припущення щодо виконання створювали окремий запис запуску, оскільки вони могли так само змінити рейтинг.
Четвер: що ми пропустили б наступного разу
Ми б пропустили перше завдання без чітких меж. Дослідницькому агенту потрібні бюджет пошуку й запис усього, що він випробував, особливо коли результати допомагають йому вирішувати, що перевірити далі. Контрольну вибірку також потрібно захищати від неформального підглядання: щойно хтось переглядає її результат і змінює стратегію, вона стає ще одним валідаційним набором.
Для невеликого пошуку достатньо простого й чіткого журналу експериментів:
| Що записувати | Чому це важливо |
|---|---|
| Версії коду й даних | Щоб повторний запуск використовував ті самі вхідні дані й логіку |
| Кожен випробуваний варіант | Щоб оцінювати переможця з огляду на весь пошук |
| Призначення даних для розробки, валідації й контрольного тесту | Щоб фінальну оцінку непомітно не використали повторно для налаштування |
| Комісії, фінансування й припущення щодо виконання | Щоб представлений результат описував симуляцію, яку можна відтворити й перевірити |
Після відкриття контрольної вибірки поверніться до розробки з новим дослідницьким запитанням, а старий результат збережіть як історичне свідчення. Не продовжуйте вдосконалювати ту саму стратегію на періоді, результати якого вона вже бачила.
Агент виконав своє завдання: швидко провів пошук і знайшов конфігурацію, вартої уваги. Нашим завданням було зробити пошук прозорим, зберегти недоторканий тест і сприймати оцінку як вимірювання з власною історією. Цікавим результатом були не 4.1 і не 0.3. Цікавим було побачити, як саме отримали перше число.
← Усі статті
