В понедельник наш ИИ-агент для исследований нашёл стратегию торговли криптовалютными фьючерсами с коэффициентом Шарпа 4.1. К четвергу, когда мы подсчитали эксперименты и перестали позволять агенту подстраиваться под одно и то же валидационное окно, результат снизился до 0.8. Стратегия не изменилась. Изменилась наша оценка того, чего удалось добиться поиском.
Мы вели этот небольшой исследовательский дневник, потому что совет «оптимизируйте осторожно» легко дать, но трудно воплотить на практике, когда агент умеет писать код, запускать бэктесты, проверять оценку и за считаные минуты пробовать снова. Вот что пошло не так, по порядку.
Понедельник: задаём агенту чёткие рамки
Мы попросили агента проверить простую идею следования за трендом на часовом таймфрейме на ликвидном рынке бессрочных фьючерсов: открывать позицию, когда короткая скользящая средняя пересекает длинную, выбирать размер позиции под фиксированный целевой уровень волатильности и закрывать её при обратном сигнале. Мы указали инструмент, даты, комиссии, историю финансирования, допущение об исполнении и диапазоны параметров для перебора.
Историческая выборка охватывала период с 2021 по 2025 год. 2021–2023 годы мы отвели на разработку, 2024-й — на валидацию, а 2025-й оставили закрытым контрольным периодом. Это разделение было задано в конфигурации задачи: агент мог видеть результаты разработки и оценки на валидации, но не мог получить доходности за контрольный период.
Первая ошибка: мы разрешили перебрать 300 комбинаций параметров в одной задаче, но не стали учитывать бюджет поиска как результат исследования. Агент выдал лучший вариант: короткая средняя за 9 часов, длинная за 73 часа и целевая волатильность 0.8%. Коэффициент Шарпа на валидации составил 4.1. Мы знали, что агент перепробовал много настроек. Но ещё не сделали так, чтобы об этом невозможно было забыть.
Вторник: при повторном запуске победитель сменился
Мы повторили ту же задачу в чистом окружении. Лучшая настройка изменилась, а коэффициент Шарпа упал до 2.7. В первом запуске кэш рыночных данных предоставил обновлённый ряд финансирования, тогда как при повторном запуске использовался зафиксированный снимок данных. В обоих заданиях был указан один и тот же диапазон дат, но воспроизводимая версия данных была только у одного из них.
Мы перестали сравнивать оценки и начали фиксировать данные обо всём эксперименте: ревизию кода, снимок данных, комиссии, финансирование, настройки исполнения, значения параметров и каждую попытку, запущенную агентом. Выяснилось, что 4.1 — не таинственное преимущество на рынке, а результат одной настройки из 300 попыток на одном и том же валидационном году.
Среда: фиксируем поиск до открытия контрольного периода
Мы повторили эксперимент с фиксированным снимком данных и заранее объявленной сокращённой сеткой: 24 комбинации. Агент мог ранжировать их на периоде разработки 2021–2023 годов. Мы показали ему 2024 год один раз — для выбора, — а затем зафиксировали выбранные настройки и код.
Коэффициент Шарпа выбранной стратегии на валидации составил 0.8. На закрытом контрольном периоде 2025 года он оказался равен 0.3 после учёта комиссий taker, финансирования и той же задержки исполнения на один бар, которую мы применяли во всём исследовании. Это полезный ответ. Но он не доказывает, что стратегия будет приносить прибыль на реальном счёте.
Небольшое отступление об этой неделе: мы потратили больше времени на согласование того, что считать «одной попыткой», чем на написание кода скользящих средних. Мы считали попыткой каждый набор изменённых параметров, а также каждый запуск с изменённым сигналом или правилом расчёта размера позиции. Для нового снимка данных или допущения об исполнении мы заводили отдельную запись запуска, поскольку они могли повлиять на ранжирование не меньше.
Четверг: от чего мы отказались бы в следующий раз
Мы бы отказались от первой задачи без чётких рамок. Исследовательскому агенту нужны бюджет поиска и запись всех проверенных вариантов — особенно если он использует каждый результат, чтобы решить, что пробовать дальше. Контрольный период также нужно защищать от неформального подглядывания: стоит кому-то увидеть результат и изменить стратегию, как этот период превращается в ещё одну валидационную выборку.
Для небольшого поиска подойдёт простой и понятный журнал экспериментов:
| Что фиксировать | Зачем это нужно |
|---|---|
| Версии кода и данных | Чтобы повторный запуск использовал те же входные данные и логику |
| Каждый проверенный вариант | Чтобы оценивать победителя с учётом всего поиска |
| Роли периодов разработки, валидации и контрольного периода | Чтобы финальную оценку незаметно не использовали повторно для настройки |
| Комиссии, финансирование и допущения об исполнении | Чтобы опубликованный результат описывал проверяемую симуляцию |
После открытия контрольного периода вернитесь к разработке с новым исследовательским вопросом, а прежний результат сохраните как историческое свидетельство. Не продолжайте шлифовать ту же стратегию на периоде, который она уже видела.
Агент выполнил свою задачу: быстро провёл поиск и нашёл конфигурацию, которую стоило изучить. Наша задача заключалась в том, чтобы сделать поиск прозрачным, сохранить нетронутую тестовую выборку и рассматривать оценку как измерение с предысторией. Самым интересным результатом было не 4.1 и не 0.3, а возможность точно увидеть, как получилось первое число.
← Все статьи
