Мы проверили 240 наборов параметров. Лучший показал коэффициент Sharpe 2.1; медианное значение составило 0.1; и только 17 результатов превысили 1.0. Эти цифры похожи на открытие, пока не узнаешь, что даже если у каждой стратегии нет реального преимущества, столь широкий поиск может случайно дать впечатляющего победителя.
Удивляет число 240. В отчёте о бэктесте обычно представляют выбранную стратегию так, будто она появилась сама по себе. Но исследования так не работают. Каждая корректировка параметра, замена признака, изменение набора активов и повторный запуск после неудачного результата дают шуму ещё один шанс выглядеть как сигнал.
Почему при тестировании большего числа стратегий растёт лучший Sharpe?
Представим 240 независимых стратегий без реального преимущества и с зашумлёнными оценками Sharpe. Большинство оценок окажутся около нуля, но максимальное значение, как правило, будет положительным. Чем больше кандидатов вы проверяете, тем дальше максимум может отойти от истинного значения.
Для наглядности предположим, что стандартная ошибка оценки Sharpe каждого кандидата равна 0.5. При 240 независимых выборках максимальная оценка может оказаться примерно на 1.4 стандартной ошибки выше среднего, то есть примерно на 0.7 Sharpe выше, просто из-за отбора. Реальные кандидаты стратегий коррелируют, поэтому эту оценку нельзя напрямую использовать как поправку в отчёте. Она показывает, почему утверждение «победитель превзошёл ноль» — слабое доказательство после широкого поиска.
К тому же поиск редко ограничивается сеткой параметров. Возможно, вы попробовали три семейства сигналов, отказались от двух, увидев их графики, изменили набор активов для торговли, а затем повторно запустили оставшийся вариант с другим графиком ребалансировки. Если на эти решения повлияли результаты, их нужно включить в историю исследования.
Что считать испытанием в бэктесте?
Считайте решение испытанием, если его результат мог повлиять на выбор стратегии. Сюда входят запуски, которые вы не опубликовали, и варианты, проверку которых вы досрочно прекратили из-за плохого вида кривой капитала. Ошибка компиляции — не испытание производительности; запуск, который дал разочаровывающий Sharpe, обычно считается.
| Действие в исследовании | Обычно считать? | Почему |
|---|---|---|
| Изменить период расчёта с 20 на 30 после анализа результатов | Да | Первый результат повлиял на следующего кандидата |
| Запустить ту же зафиксированную стратегию на заранее объявленном новом диапазоне дат | Обычно это не новое испытание для отбора | Правило зафиксировали до ознакомления с этими данными |
| Изменить набор активов после того, как стало ясно, какие из них показали лучший результат | Да | Отбор активов может улучшить видимый результат |
| Исправить синтаксическую ошибку и повторно запустить неизменённый код | Нет | Ни одно исследовательское решение не зависело от результатов |
Граница проходит там, где результат повлиял на принятое вами решение. По памяти восстановить это бывает трудно, поэтому в журнале экспериментов для каждого запуска нужно фиксировать гипотезу, версию кода или конфигурации, период данных, допущения о затратах и результат.
Можно ли скорректировать результаты с учётом множественных проверок?
Существуют методы оценки смещения отбора и корректировки значимости с учётом множества испытаний. Они могут быть полезны, но требуют допущений о взаимосвязи кандидатов и поведении доходностей. Номинальное p-значение или единственная оценка дефлированного Sharpe не спасут поиск, историю которого вы утратили.
Начните с того, что вы можете контролировать. Зафиксируйте окончательную спецификацию до оценки на действительно не затронутом периоде. Сохраняйте весь набор кандидатов. Тестируя множество связанных вариантов, группируйте их по решению, которое привело к их появлению, вместо того чтобы изображать каждый вариант независимым открытием. Расскажите о поиске наряду с победителем: укажите число испытаний, правило отбора и повлияла ли итоговая оценка на дальнейшие изменения.
Полезная проверка: если результат на отложенной выборке разочарует, измените ли вы стратегию, а затем снова назовёте тот же период отложенным? Если да, этот период теперь стал частью исследования. Для следующей оценки понадобятся новые данные.
Что должен записывать исследовательский AI-агент?
Агент может генерировать кандидатов быстрее, чем человек успевает удерживать их в памяти. Поэтому учёт испытаний должен быть частью исследовательской системы, а не рутинной задачей при подготовке отчёта. Сохраняйте каждого кандидата до запуска, указывая исходный эксперимент и причину его появления. Не удаляйте неудачные и отброшенные запуски. Фиксируйте, когда человек или агент ознакомился с результатами и какое решение было принято.
Затем сделайте процесс отбора воспроизводимым: при одинаковом наборе кандидатов и правиле он должен выбирать одного и того же победителя. Если агент продолжает менять промпт, цель или ограничения после ознакомления с результатами, эти изменения тоже относятся к поиску.
Sharpe 2.1 может заслуживать дальнейшего изучения. Его смысл зависит от того, каким путём вы его получили. Если журнал исследования показывает, что за первое место боролись 240 кандидатов, можно задать правильный следующий вопрос: какие данные ещё остались, если все эти решения уже были учтены?
← Все статьи
