Бэктест лучше подходит для отсева стратегий, чем для выбора одной из них. Как только вы начинаете выбирать среди множества вариантов по историческим результатам, бэктест становится частью эксперимента, а у кажущегося победителя обнаруживается скрытая цена: смещение отбора.
Звучит нелогично. Мы проводим бэктесты, чтобы выяснить, какая стратегия работает. Но каждый выбор, сделанный на основе одной и той же истории, расходует часть её доказательной силы. Измените период расчёта, порог, набор активов, день ребалансировки или правило стопа после просмотра результатов — и вы задали данным ещё один вопрос. В конце концов вопросов становится столько, что данные случайно дают убедительный ответ.
Почему чем больше стратегий мы тестируем, тем меньше доверия заслуживает лучший результат?
Представьте, что вы тестируете 100 стратегий, у которых на самом деле нет преимущества. Их доходности всё равно будут различаться. Если оценки результатов примерно независимы, а шум распределён нормально, лучший Sharpe среди них окажется положительным, хотя истинный Sharpe каждой стратегии равен нулю.
Приближённо ожидаемый максимум для 100 независимых выборок из стандартного нормального распределения на 2.5 стандартного отклонения выше среднего. Считайте это иллюстрацией, а не поправкой, которую можно просто вставить в отчёт: реальные варианты стратегий коррелируют между собой, у оценок Sharpe есть собственная ошибка выборки, а доходности редко ведут себя как аккуратные выборки из нормального распределения. Но практический вывод остаётся в силе: чем больше вариантов вы изучаете, тем вероятнее, что лучший показатель отражает удачное сочетание случайных факторов.
И «вариант» — это не только сохранённый бэктест. Это каждый выбор, сделанный после просмотра результата: расширить набор активов, потому что график выглядит нестабильно, исключить неудачный год или менять допущение о комиссиях, пока кривая не восстановится. Такие решения тоже считаются, даже если никто не присвоил им номер версии.
Заведите журнал исследования до запуска следующего варианта
Записывайте весь поиск, включая отброшенные идеи и причины каждого изменения. Так вы получите более честное представление о том, насколько результат зависел от отбора, и вам будет сложнее помнить только удачные испытания.
| Что записывать | Пример | Почему это важно |
|---|---|---|
| Гипотеза | Краткосрочный возврат к среднему выражен сильнее после необычно крупных движений BTC perp | Отделяет исходную идею от выбранных впоследствии параметров |
| Вариант и время запуска | Сигнал за 48 часов, 2026-10-09, запуск 014 | Позволяет учитывать перебранные варианты и связывать результаты с кодом и данными |
| Правило отбора | Выбрать по чистому Sharpe; минимум 100 сделок | Показывает, что означало «лучший» до сравнения вариантов |
| Отброшенные варианты | Окна 12, 24 и 72 часа; все сохранены | Не позволяет явному победителю затмить соперников |
Журнал не отменит последствия поиска. Он делает ход исследования понятным, а это первый шаг к оценке того, насколько победитель заслуживает доверия.
Отведите данные, к которым нельзя постоянно возвращаться в ходе исследования
Разделите данные по времени, а затем защитите финальный период. Разрабатывайте стратегию на одном отрезке, принимайте решения на основе валидационного отрезка, а замороженную стратегию один раз оцените на более поздней отложенной выборке. Например, для разработки можно взять 2018–2022, для валидации — 2023, а 2024–2025 оставить для финальной оценки. Это лишь пример: границы разбиения должны зависеть от рынка, горизонта стратегии и доступности данных.
Заранее определите, что значит «замороженная» стратегия: сигнал, набор активов, размер позиции, допущения об исполнении и правила обработки пропусков в данных. Если результаты на отложенной выборке разочаруют и вы подстроите под неё стратегию, этот период станет валидационным. Для следующей честной оценки понадобятся новые данные.
Здесь также сказываются малые выборки. Если за период отложенной выборки стратегия совершила 18 сделок, этого недостаточно для точного вывода. Указывайте число сделок и неопределённость вместе со статистикой доходности: одно среднее значение может создать впечатление, будто вывод по малой выборке уже окончательный.
Значит ли это, что бэктесты бесполезны при выборе стратегий?
Нет. Критики правы в том, что строгие отложенные выборки могут быть расточительны: рынки меняются, исторические данные ограничены, а нетронутый период может отражать лишь один необычный режим. Тщательно спланированное скользящее тестирование покажет, как ведёт себя стратегия по мере продвижения доступной истории. Но многократная настройка всё равно не становится бесплатной. Если вы изучаете результаты каждого фолда и меняете стратегию, эти фолды повлияли на исследование.
Используйте бэктесты, чтобы выявлять слабые места, сравнивать небольшое число идей, основанных на рыночном механизме, и проверять, сохраняются ли результаты при реалистичных изменениях комиссий, фандинга, рыночного воздействия и параметров. Ведите журнал. Сохраните финальную отложенную выборку. Затем переведите перспективную замороженную версию в бумажную торговлю, где могут выявиться расхождения в работе.
Самый убедительный ответ бэктеста часто звучит так: «Эта идея ломается в условиях, которые мы уже можем наблюдать». Если же он говорит: «Это лучшая стратегия», спросите, сколько ещё ответов от него требовали.
← Все статьи
