Добавление рынков в поиск стратегии может сделать лучший бэктест убедительнее на вид, но ослабить доказательства. Более высокий Sharpe после добавления тикеров часто считают признаком диверсификации; однако если вы искали победителя среди этих тикеров, то увеличили и число шансов на удачу.
Это различие важно и тогда, когда агент предлагает сотни сигналов, и тогда, когда исследователь вручную проверяет несколько вариантов. Пространство поиска включает все комбинации рынков, таймфреймов, признаков и параметров, результаты которых повлияли на окончательный выбор. Фраза «мы запустили только одну стратегию» ничего не говорит о том, сколько кандидатов прошло отбор.
Почему более широкий рыночный универсум может завысить лучший Sharpe?
Представим, что мы тестируем один и тот же шаблон стратегии на 40 не связанных между собой рынках. Для простоты предположим, что истинный Sharpe каждого рынка равен нулю, а стандартная ошибка каждой оценки Sharpe составляет 0.5. Оценки колеблются около нуля. Но если выбрать наибольшую, она обычно окажется положительной просто потому, что мы выбрали максимум.
Приближённая нормальная модель предсказывает, что максимум из 40 независимых шумовых оценок окажется примерно на 1.3 стандартной ошибки выше нуля — то есть около 0.65 Sharpe в этом примере. Точное значение зависит от взаимосвязи оценок, длины выборки и распределения доходностей. Суть в том, что отбор создаёт оптимистичное смещение, даже если ни у одной стратегии нет преимущества.
Ведите журнал поиска. Записывайте каждый проверенный рынок и каждого кандидата, в том числе неудачные запуски и варианты, от которых отказались. Число испытаний для итоговой стратегии определяется тем, что повлияло на выбор, а не количеством файлов, оставшихся после очистки.
Рынки — не независимые броски монеты. BTC и ETH часто движутся вместе; два фондовых индекса могут разделять большую часть рисков. Это уменьшает эффективное число независимых испытаний, но не устраняет проблему. Кроме того, коррелирующие рынки могут различаться комиссиями, фандингом, ликвидностью и часами, в которые работает сигнал.
Считается ли тестирование большего числа рынков множественным тестированием?
Да, если вы используете результаты, чтобы решить, что оставить. Если исходная гипотеза звучала как «это правило улавливает эффект фандинга на основных бессрочных контрактах», то проверка на разных рынках — часть проверки этой гипотезы. Если вы протестировали 50 рынков, нашли лучший и затем сформулировали гипотезу, исходя из его поведения, выбор универсума стал частью оптимизации.
Полезно различать широту, выбранную заранее, и широту, выбранную после ознакомления с результатами. Фиксированная корзина позволяет проверить устойчивость идеи в заданной области. Корзина, которую расширяют, пока на каком-нибудь инструменте не появится впечатляющая кривая капитала, — это поисковая процедура. Оба подхода могут быть уместны в исследовании, но отвечают на разные вопросы.
| Исследовательский выбор | Что он позволяет подтвердить | Чего он сам по себе не доказывает |
|---|---|---|
| Заранее заданная корзина, одинаковый подход ко всем рынкам | Как правило работает на выбранных рынках | Что корзина представляет все рынки, на которых можно торговать |
| Лучший по результатам рынок, выбранный после тестирования | Какой из протестированных рынков показал лучший исторический результат | Что выбранная оценка Sharpe не смещена |
| Рынки, отложенные до начала поиска | Переносится ли зафиксированное правило на рынки, не участвовавшие в поиске | Что будущие условия будут соответствовать отложенной выборке |
Как проверить, переносится ли преимущество на новые рынки?
Зафиксируйте исследовательские решения до того, как откроете отложенную выборку. Это определение сигнала, параметры, правила отбора рынков, график ребалансировки и предположения об исполнении. Затем оцените неизменённую стратегию на рынках, которые не повлияли на эти решения.
Например, допустим, правило криптовалютного моментума разработано на бессрочных контрактах BTC и ETH за период до конца 2023 года. Можно заранее отложить набор других ликвидных бессрочных контрактов, выбрав их по правилу, которое использует только информацию, доступную до тестового периода, и не включать эти контракты в настройку. Примените зафиксированное правило к этим контрактам в 2024 и 2025 годах. Учитывайте фактический тариф комиссий каждой площадки, выплаты фандинга, спецификации контрактов и обоснованное предположение о влиянии на цену; тест переноса без торговых издержек, специфичных для рынка, может принять разницу в издержках за отказ сигнала — или скрыть такой отказ.
Покажите распределение результатов по отложенным рынкам, а не только совокупный Sharpe. Совокупный портфель может скрыть, что почти всю доходность обеспечил один рынок. Укажите чистый результат, число сделок и просадку для каждого рынка, а также долю совокупного P&L, приходящуюся на крупнейший рынок. Если правило работает только на одном контракте, называйте результат специфичным для этого контракта.
Честно соблюдайте и разделение по времени. Рынок может не участвовать в поиске, но период его данных всё равно может пересекаться с тем же режимом, который обеспечил результат при разработке. Отложенная проверка на других рынках показывает, переносится ли правило между инструментами; проверка на более позднем периоде — переносится ли оно во времени. Это разные тесты, и сильный результат в одном не заменяет другой.
А если стратегии действительно нужно больше рынков?
Тогда включите их, но заранее определите правила. Портфельное правило, которое торгует всеми подходящими рынками по фиксированному сигналу, отличается от конкурса, где побеждает рынок с лучшим историческим результатом. Пригодность рынка следует определять без обращения к будущей доходности — например, по порогу ликвидности на конкретный момент времени и требованию к минимальной длине истории. Для изменений состава тоже нужны временные отметки: иначе текущий список «ликвидных рынков» может задним числом включить в старый бэктест только тех, кто выжил до сегодняшнего дня.
Критики правы: узкий универсум может привести к хрупкой стратегии, а широкое тестирование — полезная проверка устойчивости. Решение не в том, чтобы отказаться от тестирования рынков. Нужно отделить рынки, на которых мы искали идею, от рынков, на которых проверяем зафиксированную идею, и учитывать работу по поиску как часть доказательств.
Широкий универсум может помочь стратегии выдержать проверку вне лаборатории. Но он также может помочь удачному бэктесту победить в конкурсном отборе внутри лаборатории. Журнал поиска и отложенная выборка подскажут, какую из этих историй подтверждает ваш Sharpe.
← Все статьи
