Бэктестинг, оптимизация и проверка стратегии

Как формируются результаты с учётом реальных издержек и что нужно для продвижения стратегии.

Реальные комиссии и издержки бирж

При тестировании на исторических данных учитываются опубликованные каждой площадкой комиссии мейкера и тейкера, выплаты финансирования по бессрочным фьючерсам и модель рыночного воздействия при каждом исполнении. Стоимость капитала переоценивается по рынку на каждом баре, а позиции с кредитным плечом могут быть ликвидированы при достижении поддерживающей маржи площадки. Результаты всегда приводятся с учётом издержек.

Размер позиции и кредитное плечо

Стратегии рассчитывают размер позиции относительно капитала счёта, а не в фиксированных суммах. Запрошенное кредитное плечо передаётся в движок и ограничивается максимумом площадки: для спотовых площадок и площадок опционов оно равно одному, фьючерсные площадки допускают большее значение. На спотовых счетах нельзя открывать короткие позиции; это ограничение обеспечивает базовый класс стратегий.

Оптимизация в три этапа

Анализ чувствительности изменяет каждый параметр на двадцать процентов, чтобы выявить резкие провалы. При скользящей оптимизации байесовский поиск выполняется по последовательным окнам, а результаты внутри и вне выборки отслеживаются отдельно. Финальная контрольная выборка — последняя пятая часть данных — тестируется один раз; её результат должен подтвердиться результатом на вневыборочных данных при скользящей оптимизации.

Выявление переобучения

Стратегия отклоняется, если результаты на вневыборочных данных отрицательные, отношение результатов внутри и вне выборки слишком высокое, вероятность переобучения на исторических данных выше одной второй или скорректированный коэффициент Шарпа, учитывающий число проведённых испытаний, больше не подтверждает результат.

Пороги для перевода на следующий этап

Минимальные пороговые значения для перевода стратегии на следующий этап применяются программно на основе опубликованного файла критериев. Обязательные условия охватывают переобучение, неположительные результаты на вневыборочных данных, провал контрольной выборки и отсутствие сделок; отступать от них нельзя. Условия, допускающие исключение, охватывают коэффициент Шарпа, фактор прибыли, просадку и долю прибыльных сделок. Исключение возможно только при наличии записанной причины, которую подтверждает или отклоняет ответственный за риски.

Как объективно оценить результаты тестирования

Сравните кривую капитала с просадкой, проверьте, на скольких сделках основан результат, и сопоставьте среднюю доходность сделки с издержками полного цикла. Высокая доходность на нескольких сделках или коэффициент Шарпа, исчезающий на вневыборочных данных, — это повод насторожиться, а не подтверждённый результат.