Чотири числа можуть розповісти неприємну історію: Sharpe 1.4 у walk-forward тесті, 312 історичних угод, 46 угод у paper trading і розрив у ціні виконання між paper trading і бектестом у 18 базисних пунктів. Саме Sharpe потрапляє в заголовок. Але 18 базисних пунктів можуть пояснити, чому стратегія вже здається іншою, хоча історії paper trading іще недостатньо, щоб оцінити її результати.
Walk-forward тестування перевіряє, чи міг дослідницький процес відібрати стратегію на основі минулих даних і оцінити її на пізніших. Paper trading перевіряє, чи працює запущена система — з її поточними даними, годинниками, логікою ордерів і виконанням — так само, як перевірений процес. Це пов’язані запитання, але відповідь на перше автоматично не дає відповіді на друге.
Що саме підтверджує walk-forward валідація?
Припустімо, ви навчаєте або відбираєте стратегію на даних за 6 місяців, а потім оцінюєте її на даних за наступний місяць. Зсувайте це вікно вперед і повторюйте. Якщо кожен тестовий місяць не входить до відповідного процесу відбору, це дає свідчення про результати стратегії за низки історичних умов.
Це не підтверджує, що paper trading відтворить ті самі рішення або виконання ордерів. В історичному тесті можуть використовуватися завершені свічки, фіксований розклад комісій і спрощена модель ринкових ордерів. Процес paper trading отримує дані в міру їх надходження та надсилає симульовані ордери іншим шляхом. Один процес може бути коректним, тоді як між ними є невідповідність.
Тому співвідношення 46 угод у paper trading до 312 у walk-forward вибірці саме по собі нічого не доводить. Перевірте вікно порівняння, частоту сигналів, відкриті позиції на межах періодів і те, чи однаково визначено угоду для обох підрахунків. Запуск paper trading протягом 6 тижнів не може дати стільки ж угод, як тести на ковзних вікнах за рік.
Чому розрив у виконанні ордерів такий показовий?
Перш ніж тлумачити криву капіталу paper trading, варто розібратися із середнім розривом у 18 базисних пунктів. Його рахують від ціни виконання, закладеної в бектесті, до ціни виконання в симуляторі paper trading чи від середньої ціни на момент рішення до ціни виконання в paper trading? Це різні показники. Фіксуйте окремо ціну на момент рішення, ціну на момент надходження ордера, симульовану ціну виконання, комісії та можливі фандингові платежі.
| Спостережувана різниця | Що перевірити спершу | Чому це важливо |
|---|---|---|
| Менше угод у paper trading | Часові мітки сигналів і правила допустимості | Відсутній або затриманий вхідний сигнал може перешкодити ухваленню рішення |
| Ті самі угоди, гірше виконання | Тип ордера, спред, вплив на ринок і рівень комісії | Бектест може припускати дешевший спосіб виконання |
| Інші розміри позицій | Грошові кошти, множник контракту й округлення | Невеликі розбіжності в одиницях виміру накопичуються в серії ордерів |
| Відхилення після перезапуску | Відновлена позиція та відкладені ордери | Після перезапуску процес paper trading може відновитися з іншого стану |
Наприклад, бектест із купівлею на відкритті наступної свічки може давати результат, близький до ринкового ордера в paper trading на ліквідному інструменті. Але якщо ордер paper trading надходить після різкого руху, розрив охоплює і затримку з рухом ринку, і витрати на виконання. Якщо назвати всі 18 базисних пунктів «прослизанням», причина залишиться незрозумілою.
Як порівняти paper trading із walk-forward тестом?
Почніть із рішень, потім перевірте ордери й виконання. Для кожного рішення в paper trading відтворіть роботу тієї самої версії стратегії на тих самих вхідних даних і порівняйте, що було відомо системі в той момент. Для коректного порівняння записуйте:
- Версію стратегії та параметри, зокрема вікно відбору, на основі якого їх визначено.
- Вхідні значення із часом події та часом доступності.
- Сигнал, цільову й поточну позиції та запропонований ордер.
- Обмеження ордерів, комісії, фандингові платежі та деталі симульованого виконання.
- Стан грошових коштів і позицій до та після виконання.
Якщо сигнали відрізняються, перевірте час надходження даних і версії коду. Якщо сигнали збігаються, але ордери різні, перевірте розмір позиції, правила біржі та стан портфеля. Якщо ордери збігаються, але виконуються по-різному, перевірте припущення щодо виконання. Розглядайте ці рівні окремо, інакше один показник результативності спрямує пошук не туди.
Коли відхилення свідчить про несправність стратегії?
Коли процеси узгоджено, порівняйте результати за достатньо тривалий спільний період і перевірте, чи відповідають вони очікуваній поведінці стратегії. Кілька угод у paper trading можуть швидко виявити помилку в часових мітках або шляху проходження ордера. Але за ними не можна надійно визначити, що середня дохідність стратегії змінилася. Для цього потрібна достатня кількість спостережень, а необхідна кількість залежить від того, наскільки мінливі та згруповані її доходи.
Ринкові умови теж можуть змінитися. Розширення спреду або стійко несприятливий фандинг можуть погіршити результати стратегії, навіть якщо кожне рішення збігається. Це реальна зміна умов торгівлі, а не помилка валідації. Записуйте витрати й експозиції поряд із дохідністю, щоб різницю було видно.
Walk-forward валідація свідчить про роботу процесу відбору на історичних періодах. Paper trading показує, як працює запущена система за спостережуваних умов. Коли результати розходяться, спершу знайдіть найраніший момент, у якому їхні записи перестають збігатися. Неочікуваним показником часто виявляється не Sharpe, а невелика розбіжність у виконанні ордерів або даних, через яку ці два експерименти відповідають на різні запитання.
← Усі статті
