Бектест краще відсіює стратегії, ніж допомагає обрати одну. Щойно ви використовуєте історичні результати для вибору серед багатьох варіантів, бектест стає частиною експерименту, а видимий переможець починає мати приховану ціну — упередження відбору.
Звучить нелогічно. Ми проводимо бектести, бо хочемо з’ясувати, яка стратегія працює. Але кожне рішення, підказане тією самою історією, витрачає частину її доказової сили. Змініть період огляду, поріг, набір активів, день ребалансування чи правило стопу після того, як побачили результати, — і ви поставили даним ще одне запитання. Зрештою запитань стане достатньо, щоб випадково отримати переконливу відповідь.
Чому що більше стратегій ми тестуємо, то менше можна довіряти найкращому результату?
Уявімо, що ми тестуємо 100 стратегій, які насправді не мають переваги. Їхні результати все одно відрізнятимуться. Якщо оцінки результативності приблизно незалежні, а шум має нормальний розподіл, найкращий Sharpe серед них буде додатним, хоча справжній Sharpe кожної стратегії дорівнює нулю.
За грубим наближенням, очікуваний максимум серед 100 незалежних стандартних нормальних значень лежить на 2.5 стандартного відхилення вище за середнє. Сприймайте це як ілюстрацію, а не як поправку, яку можна вставити у звіт: реальні варіанти стратегій корельовані, оцінки Sharpe мають власну похибку вибірки, а дохідність рідко поводиться як акуратна вибірка з нормального розподілу. Попри ці застереження, практичний висновок залишається: що більше варіантів ви перевіряєте, то ймовірніше, що найвища оцінка відображає сприятливий шум.
І «варіант» — це не лише збережений бектест. Це кожен вибір, зроблений після перегляду результату: розширення набору активів, бо графік виглядає рваним, виключення невдалого року або зміна припущення про комісії, доки крива не відновиться. Такі рішення теж рахуються, навіть якщо ніхто не присвоїв їм номер версії.
Перш ніж запускати наступний варіант, заведіть журнал дослідження
Фіксуйте весь пошук, зокрема відкинуті ідеї та причину кожної зміни. Так ви чесніше відобразите, наскільки результат залежав від відбору, і зменшите ризик пригадувати лише вдалі спроби.
| Що фіксувати | Приклад | Чому це важливо |
|---|---|---|
| Гіпотеза | Короткострокове повернення до середнього сильніше після незвично великих рухів BTC perp | Відокремлює ідею від її майбутніх значень параметрів |
| Варіант і часова мітка | Сигнал за 48 годин, 2026-10-09, запуск 014 | Обліковує пошук і пов’язує результати з кодом та даними |
| Правило відбору | Обирати за чистим Sharpe; щонайменше 100 угод | Показує, що означало «найкращий» до порівняння |
| Відхилені варіанти | Вікна 12, 24, 72 години; усі збережено | Не дає видимому переможцю стерти з пам’яті конкурентів |
Журнал не скасує проведений пошук. Він зробить його зрозумілим — це перший крок до оцінки того, наскільки переможець заслуговує на довіру.
Зарезервуйте дані, до яких дослідницький процес не зможе повертатися знову і знову
Розділіть дані за часом, а потім захистіть фінальний період. Розробляйте стратегію на одному відрізку, ухвалюйте рішення на валідаційному відрізку, а заморожену стратегію оцініть один раз на пізнішій контрольній вибірці. Наприклад, для розробки можна взяти 2018–2022 роки, для валідації — 2023 рік, а 2024–2025 роки залишити в резерві. Це лише начерк: поділ має залежати від ринку, горизонту стратегії та охоплення даних.
Заздалегідь визначте, що означає «заморожена» стратегія: сигнал, набір активів, розмір позицій, припущення щодо виконання та правила роботи з відсутніми даними. Якщо результати на контрольній вибірці розчарують і ви підлаштуєте під них стратегію, цей період стане валідаційними даними. Для наступної чесної оцінки знадобляться нові дані.
Саме тут даються взнаки малі вибірки. Стратегія, яка здійснила 18 угод на контрольному відрізку, не дає підстав для точного висновку. Показуйте кількість угод і невизначеність разом зі статистикою дохідності: одне середнє значення може створити враження, ніби за малою вибіркою вже все зрозуміло.
То що, бектести марні для вибору стратегій?
Ні. Критики мають рацію: суворі контрольні вибірки можуть марнувати дані — ринки змінюються, історія коротка, а недоторканий період може відображати лише один незвичний режим. Ретельно спланована ковзна перевірка може показати, як поводиться стратегія, коли доступна історія послідовно зсувається вперед. Але це не скасовує ціну повторного налаштування. Якщо ви аналізуєте кожен фолд і змінюєте стратегію, ці фолди вплинули на дослідження.
Використовуйте бектести, щоб виявляти режими відмови, порівнювати невелику кількість ідей, що спираються на ринковий механізм, і перевіряти, чи зберігаються результати за правдоподібних значень комісій, фінансування, впливу на ринок і параметрів. Ведіть журнал. Збережіть фінальну контрольну вибірку. Потім перенесіть перспективну заморожену версію в паперову торгівлю, де можуть виявитися операційні невідповідності.
Найпереконливіша відповідь бектесту часто звучить так: «Ця ідея ламається за умов, які ми вже бачимо». Коли він каже: «Це найкраща стратегія», запитайте, скільки інших відповідей ви від нього вимагали.
← Усі статті
