Бектест може виглядати переконливіше, якщо погіршити його дані. Приберіть непривабливі відбитки цін, заповніть прогалини акуратними цінами — і коефіцієнт Шарпа може зрости. Таке поліпшення може бути тривожним сигналом: правило очищення, можливо, стерло саме ті ринкові умови, в яких ваша стратегія має витримати випробування.
Якість даних має значення. Перехресні котирування або дубльована угода можуть створити виконання, якого ніхто не міг отримати. Але фільтр, що прибирає незручні спостереження, — це теж вибір моделі. Ставтеся до нього з тією самою підозрою, що й до нової сигнальної ознаки.
Коли погана ціна справді означає погані дані?
Почніть із запитання, що саме відображає спостереження. Угода за ціною, далекою від поточного ринку, може бути пошкодженим записом, справжнім проходом крізь тонку ліквідність або подією, специфічною для майданчика. Хвилинна свічка з нульовим обсягом може означати, що угод не було, тоді як відсутня свічка може свідчити про збій потоку даних. До цих випадків слід застосовувати різний підхід.
Розгляньмо просту стратегію повернення до середнього: вона купує, коли ціна падає на 1% нижче короткої ковзної середньої, і виходить за її досягнення. Під час малоліквідного нічного періоду проходить одна угода на 1.2% нижче попередньої ціни, а потім ринок одразу відскакує. Якщо цей відбиток справжній, стратегія з виставленим лімітним ордером могла отримати виконання. Якщо ж це помилковий тік, якому не відповідало жодне виконуване котирування, зараховане виконання створює неіснуючу перевагу.
Видалити свічку — не означає автоматично вчинити безпечніше. Ордер стратегії міг і далі залишатися на ринку, а наступна справжня угода могла його виконати. Обґрунтоване відтворення має моделювати, що могла спостерігати стратегія і проти чого її ордер міг правдоподібно виконатися.
Як правило очищення впливає на результат?
Запустіть стратегію з чітко визначеними способами обробки даних і порівняйте зміни. Збережіть вихідне джерело та зафіксуйте кожне вилучення чи виправлення із зазначенням причини. Потім покажіть, наскільки результат залежить від цих рішень.
| Обробка даних | Потенційна користь | Ризик для бектесту |
|---|---|---|
| Вилучити відбиток ціни за межами задокументованого діапазону помилок біржі | Не дає відомо недійсному запису встановити екстремальне значення | Правило може помилково класифікувати легітимні угоди під час швидкого руху ринку |
| Перенести останню ціну на відсутній інтервал | Дає індикаторам змогу працювати попри прогалини | Створює ціну, за якою могло не бути жодної угоди |
| Використовувати зведені котирування замість цін останніх угод | Дає краще уявлення про відображені ціни виконання | Розмір котирування, доступ до майданчика та позиція в черзі все одно мають значення |
| Вилучити всі аномальні свічки за статистичним порогом | Зменшує чутливість до екстремальних значень | Може прибрати реальні періоди стресу, на яких стратегія зазнає найбільших втрат |
Припустімо, коефіцієнт Шарпа незфільтрованого запуску становить 0.9, а після вилучення 0.8% свічок він зростає до 1.4. Саме по собі це не свідчить про перемогу в якості даних. Перевірте, чи зосереджені вилучені свічки навколо сплесків волатильності, чи припадає на них суттєва частка P&L і чи визначили правило вилучення до того, як побачили результат.
Ведіть журнал винятків у даних: джерело, мітка часу, зачеплені поля, причина дії та інформація про те, чи ухвалили рішення до або після перегляду результатів стратегії.
Як перевірити, чи змінило очищення перевагу стратегії?
Зафіксуйте стратегію та порівняйте кілька правдоподібних способів обробки за ті самі дати. Якщо можливо, додайте відтворення на сирих даних, набір задокументованих виправлень і консервативний сценарій виконання для неоднозначних спостережень. Для кожного запуску разом із коефіцієнтом Шарпа наведіть кількість угод, оборот, просідання та внесок зачеплених інтервалів у P&L.
Потім перегляньте угоди, які змінилися. Якщо найприбутковіші угоди стратегії зникають після вилучення невеликої групи підозрілих відбитків цін, перевірте ці записи окремо. Якщо зникають збиткові угоди — так само ретельно перевірте і їх. Якщо правило привертає увагу лише тоді, коли шкодить бектесту, воно вже виконує дослідницьку роботу.
Щоб дослідження можна було відтворити, версіонуйте файли постачальника або їхні контрольні суми, код очищення та список винятків. Постачальник може переглянути історичні дані; наступний запуск має дати змогу зрозуміти, що змінилося — стратегія чи вхідні дані.
Але хіба очищення не потрібне?
Потрібне. Очевидно пошкоджений запис може створити штучну угоду, спотворити волатильність або зламати індикатор. І ніхто не має вдавати, ніби сирий потік даних є абсолютною правдою. Практичний висновок вужчий: для очищення потрібні докази, зафіксоване правило та перевірка чутливості, адже воно може змінити те, який саме ринок, за твердженням бектесту, відображають дані.
Якщо виправлення даних поліпшує результат, запитайте себе, яке спостереження воно прибрало і чи ухвалили б ви те саме рішення, не побачивши кривої капіталу. Якщо відповідь непевна, збережіть обидві версії в дослідницькому записі. Різниця між ними — частина результату.
← Усі статті
