Додавання ринків до пошуку стратегії може зробити найкращий бектест переконливішим на вигляд, водночас послабивши докази. Вищий Sharpe після додавання символів часто вважають ознакою диверсифікації; якщо ви шукали переможця серед цих символів, то водночас збільшили кількість шансів на випадкову удачу.
Ця різниця важлива і тоді, коли агент пропонує сотні сигналів, і тоді, коли дослідник вручну перевіряє кілька варіантів. Простір пошуку охоплює всі комбінації ринків, таймфреймів, ознак і параметрів, результати яких вплинули на остаточний вибір. Фраза «Ми запустили лише одну стратегію» не показує, скільки кандидатів брали участь у відборі.
Чому ширший всесвіт ринків може завищити найкращий Sharpe?
Уявімо, що ми тестуємо той самий шаблон стратегії на 40 не пов’язаних між собою ринках. Для простоти припустімо, що істинний Sharpe кожного ринку дорівнює нулю, а стандартна похибка кожної оцінки Sharpe становить 0.5. Оцінки коливаються навколо нуля. Але якщо вибрати найвищу, вона зазвичай буде додатною просто тому, що ми вибрали максимум.
За грубим наближенням нормальним розподілом найбільша з 40 незалежних шумових оцінок, як очікується, буде приблизно на 1.3 стандартної похибки вище нуля: у цьому прикладі це близько 0.65 Sharpe. Точне значення залежить від залежності між оцінками, довжини вибірки та розподілу дохідності. Суть у тому, що відбір створює оптимістичне упередження, навіть якщо жодна стратегія не має переваги.
Ведіть журнал пошуку. Записуйте кожен перевірений ринок і кожного кандидата, зокрема невдалі запуски та відкинуті варіанти. Кількість випробувань для остаточної стратегії визначається тим, що вплинуло на вибір, а не кількістю файлів, які пережили прибирання.
Ринки — це не незалежні підкидання монети. BTC і ETH часто рухаються разом; два фондові індекси можуть мати спільну більшу частину ризику. Це зменшує ефективну кількість незалежних випробувань, але не усуває проблему. До того ж корельовані ринки можуть відрізнятися комісіями, фандингом, ліквідністю та годинами, коли працює сигнал.
Чи вважається тестування більшої кількості ринків множинним тестуванням?
Так, якщо ви використовуєте результати, щоб вирішити, що залишити. Якщо початкова гіпотеза звучала як «це правило виявляє ефект фандингу на основних безстрокових контрактах», перегляд різних ринків є частиною перевірки цієї гіпотези. Якщо ви тестуєте 50 ринків, знаходите найкращий, а потім формулюєте гіпотезу відповідно до його поведінки, вибір всесвіту ринків стає частиною оптимізації.
Корисно розрізняти ширину вибірки, визначену заздалегідь, і ширину, обрану після перегляду результатів. Фіксований кошик ринків допомагає з’ясувати, чи є ідея стійкою в межах визначеної області. Кошик, який розширюють, доки один символ не покаже вражаючу криву капіталу, є процедурою пошуку. Обидва підходи можуть бути цілком доречними в дослідженні, але відповідають на різні запитання.
| Вибір у дослідженні | Що це може підтвердити | Чого це саме по собі не доводить |
|---|---|---|
| Заздалегідь визначений кошик, однаковий підхід до всіх ринків | Чи працює правило на вибраних ринках | Що кошик представляє всі ринки, доступні для торгівлі |
| Ринок із найкращими результатами обрано після тестування | Який із перевірених ринків мав найкращий історичний результат | Що вибраний Sharpe є неупередженою оцінкою |
| Ринки, відкладені до початку пошуку | Чи переноситься незмінене правило на ринки, не охоплені пошуком | Що майбутні умови збігатимуться з умовами відкладеної вибірки |
Як перевірити, чи переноситься перевага на нові ринки?
Зафіксуйте дослідницькі рішення до відкриття відкладеної вибірки. Це означає визначення сигналу, параметри, правила вибору всесвіту ринків, графік ребалансування та припущення щодо виконання угод. Потім оцініть незмінену стратегію на ринках, які не впливали на ці рішення.
Наприклад, припустімо, що правило криптовалютного моментуму розроблено на безстрокових контрактах BTC і ETH на даних до 2023 року включно. Можна відкласти набір інших ліквідних безстрокових контрактів, обраних за правилом, що використовує лише інформацію, доступну до тестового періоду, і не враховувати їх під час налаштування. Застосуйте зафіксоване правило до цих контрактів у 2024 і 2025 роках. Врахуйте фактичний рівень комісій на кожній біржі, фандингові платежі, специфікації контрактів і обґрунтоване припущення щодо впливу на ціну; тест перенесення без специфічних для ринку торгових витрат може сплутати різницю у витратах із провалом сигналу — або приховати такий провал.
Показуйте розподіл результатів на відкладених ринках, а не лише об’єднаний Sharpe. Сукупний портфель може приховати, що майже весь дохід забезпечив один ринок. Наведіть чистий результат, кількість угод і просадку для кожного ринку, а також частку сукупного P&L, яку забезпечив найбільший ринок. Якщо правило працює лише на одному контракті, назвіть результат специфічним для цього контракту.
Також чесно розділяйте дані в часі. Ринок може не брати участі в розробці, але його дані можуть охоплювати той самий режим, який забезпечив результат під час розробки. Відкладена вибірка ринків перевіряє, чи переноситься правило між інструментами; відкладена вибірка пізнішого періоду — чи переноситься воно в часі. Це різні перевірки, і сильний результат однієї не замінює іншу.
А якщо стратегія справді має використовувати більше ринків?
Тоді включіть їх, але заздалегідь визначте правила. Портфельне правило, яке торгує на кожному відповідному ринку за фіксованим сигналом, відрізняється від змагання, у якому перемагає ринок із найкращим історичним результатом. Відповідність критеріям потрібно визначати без огляду на майбутню ефективність: наприклад, за порогом ліквідності на конкретний момент часу та мінімальною вимогою до тривалості історії. Членство у всесвіті також потрібно позначати часовими мітками, інакше актуальний список «ліквідних ринків» може непомітно включити в давній бектест тих, хто вижив до сьогодні.
Критики мають рацію: вузький всесвіт ринків може зробити стратегію крихкою, а широке тестування — цінна перевірка стійкості. Вихід не в тому, щоб уникати тестування ринків. Потрібно відокремити ринки, використані для пошуку ідеї, від ринків, на яких перевіряють зафіксовану ідею, і враховувати роботу з пошуку як частину доказів.
Ширший всесвіт може допомогти стратегії працювати за межами лабораторії. Він також може допомогти випадково успішному бектесту перемогти у відбірковому змаганні лабораторії. Журнал пошуку та відкладена вибірка покажуть, яку з цих версій підтверджує ваш Sharpe.
← Усі статті
