Ми протестували 240 наборів параметрів. Найкращий показав коефіцієнт Sharpe 2.1; медіана становила 0.1; і лише 17 перевищили 1.0. Ці числа схожі на відкриття, доки ви не дізнаєтеся, що навіть коли жодна стратегія не має справжньої переваги, такий широкий пошук може випадково дати оманливо привабливого переможця.
Найдивовижніше тут число 240. У звіті про бектест вибрану стратегію зазвичай подають так, ніби вона з’явилася сама собою. Але дослідження так не працює. Кожна зміна параметра, заміна ознаки, зміна набору активів і повторний запуск після невтішного результату дають шуму ще один шанс здатися сигналом.
Чому збільшення кількості випробуваних стратегій завищує найкращий Sharpe?
Уявімо 240 незалежних стратегій без справжньої переваги, оцінки Sharpe яких містять шум. Більшість оцінок буде близькою до нуля, але максимальна, як правило, буде додатною. Що більше кандидатів ви перевіряєте, то далі цей максимум може відхилитися від істинного значення.
Для приблизної ілюстрації припустімо, що стандартна похибка оціненого Sharpe для кожного кандидата становить 0.5. За 240 незалежних вибірок найбільша оцінка може виявитися приблизно на 1.4 стандартної похибки вищою за середнє, тобто десь на 0.7 Sharpe, лише завдяки відбору. Реальні кандидати в стратегії корельовані, тому цю оцінку не можна просто використати для коригування звіту. Вона показує, чому твердження «переможець перевершив нуль» є слабким доказом після широкого пошуку.
Та пошук рідко обмежується лише сіткою параметрів. Ви могли випробувати 3 сімейства сигналів, відкинути 2, побачивши їхні криві, змінити набір активів для торгівлі, а потім повторно запустити стратегію, що залишилася, з іншим графіком ребалансування. Якщо на ці рішення вплинули результати, їх слід включити до історії дослідження.
Що вважається випробуванням у бектесті?
Рахуйте рішення як випробування, якщо його результат міг вплинути на вибір стратегії. Це стосується запусків, які ви не опублікували, і варіантів, які ви достроково припинили через невдалий вигляд кривої капіталу. Помилка компіляції не є випробуванням результативності; запуск, що дав невтішний Sharpe, зазвичай є.
| Дослідницька дія | Зазвичай рахувати? | Чому |
|---|---|---|
| Змінити період ретроспективи з 20 на 30 після перегляду результатів | Так | Перший результат вплинув на наступного кандидата |
| Запустити ту саму незмінну стратегію на новому, заздалегідь визначеному діапазоні дат | Зазвичай це не нове випробування для відбору | Правило було зафіксовано до перегляду цих даних |
| Змінити набір активів після того, як стало видно, які з них дали найкращий результат | Так | Відбір активів може покращити видимий результат |
| Виправити синтаксичну помилку й повторно запустити незмінений код | Ні | Жодне дослідницьке рішення не залежало від результативності |
Вирішальне питання — чи використали ви результат, щоб ухвалити рішення. Це буває важко відновити з пам’яті, тому в журналі експериментів слід записувати гіпотезу, версію коду чи конфігурації, період даних, припущення щодо витрат і результат кожного запуску.
Чи можна скоригувати результат на множинне тестування?
Існують методи оцінювання упередженості відбору або коригування статистичної значущості з урахуванням багатьох випробувань. Вони можуть бути корисними, але спираються на припущення про взаємозв’язок кандидатів і поведінку дохідності. Номінальне p-значення або єдина оцінка дефльованого Sharpe не врятують пошук, справжня історія якого втрачена.
Почніть із того, що контролюєте. Зафіксуйте остаточну специфікацію до оцінювання справді недоторканого періоду. Зберігайте видимим увесь набір кандидатів. Тестуючи багато пов’язаних варіантів, групуйте їх за рішенням, яке їх породило, замість удавати, ніби кожен із них був незалежним відкриттям. Звітуйте про пошук разом із переможцем: кількість випробувань, правило відбору та те, чи вплинула остаточна оцінка на подальші зміни.
Корисна перевірка: якщо результат на відкладеній вибірці вас розчарує, чи зміните ви стратегію й знову назвете той самий період відкладеною вибіркою? Якщо так, цей період уже став частиною дослідження. Для наступного оцінювання потрібні нові дані.
Що має записувати дослідницький агент AI?
Агент може генерувати кандидатів швидше, ніж людина здатна втримати їх у робочій пам’яті. Тому облік випробувань має бути частиною дослідницької системи, а не клопотом під час підготовки звіту. Зберігайте кожного кандидата до його запуску, вказуючи батьківський експеримент і причину його появи. Не видаляйте невдалі й відкинуті запуски. Записуйте, коли людина чи агент переглянули результати та яке рішення було ухвалено далі.
Зробіть процес відбору відтворюваним: за того самого набору кандидатів і того самого правила він має обирати того самого переможця. Якщо агент змінює свій промпт, ціль або обмеження після перегляду результатів, ці зміни також є частиною пошуку.
Sharpe на рівні 2.1 може заслуговувати на подальше вивчення. Його значення залежить від шляху, який до нього привів. Якщо в журналі досліджень зазначено, що за головний результат змагалися 240 кандидатів, можна поставити правильне наступне запитання: які докази ще залишилися, які ці рішення досі не вичерпали?
← Усі статті
