Sharpe strategii z backtestu może wzrosnąć po dodaniu kolejnych rynków

Dodanie kolejnych rynków do przeszukiwania strategii może sprawić, że najlepszy backtest będzie wyglądał lepiej, a dowody na jego skuteczność będą słabsze. Wyższy Sharpe po dodaniu symboli często uznaje się za dywersyfikację; jeśli szukaliśmy zwycięskiej strategii wśród tych symboli, zwiększyliśmy też liczbę okazji do szczęśliwego trafienia.

To rozróżnienie ma znaczenie zarówno wtedy, gdy agent proponuje setki sygnałów, jak i wtedy, gdy badacz ręcznie testuje kilka pomysłów. Przestrzeń poszukiwań obejmuje każdą kombinację rynku, interwału, cechy i parametru, której wynik wpłynął na ostateczny wybór. Stwierdzenie „wdrożyliśmy tylko jedną strategię” nie mówi, ilu kandydatów brało udział w selekcji.

Dlaczego większe uniwersum rynków może zawyżyć najlepszy Sharpe?

Wyobraźmy sobie testowanie tego samego szablonu strategii na 40 niezależnych rynkach. Dla uproszczenia załóżmy, że prawdziwy Sharpe na każdym rynku wynosi zero, a błąd standardowy każdego oszacowania Sharpe’a to 0.5. Oszacowania wahają się wokół zera. Jeśli jednak wybierzemy najwyższy wynik, zwykle będzie on dodatni po prostu dlatego, że wybraliśmy maksimum.

Przy przybliżeniu rozkładem normalnym oczekuje się, że największy z 40 niezależnych wyników szumu znajdzie się około 1.3 błędu standardowego powyżej zera, czyli w tym przykładzie w okolicy Sharpe’a 0.65. Dokładna wartość zależy od zależności między rynkami, długości próby i rozkładu stóp zwrotu. Chodzi o to, że selekcja wprowadza optymizm, nawet gdy żadna strategia nie ma przewagi.

Rynki nie są niezależnymi rzutami monetą. BTC i ETH często poruszają się razem; dwa indeksy giełdowe mogą dzielić większość ryzyka. Zmniejsza to efektywną liczbę niezależnych prób, ale nie rozwiązuje problemu. Skorelowane rynki nadal mogą się różnić opłatami, finansowaniem, płynnością i godzinami, w których działa sygnał.

Czy testowanie większej liczby rynków liczy się jako testowanie wielokrotne?

Tak, jeśli wykorzystujemy wyniki do podjęcia decyzji, co zachować. Jeśli pierwotna hipoteza brzmiała „ta reguła wychwytuje efekt finansowania na głównych kontraktach perpetual”, porównywanie rynków jest częścią testowania tej hipotezy. Jeśli testujemy 50 rynków, wybieramy najlepszy, a potem dopasowujemy do jego zachowania hipotezę, wybór uniwersum staje się częścią optymalizacji.

Warto odróżnić szerokość uniwersum ustaloną z góry od tej określonej po obejrzeniu wyników. Z góry ustalony koszyk może pokazać, czy pomysł działa stabilnie w określonej dziedzinie. Koszyk rozszerzany aż do chwili, gdy jeden symbol przyniesie efektowną krzywą kapitału, to procedura wyszukiwania. Oba podejścia mogą być uzasadnionymi metodami badawczymi, ale odpowiadają na różne pytania.

Jak sprawdzić, czy przewaga przenosi się na nowe rynki?

Przed otwarciem zbioru walidacyjnego zamroźmy decyzje badawcze. Oznacza to definicję sygnału, parametry, reguły wyboru uniwersum, harmonogram rebalansowania i założenia dotyczące realizacji zleceń. Następnie oceńmy niezmienioną strategię na rynkach, które nie miały wpływu na te decyzje.

Załóżmy na przykład, że reguła momentum dla kryptowalut została opracowana na kontraktach perpetual BTC i ETH do 2023 roku. Możemy odłożyć na bok zestaw innych płynnych kontraktów perpetual, wybranych według reguły wykorzystującej wyłącznie informacje dostępne przed okresem testowym, i wyłączyć je z całego procesu dostrajania. Zastosujmy zamrożoną regułę do tych kontraktów w 2024 i 2025 roku. Uwzględnijmy rzeczywisty poziom opłat na każdej giełdzie, płatności finansowania, specyfikację kontraktów i uzasadnione założenie dotyczące wpływu na cenę; test przenoszenia bez kosztów handlu właściwych dla danego rynku może pomylić różnicę kosztów z porażką sygnału albo ją ukryć.

Podajmy rozkład wyników na rynkach walidacyjnych, a nie tylko łączny Sharpe. Portfel zbiorczy może ukryć fakt, że niemal cały zwrot pochodził z jednego rynku. Pokażmy wynik netto, liczbę transakcji, obsunięcie oraz udział największego rynku w całkowitym P&L. Jeśli reguła działa tylko na jednym kontrakcie, nazwijmy to wynikiem specyficznym dla tego kontraktu.

Zadbajmy też o uczciwy podział w czasie. Rynek może pozostać nietknięty, a jego dane mogą obejmować ten sam reżim, który wpłynął na wyniki podczas opracowywania strategii. Test na rynku spoza próby sprawdza, czy reguła przenosi się między instrumentami; test na późniejszym okresie sprawdza, czy przenosi się w czasie. To osobne testy, a dobry wynik jednego z nich nie zastępuje drugiego.

A co, jeśli strategia naprawdę powinna korzystać z większej liczby rynków?

Włączmy je, ale z góry określmy zasady. Reguła portfelowa, która handluje na każdym kwalifikującym się rynku według stałego sygnału, różni się od konkursu, w którym wygrywa rynek z najlepszym wynikiem historycznym. Kwalifikowalność należy określić bez uwzględniania przyszłych wyników, na przykład na podstawie płynności mierzonej w danym momencie i minimalnego wymaganego okresu historii. Zmiany składu wymagają też znaczników czasu, bo aktualna lista „płynnych rynków” może wprowadzić do starego backtestu dzisiejszych ocalałych.

Krytycy mają rację, że wąskie uniwersum może prowadzić do kruchej strategii, a szerokie testowanie to wartościowy sprawdzian odporności. Rozwiązaniem nie jest unikanie testowania rynków. Trzeba oddzielić rynki użyte do odkrycia pomysłu od rynków użytych do sprawdzenia zamrożonego pomysłu oraz uwzględnić pracę nad jego odkryciem w ocenie dowodów.

Większe uniwersum może pomóc strategii przetrwać poza laboratorium. Może też pomóc szczęśliwemu backtestowi wygrać konkurs selekcyjny w laboratorium. Dziennik wyszukiwania i zbiór walidacyjny pokażą, którą z tych historii potwierdza Sharpe.