Cztery liczby składają się na niewygodną historię: Sharpe walk-forward wynoszący 1.4, 312 historycznych transakcji, 46 transakcji paper tradingu i różnica między ceną realizacji w paper tradingu a backtestem wynosząca 18 punktów bazowych. Nagłówki zwykle eksponują Sharpe’a. To 18 punktów bazowych może wyjaśniać, dlaczego strategia zachowuje się inaczej, zanim zbierze się wystarczająco dużo danych z paper tradingu, by ocenić jej wyniki.
Test walk-forward sprawdza, czy proces badawczy mógł wybrać strategię na podstawie danych historycznych, a następnie ocenić ją na późniejszych danych. Paper trading sprawdza, czy działający system — z aktualnymi danymi, zegarami, logiką zleceń i ich realizacją — zachowuje się tak jak ten proces testowy. To powiązane pytania, ale odpowiedź na pierwsze nie daje automatycznie odpowiedzi na drugie.
Co tak naprawdę potwierdza walidacja walk-forward?
Załóżmy, że trenujesz strategię lub wybierasz ją na podstawie sześciu miesięcy danych, a następnie oceniasz ją na danych z kolejnego miesiąca. Przesuwasz okno do przodu i powtarzasz ten proces. Jeśli każdy miesiąc testowy pozostaje poza odpowiadającym mu procesem wyboru, takie ćwiczenie dostarcza dowodów na temat wyników w różnych warunkach historycznych.
Nie potwierdza jednak, że paper trading odtworzy te same decyzje lub realizacje zleceń. Test historyczny może korzystać z zamkniętych świec, stałego harmonogramu prowizji i uproszczonego modelu zleceń rynkowych. Bieżący proces paper tradingu przetwarza napływające dane i wysyła symulowane zlecenia inną ścieżką. Jeden proces może być poprawny, a drugi — niedopasowany.
Dlatego 46 transakcji w paper tradingu wobec 312 w próbie walk-forward samo w sobie nie przesądza o niczym. Sprawdź okno porównania, częstotliwość sygnałów, otwarte pozycje na granicach okresów oraz to, czy w obu zestawieniach transakcja jest definiowana tak samo. Sześciotygodniowy przebieg paper tradingu nie dorówna liczbą transakcji rocznym testom kroczącym.
Dlaczego różnica cen realizacji jest tak wymowna?
Średnią różnicę wynoszącą 18 punktów bazowych warto rozłożyć na czynniki, zanim zinterpretujesz krzywą kapitału z paper tradingu. Czy mierzysz ją między zakładaną ceną realizacji w backteście a ceną realizacji w symulatorze paper tradingu, czy między ceną środkową z chwili podjęcia decyzji a ceną realizacji w paper tradingu? To różne pomiary. Zapisuj osobno cenę decyzji, cenę z chwili dotarcia zlecenia, symulowaną cenę realizacji, prowizje i ewentualne płatności fundingowe.
| Zaobserwowana różnica | Pierwsza kontrola | Dlaczego to ważne |
|---|---|---|
| Mniej transakcji w paper tradingu | Znaczniki czasu sygnałów i reguły kwalifikacji | Brakujące lub opóźnione dane wejściowe mogą uniemożliwić podjęcie decyzji |
| Te same transakcje, gorsze ceny realizacji | Typ zlecenia, spread, wpływ na rynek i poziom prowizji | Backtest może zakładać tańszą realizację |
| Różne wielkości pozycji | Gotówka, mnożnik kontraktu i zaokrąglenia | Niewielkie rozbieżności w jednostkach sumują się przy kolejnych zleceniach |
| Rozbieżności po ponownym uruchomieniu | Odtworzona pozycja i oczekujące zlecenia | Proces paper tradingu może wznowić działanie z innego stanu |
Na przykład backtest, który kupuje po cenie otwarcia kolejnej świecy, może dawać wyniki zbliżone do rynkowego zlecenia w paper tradingu na płynnym instrumencie. Jeśli jednak zlecenie paper tradingu dociera po gwałtownym ruchu, różnica obejmuje zarówno opóźnienie i zmianę ceny na rynku, jak i koszt realizacji. Nazywanie wszystkich 18 punktów bazowych „poślizgiem cenowym” zaciera przyczynę.
Jak porównać paper trading z testem walk-forward?
Zacznij od decyzji, potem przeanalizuj zlecenia, a na końcu ich realizację. Dla każdej decyzji w paper tradingu odtwórz działanie tej samej wersji strategii na tej samej historii danych i porównaj, jakie informacje miała w danej chwili. Przydatny zapis zgodności obejmuje:
- Wersję strategii i parametry, w tym okno wyboru, na podstawie którego je ustalono.
- Wartości danych wejściowych wraz z czasem zdarzenia i czasem ich udostępnienia.
- Sygnał, docelową pozycję, aktualną pozycję i proponowane zlecenie.
- Ograniczenia zleceń, prowizje, funding i szczegóły symulowanej realizacji.
- Stan gotówki i pozycji przed realizacją i po niej.
Jeśli sygnały się różnią, sprawdź czas dostarczenia danych i wersje kodu. Jeśli sygnały są zgodne, ale zlecenia się różnią, sprawdź wielkość pozycji, zasady obowiązujące na platformie i stan portfela. Jeśli zlecenia są zgodne, ale ich realizacja się różni, sprawdź założenia dotyczące wykonania. Analizuj te warstwy osobno — w przeciwnym razie pojedynczy wskaźnik wyników skieruje poszukiwania w niewłaściwe miejsce.
Kiedy rozbieżności świadczą o tym, że strategia jest wadliwa?
Gdy potwierdzisz zgodność procesu, porównaj wyniki z wystarczająco długiego wspólnego okresu i sprawdź, czy strategia zachowuje się zgodnie z założeniami. Kilka transakcji w paper tradingu może szybko ujawnić błędny znacznik czasu lub problem ze ścieżką zlecenia. Nie pozwala jednak wiarygodnie stwierdzić, że zmieniła się średnia stopa zwrotu strategii. Do tego potrzeba odpowiedniej liczby obserwacji, zależnej od zmienności i skupiania się jej stóp zwrotu w czasie.
Zmieniać mogą się też warunki rynkowe. Szerszy spread lub trwale niekorzystny funding mogą pogorszyć wyniki strategii, nawet jeśli każda decyzja jest zgodna. To rzeczywista zmiana warunków handlu, a nie błąd walidacji. Zapisuj koszty i ekspozycje obok stóp zwrotu, aby można było dostrzec tę różnicę.
Walidacja walk-forward dostarcza dowodów na temat procesu wyboru strategii w historycznych okresach. Paper trading dostarcza dowodów na temat działającego systemu w obserwowanych warunkach. Gdy wyniki się rozchodzą, najpierw znajdź najwcześniejszy punkt, w którym zapisy przestają być zgodne. Zaskakująca liczba często nie dotyczy Sharpe’a. Chodzi o drobną różnicę w realizacji zleceń lub danych, przez którą oba eksperymenty odpowiadają na różne pytania.
← Wszystkie wpisy
