Agent badający strategie może zanieczyścić zbiór testowy, nawet jeśli ani jeden wiersz testowy nie trafi do zadania treningowego. Jeśli agent widzi wynik testu, zmienia parametr i uruchamia strategię ponownie, ten wynik już wpłynął na strategię. W kodzie ten okres może być nazwany „poza próbą”. Proces badawczy włączył go jednak do przeszukiwania.
Widziałem, jak do tego dochodziło przez zwykłą wygodę: agent uruchamia serię testów, odczytuje tabelę podsumowującą, a potem proponuje drobną poprawkę. Nikt nie kazał mu dopasowywać strategii do zbioru odłożonego. Mimo to pętla informacji zwrotnej zrobiła swoje.
Błąd 1: pozwalanie agentowi zaglądać do wyników po każdym uruchomieniu
Szkody zwykle widać po Sharpe’ie z testu, który rośnie równymi, małymi krokami. Agent testuje 30 wariantów, wybiera najlepszy, a potem sprawdza 30 wariantów w jego pobliżu. Każda zmiana z osobna wydaje się rozsądna. Razem zamieniają okres testowy w cel optymalizacji.
Oto prosty przykład. Załóżmy, że strategia nie ma rzeczywistej przewagi, a na zbiorze odłożonym testujesz 100 niezależnych wariantów. Wybierając najwyższy Sharpe, możesz całkiem łatwo trafić na pozornie korzystny wynik przez przypadek. W większości poszukiwań strategii warianty nie będą naprawdę niezależne, ale to nie ratuje procesu: powtarzana informacja zwrotna nadal premiuje ustawienia, które przypadkiem pasują do specyfiki zbioru odłożonego.
Odseparuj zbiór odłożony od wyników dostępnych agentowi. Agent może rozwijać strategię na okresach treningowym i walidacyjnym, ale nie może pobierać metryk ani wykresów ze zbioru odłożonego. Końcową ocenę przeprowadź w osobnym zadaniu, jednokrotnie, po zamrożeniu decyzji badawczych. Zapisz przy wyniku wersję strategii i migawkę danych.
Błąd 2: nazywanie każdego późniejszego okresu „świeżym”
Zakres dat nie jest świeży tylko dlatego, że przypada po okresie treningowym. Jeśli agent widział wynik z tego zakresu albo człowiek wykorzystał maksymalne obsunięcie, by wybrać inną cechę, ten zakres stał się częścią pętli informacji zwrotnej.
| Okres | Dozwolone zastosowanie | Co zmienia jego status |
|---|---|---|
| Treningowy | Dopasowywanie reguł i parametrów | Nic; ten okres służy do przeszukiwania |
| Walidacyjny | Porównywanie kandydatów i podejmowanie decyzji badawczych | Powtarzane użycie zwiększa ryzyko przeuczenia |
| Końcowy zbiór odłożony | Jednorazowa ocena zamrożonego kandydata | Odczytanie wyniku i zmiana kandydata |
| Przyszły okres paper tradingu | Prospektywna obserwacja działania przy wdrożeniu | Dostrajanie na podstawie wyników rozpoczyna nowy cykl badawczy |
Krocząca ocena walk-forward może pomóc oszacować, jak ustalony proces badawczy działa w różnych okresach. Nie daje jednak nieograniczonego dostępu do wyników każdego podokresu. Jeśli agent widzi wyniki podokresów i dostosowuje do nich poszukiwania, one również stają się informacją zwrotną. Zachowaj jeden nietknięty okres końcowy na potrzeby decyzji, którą rzeczywiście chcesz podjąć.
Błąd 3: zamrażanie kodu przy jednoczesnej zmianie pytania
Czasem kod strategii pozostaje bez zmian, ale badacz po zobaczeniu wyniku modyfikuje sposób oceny: zmienia benchmark, wyklucza słaby miesiąc, raportuje inny zestaw instrumentów albo skupia się na metryce, która wygląda najlepiej. Zbiór testowy wpłynął na opowieść o wynikach, nawet jeśli nie zmienił się żaden parametr.
Szkody widać w dopracowanym raporcie z jednym przekonującym nagłówkiem i bez śladu innych wypróbowanych ujęć. Strategia akcyjna może wypadać słabo na tle szerokiego indeksu rynku, a dobrze na tle gotówki; strategia krypto może błyszczeć na jednej giełdzie, choć wcześniej sprawdzono kilka. Takie porównania bywają przydatne, ale wybór spośród nich po obejrzeniu wyników ze zbioru odłożonego to kolejny etap selekcji.
Prowadź dziennik badań. Dla każdego uruchomienia zapisuj hipotezę, wersję kodu, migawkę danych, przeszukiwane parametry, okna oceny, żądane metryki oraz informację, czy wynik widział agent lub badacz. Zwięzły rejestr jest bardziej użyteczny niż brzmiąca idealnie etykieta „poza próbą”.
Przed oceną jasno określ końcowe pytanie: który kandydat, jaki zestaw instrumentów rynkowych, jaki benchmark, jakie koszty i jakie metryki? Jeśli po otrzymaniu wyniku odpowiedź się zmieni, potraktuj kolejny przebieg jako badanie i zachowaj nowe dane na następną końcową weryfikację.
Czego nadal mogę się dowiedzieć z zanieczyszczonego zbioru odłożonego?
Nie jest bezużyteczny. Może pokazać, jak strategia zachowywała się w tym okresie, i pomóc zdiagnozować porażkę. Przestań jednak przedstawiać jego wynik jako niezależne potwierdzenie. Wykorzystaj go jako dowód z etapu rozwoju, zamroź kolejnego kandydata i oceń go w rzeczywiście przyszłym okresie paper tradingu, przy tych samych założeniach dotyczących księgowania i realizacji zleceń.
W pracy z agentem łatwo stracić rachubę eksperymentów: jeden prompt może uruchomić dziesiątki testów, zanim ktokolwiek to zauważy. Ochrona zależy od procedur. Ogranicz agentowi dostęp do wyników, zapisuj każdy eksperyment i zachowaj jedną ocenę, której wynik nie może wpływać na ocenianego kandydata.
← Wszystkie wpisy
