En strategiagent kan forurene et testsæt uden at sende en eneste testrække ind i et træningsjob. Hvis agenten ser testresultatet, ændrer en parameter og kører igen, har resultatet allerede påvirket strategien. Koden kalder måske perioden “out of sample”. Researchprocessen har gjort den til en del af søgningen.
Jeg har set det ske af ren bekvemmelighed: En agent kører en batch, læser en oversigtstabel og foreslår så en lille forbedring. Ingen bad den om at tilpasse modellen til holdout-perioden. Feedbacksløjfen klarede tilpasningen alligevel.
Fejl 1: Lad agenten kigge efter hver kørsel
Skaderne viser sig typisk som en test-Sharpe, der stiger i pæne små trin. Agenten prøver 30 varianter, beholder den bedste og prøver så 30 varianter omkring den. Hver ændring for sig ser fornuftig ud. Tilsammen gør de testperioden til et optimeringsmål.
Her er et forenklet eksempel. Antag, at strategien ikke har nogen reel fordel, og at du tester 100 uafhængige varianter på en holdout-periode. Hvis du vælger den højeste Sharpe, er der en reel chance for, at du finder et flatterende resultat ved et tilfælde. Varianterne vil i de fleste strategisøgninger ikke være helt uafhængige, men det redder ikke processen: Gentagen feedback belønner stadig indstillinger, der tilfældigvis passer til holdout-periodens særheder.
Afskær holdout-perioden fra resultaterne. Agenten kan udvikle mod trænings- og valideringsperioder, men den kan ikke hente holdout-målinger eller grafer. Kør den endelige evaluering i et separat job én gang, efter at researchvalgene er fastlagt, og registrer strategiens version og datasnapshot sammen med resultatet.
Fejl 2: Kald enhver senere periode “frisk”
Et datointerval er ikke friskt, bare fordi det ligger efter træningsvinduet. Hvis agenten har set et resultat fra intervallet, eller et menneske har brugt dets drawdown til at vælge en anden feature, er intervallet blevet en del af feedbacksløjfen.
| Periode | Tilladt brug | Hvad ændrer dens status |
|---|---|---|
| Træning | Tilpas regler og parametre | Intet; perioden er beregnet til at blive gennemsøgt |
| Validering | Sammenlign kandidater, og træf researchbeslutninger | Gentagen brug gør overtilpasning lettere |
| Endelig holdout | Én evaluering af den fastlåste kandidat | At læse resultatet og ændre kandidaten |
| Fremtidig paperperiode | Observer implementeringsadfærd fremadrettet | Brug af resultater til justering starter en ny researchcyklus |
Rullende walk-forward-evaluering kan hjælpe med at anslå, hvordan en fast researchproces fungerer over tid. Den giver ikke ubegrænset adgang til at kigge på hvert fold. Hvis en agent ser foldresultater og tilpasser sin søgning, er de folds også feedback. Bevar en endelig, uberørt periode til den beslutning, du faktisk vil træffe.
Fejl 3: Fastlås koden, men ændr spørgsmålet
Nogle gange forbliver strategikoden uændret, mens researcheren ændrer evalueringen efter at have set resultatet: skifter benchmark, udelukker en dårlig måned, rapporterer et andet univers eller fokuserer på det mål, der ser stærkest ud. Testsættet har styret fortællingen, selv om ingen parameter blev ændret.
Skaderne viser sig som en poleret rapport med én klar hovedkonklusion og ingen dokumentation for de andre visninger, der blev afprøvet. En aktiestrategi ser måske svag ud mod et bredt markedsindeks, men stærk mod kontanter; en kryptostrategi klarer sig måske strålende på én handelsplatform, efter at flere platforme er blevet undersøgt. De sammenligninger kan være nyttige, men at vælge mellem dem efter at have set holdout-perioden er endnu et udvælgelsestrin.
Før en researchlog. Gem for hver kørsel hypotesen, kodeversionen, datasnapshot, parametersøgningen, evalueringsvinduerne, de ønskede målinger og oplysninger om, hvorvidt agenten eller researcheren så resultatet. En kort log er mere nyttig end en etiket, der lyder perfekt, som “out of sample”.
Gør så det endelige spørgsmål tydeligt inden evalueringen: Hvilken kandidat, hvilket markedsunivers, hvilket benchmark, hvilke omkostninger og hvilke målinger? Hvis svaret ændrer sig, når resultatet kommer, skal du behandle næste kørsel som research og gemme nye data til næste endelige kontrol.
Hvad kan jeg stadig lære af en forurenet holdout-periode?
Den er ikke ubrugelig. Den kan vise, hvordan en strategi klarede sig i perioden, og hjælpe med at diagnosticere fejl. Lad bare være med at præsentere resultatet som en uafhængig bekræftelse. Brug det som udviklingsgrundlag, fastlås den næste kandidat, og evaluer den kandidat på en reelt fremtidig paperperiode med de samme antagelser om regnskab og eksekvering.
I en agentstyret arbejdsgang er det let at miste overblikket over antallet af eksperimenter: Én prompt kan skabe dusinvis af kørsler, før nogen opdager det. Beskyttelsen ligger i processen. Begræns, hvad agenten kan undersøge, log hvert eksperiment, og behold én evaluering, hvis resultat ikke kan styre den kandidat, der vurderes.
← Alle indlæg
