En strateg agent kan förorena en testmängd utan att en enda testrad ingår i ett träningsjobb. Om agenten ser testresultatet, ändrar en parameter och kör igen har resultatet redan påverkat strategin. Koden kan kalla perioden ”utanför urvalet”. Men i forskningsprocessen har den blivit en del av sökningen.
Jag har sett det hända av bekvämlighetsskäl: en agent kör en serie tester, läser en sammanfattningstabell och föreslår sedan en liten förbättring. Ingen bad den anpassa modellen efter holdout-perioden. Ändå gjorde återkopplingsloopen jobbet.
Misstag 1: Låta agenten tjuvkika efter varje körning
Skadan brukar synas som en Sharpe-kvot på testperioden som stiger i prydliga små steg. Agenten provar 30 varianter, behåller den bästa och provar sedan 30 varianter runt den. Varje enskild ändring ser rimlig ut. Tillsammans gör de testperioden till ett optimeringsmål.
Här är ett förenklat exempel. Anta att strategin saknar verklig edge och att du testar 100 oberoende varianter på en holdout-period. Om du väljer den högsta Sharpe-kvoten är det fullt möjligt att av en slump hitta ett smickrande resultat. Varianterna är i praktiken sällan helt oberoende i strategisökningar, men det räddar inte processen: upprepad återkoppling belönar fortfarande inställningar som råkar passa holdout-periodens egenheter.
Lägg holdout-perioden bakom en resultatspärr. Agenten kan utveckla strategin mot tränings- och valideringsperioder, men får inte hämta mått eller diagram från holdout-perioden. Kör den slutliga utvärderingen i ett separat jobb, en gång efter att forskningsbesluten har låsts, och spara strategiversionen och dataögonblicksbilden tillsammans med resultatet.
Misstag 2: Kalla varje senare period ”ny”
En period är inte ny bara för att den kommer efter träningsfönstret. Om agenten har sett ett resultat för den perioden, eller om en människa har använt dess drawdown för att välja en annan feature, har perioden blivit en del av återkopplingsloopen.
| Period | Tillåten användning | Vad som ändrar dess status |
|---|---|---|
| Träning | Anpassa regler och parametrar | Ingenting; den är till för att genomsökas |
| Validering | Jämföra kandidater och fatta forskningsbeslut | Upprepad användning ökar risken för överanpassning |
| Slutlig holdout-period | En utvärdering av den låsta kandidaten | Att läsa resultatet och ändra kandidaten |
| Framtida pappershandelsperiod | Följa implementeringens beteende framåt i tiden | Om utfallen används för finjustering börjar en ny forskningscykel |
Rullande walk-forward-utvärdering kan hjälpa till att uppskatta hur en fast forskningsprocess fungerar över tid. Den ger inte fritt fram att tjuvkika på varje fold. Om en agent ser resultaten från foldarna och anpassar sin sökning blir även de en del av återkopplingen. Spara en slutlig, orörd period för det beslut du faktiskt vill fatta.
Misstag 3: Låsa koden men ändra frågan
Ibland förblir strategikoden oförändrad, men forskaren ändrar utvärderingen efter att ha sett resultatet: byter benchmark, utesluter en svag månad, redovisar ett annat universum eller fokuserar på det mått som ser starkast ut. Testmängden har styrt berättelsen även om ingen parameter ändrades.
Skadan visar sig som en polerad rapport med en tydlig huvudpoäng och ingen dokumentation av de andra vyer som prövades. En aktiestrategi kan se svag ut jämfört med ett brett marknadsindex men stark ut jämfört med kontanter; en kryptostrategi kan glänsa på en handelsplats efter att flera handelsplatser har granskats. Jämförelserna kan vara användbara, men att välja mellan dem efter att ha sett holdout-resultatet är ytterligare ett urvalssteg.
För en forskningslogg. Spara hypotes, kodversion, dataögonblicksbild, parametersökning, utvärderingsfönster, begärda mått och om agenten eller forskaren såg resultatet för varje körning. En kortfattad logg är mer användbar än en etikett som låter perfekt, som ”utanför urvalet”.
Gör sedan den slutliga frågan tydlig före utvärderingen: vilken kandidat, vilket marknadsuniversum, vilket benchmark, vilka kostnader och vilka mått? Om svaret ändras när resultatet kommer, behandla nästa körning som forskning och spara nya data till nästa slutliga kontroll.
Vad kan jag fortfarande lära mig av en förorenad holdout-period?
Den är inte värdelös. Den kan visa hur en strategi betedde sig under perioden och hjälpa till att diagnostisera problem. Sluta bara presentera resultatet som en oberoende bekräftelse. Använd det som underlag för fortsatt utveckling, lås nästa kandidat och utvärdera den kandidaten under en verkligt framtida pappershandelsperiod med samma redovisnings- och exekveringsantaganden.
I ett agentdrivet arbetsflöde är det lätt att tappa räkningen på experimenten: en enda prompt kan skapa dussintals körningar innan någon märker det. Skyddet ligger i rutinerna. Begränsa vad agenten kan granska, logga varje experiment och behåll en utvärdering vars resultat inte kan styra kandidaten som bedöms.
← Alla inlägg
