Vi testade 240 parameteruppsättningar. Den bästa visade en Sharpe-kvot på 2.1, medianen var 0.1 och bara 17 kom över 1.0. De siffrorna låter som en upptäckt tills du inser att även när ingen strategi har någon verklig edge kan en så omfattande sökning ge en smickrande vinnare.
Det överraskande talet är 240. En backtestrapport behandlar vanligtvis den valda strategin som om den dök upp helt ensam. Så går forskning inte till. Varje parameterjustering, varje byte av feature, varje ändring av universum och varje omkörning efter ett dåligt resultat ger slumpen en ny chans att se ut som en signal.
Varför höjer fler testade strategier den bästa Sharpe-kvoten?
Föreställ dig 240 oberoende strategier utan verklig edge och med brusiga uppskattade Sharpe-kvoter. De flesta uppskattningar hamnar nära noll, men maxvärdet tenderar att vara positivt. Ju fler kandidater du granskar, desto längre kan maxvärdet driva från sanningen.
Som en grov illustration kan vi anta att varje kandidats uppskattade Sharpe har ett standardfel på 0.5. Med 240 oberoende dragningar kan den högsta uppskattningen hamna omkring 1.4 standardfel över medelvärdet, eller ungefär 0.7 Sharpe, enbart på grund av urvalet. Verkliga strategikandidater är korrelerade, så den här beräkningen är ingen korrigering som du kan stoppa in i en rapport. Den visar varför ”vinnaren slog noll” är svaga belägg efter en bred sökning.
Och sökningen består sällan bara av parametergriden. Du kanske har testat tre signalfamiljer, ratat två efter att ha sett deras kurvor, ändrat handelsuniversumet och sedan kört om den kvarvarande varianten med ett annat ombalanseringsschema. Om resultaten påverkade de valen hör de hemma i forskningshistoriken.
Vad räknas som ett backtestförsök?
Räkna ett beslut som ett försök när resultatet kan ha påverkat vilken strategi du valde. Det omfattar körningar du inte publicerade och varianter du avbröt i förtid för att aktiekurvan såg dålig ut. Ett kompileringsfel är inte ett prestandaförsök; en körning som gav en nedslående Sharpe är det oftast.
| Forskningsåtgärd | Räknas det vanligtvis? | Varför |
|---|---|---|
| Ändra en tillbakablicksperiod från 20 till 30 efter att ha granskat resultaten | Ja | Det första resultatet påverkade nästa kandidat |
| Kör samma låsta strategi på ett i förväg fastställt nytt datumintervall | Vanligtvis inget nytt urvalsförsök | Regeln var fastställd innan evidensen granskades |
| Ändra universum efter att ha sett vilka tillgångar som presterade bäst | Ja | Val av universum kan förbättra det skenbara resultatet |
| Åtgärda ett syntaxfel och kör om den oförändrade koden | Nej | Inget forskningsval berodde på resultatet |
Gränsen går vid om du använde ett utfall för att fatta ett beslut. Det kan vara svårt att återskapa ur minnet, och därför bör en experimentlogg registrera hypotes, kod- eller konfigurationsversion, datafönster, kostnadsantaganden och resultat för varje körning.
Kan jag korrigera för multipel testning?
Det finns metoder som uppskattar urvalsbias eller justerar signifikansen för många försök. De kan vara användbara, men de bygger på antaganden om hur kandidaterna förhåller sig till varandra och hur avkastningen beter sig. Ett nominellt p-värde eller en enstaka deflaterad Sharpe-uppskattning kan inte rädda en sökning vars faktiska historik har gått förlorad.
Börja med det du kan kontrollera. Lås en slutlig specifikation innan du utvärderar en helt orörd period. Håll hela kandidatgruppen synlig. När du testar många närbesläktade varianter kan du gruppera dem efter beslutet som gav upphov till dem i stället för att låtsas att varje variant var en oberoende upptäckt. Redovisa sökningen tillsammans med vinnaren: antal försök, urvalsregel och om den slutliga utvärderingen påverkade ytterligare ändringar.
Ett användbart test: Om resultatet på holdout-perioden gör dig besviken, kommer du då att ändra strategin och kalla samma period för holdout igen? Om svaret är ja ingår perioden nu i forskningen. Du behöver ny evidens inför nästa utvärdering.
Vad bör en AI-forskningsagent logga?
En agent kan skapa kandidater snabbare än en person kan hålla dem i arbetsminnet. Därför är försöksredovisning en del av forskningssystemet, inte en rapporteringssyssla. Spara varje kandidat innan den körs, inklusive vilket experiment den bygger på och varför den finns. Behåll misslyckade och bortvalda körningar. Registrera när en människa eller agent granskade resultaten och vilket beslut som följde.
Gör sedan urvalsprocessen reproducerbar: med samma kandidatgrupp och regel ska den välja samma vinnare. Om en agent fortsätter att ändra sin prompt, sitt mål eller sina begränsningar efter att ha sett resultaten, ingår även de ändringarna i sökningen.
En Sharpe på 2.1 kan vara värd att undersöka. Vad den betyder beror på vägen som ledde fram till den. När forskningsloggen visar att 240 kandidater tävlade om rubriken kan du ställa nästa relevanta fråga: vilken evidens återstår som inte redan har förbrukats av de valen?
← Alla inlägg
