Når du legger til flere markeder i et strategisøk, kan den beste backtesten se sterkere ut samtidig som dokumentasjonen blir svakere. En høyere Sharpe etter at man har lagt til symboler, blir ofte tolket som diversifisering; men hvis du søkte gjennom disse symbolene for å finne vinneren, økte du også antallet sjanser til å være heldig.
Dette skillet er viktig enten en agent foreslår hundrevis av signaler eller en forsker tester en håndfull for hånd. Søkerommet omfatter alle kombinasjoner av markeder, tidsrammer, features og parametere som påvirket det endelige valget. «Vi satte bare én strategi i produksjon» forteller deg ikke hvor mange kandidater som var med i utvelgelsen.
Hvorfor kan et større markedsunivers blåse opp den beste Sharpe-verdien?
Tenk deg at du tester den samme strategimalen på 40 ubeslektede markeder. Anta for enkelhets skyld at den sanne Sharpe-verdien i hvert marked er null, og at standardfeilen til hver estimert Sharpe er 0.5. Estimatene svinger rundt null. Men velger du den høyeste, vil den som regel være positiv, rett og slett fordi du valgte et maksimum.
Med en grov normaltilnærming forventes den største av 40 uavhengige støyestimater å ligge rundt 1.3 standardfeil over null: omtrent 0.65 Sharpe i dette eksempelet. Det nøyaktige tallet avhenger av avhengigheten mellom estimatene, utvalgsperiodens lengde og avkastningsfordelingen. Poenget er at utvelgelse skaper optimisme selv når ingen strategi har en edge.
Før en søkelogg. Registrer hvert marked og hver kandidat du undersøkte, også mislykkede kjøringer og varianter du la bort. Antallet forsøk for den endelige strategien handler om hva som lå til grunn for valget, ikke hvor mange filer som overlevde oppryddingen.
Markeder er ikke uavhengige myntkast. BTC og ETH beveger seg ofte sammen; to aksjeindekser kan ha mye av den samme risikoen. Det reduserer det effektive antallet uavhengige forsøk, men får ikke problemet til å forsvinne. Og korrelerte markeder kan fortsatt ha ulike gebyrer, funding, likviditet og tidspunkter der et signal fungerer.
Regnes det som multiple testing å teste flere markeder?
Ja, når du bruker resultatene til å avgjøre hva du skal beholde. Hvis den opprinnelige hypotesen var «denne regelen fanger opp en fundingeffekt på tvers av store perpetual-kontrakter», er det å undersøke flere markeder en del av testingen av hypotesen. Hvis du tester 50 markeder, finner det beste og deretter formulerer hypotesen ut fra hvordan det oppførte seg, har utvelgelsen av universet blitt en del av optimaliseringen.
Det er nyttig å skille mellom bredde som er valgt på forhånd, og bredde som velges etter at man har sett resultatene. En fast kurv kan vise om en idé er robust på tvers av et definert område. En kurv som utvides til ett symbol gir en oppsiktsvekkende egenkapitalkurve, er en søkeprosedyre. Begge kan være legitim forskning, men de besvarer ulike spørsmål.
| Forskningsvalg | Hva valget kan underbygge | Hva det ikke kan fastslå alene |
|---|---|---|
| Forhåndsdefinert kurv, lik behandling | Om regelen fungerer på tvers av de valgte markedene | At kurven representerer alle markeder som kan handles |
| Markedet med best resultat, valgt etter testene | Hvilket testet marked som hadde det sterkeste historiske resultatet | At den valgte Sharpe-verdien er et forventningsrett estimat |
| Markeder holdt utenfor før søket | Om en fastlåst regel overføres til markeder som ikke er undersøkt | At fremtidige forhold vil ligne forholdene i holdout-perioden |
Hvordan tester jeg om en edge overføres til nye markeder?
Lås forskningsvalgene før du åpner holdout-dataene. Det betyr signaldefinisjonen, parameterne, reglene for universet, rebalanseringsplanen og forutsetningene om utførelse. Evaluer deretter den uendrede strategien i markeder som ikke påvirket disse valgene.
Anta for eksempel at en kryptoregel for momentum utvikles på BTC- og ETH-perpetual-kontrakter fram til og med 2023. Du kan reservere et utvalg andre likvide perpetual-kontrakter, valgt etter en regel som bare bruker informasjon tilgjengelig før testperioden, og holde dem utenfor all tuning. Bruk den fastlåste regelen på disse kontraktene i 2024 og 2025. Ta med hvert handelssteds faktiske gebyrnivå, fundingbetalinger, kontraktsspesifikasjoner og en forsvarlig antakelse om markedspåvirkning; en overføringstest uten markedsspesifikke handelskostnader kan forveksle en kostnadsforskjell med at signalet ikke fungerer – eller skjule en slik forskjell.
Rapporter fordelingen på tvers av markeder holdt utenfor, ikke bare samlet Sharpe. En samlet portefølje kan skjule at ett marked sto for nesten hele avkastningen. Vis nettoresultatet, antallet handler, drawdown og andelen av samlet P&L som det største markedet bidro med, for hvert marked. Hvis regelen bare fungerer på én kontrakt, bør du kalle det et kontraktsspesifikt resultat.
Sørg også for at tidsdelingen er reell. Et marked kan være holdt utenfor selv om dataperioden overlapper med det samme markedsregimet som drev utviklingsresultatene. En holdout på tvers av markeder undersøker om regelen overføres mellom instrumenter; en holdout fra en senere periode undersøker om den holder seg over tid. Dette er separate tester, og et sterkt resultat i den ene erstatter ikke den andre.
Hva om strategien faktisk bør bruke flere markeder?
Ta dem med, men definer hvordan. En porteføljeregel som handler i alle kvalifiserte markeder etter et fast signal, er noe annet enn en konkurranse der markedet med det beste historiske resultatet vinner. Kvalifiseringen bør avgjøres uten å se på fremtidig avkastning, for eksempel ut fra en likviditetsterskel på det aktuelle tidspunktet og et minstekrav til historikk. Endringer i hvilke markeder som er med, må også tidsstemples. Ellers kan en oppdatert liste over «likvide markeder» føre dagens overlevende markeder inn i en gammel backtest.
Kritikerne har rett i at et smalt univers kan gi en skjør strategi, og at bred testing er en verdifull robusthetssjekk. Løsningen er ikke å la være å teste markeder. Vi bør skille mellom markeder som brukes til å oppdage en idé, og markeder som brukes til å utfordre den fastlåste ideen, og regne arbeidet med å oppdage ideen som en del av dokumentasjonen.
Et større univers kan hjelpe en strategi med å fungere utenfor laboratoriet. Det kan også hjelpe en heldig backtest med å vinne laboratoriets utvelgelseskonkurranse. Søkeloggen og holdout-testen viser hvilken av historiene Sharpe-verdien din støtter.
← Alle innlegg
