Din backtests Sharpe kan stiga när du lägger till fler marknader

Att lägga till fler marknader i en strategisökning kan få den bästa backtesten att se starkare ut samtidigt som evidensen blir svagare. En högre Sharpe efter att symboler lagts till tolkas ofta som diversifiering; om du sökte bland symbolerna för att hitta vinnaren ökade du också antalet chanser att ha tur.

Den skillnaden spelar roll oavsett om en agent föreslår hundratals signaler eller en researcher testar några få för hand. Sökrymden omfattar varje kombination av marknad, tidsram, feature och parameter vars resultat påverkade det slutliga valet. ”Vi lanserade bara en strategi” säger inget om hur många kandidater som provspelade.

Varför kan ett större marknadsuniversum blåsa upp den bästa Sharpe-kvoten?

Föreställ dig att du testar samma strategimall på 40 orelaterade marknader. Anta för enkelhets skull att varje marknads sanna Sharpe är noll och att varje skattad Sharpe har ett standardfel på 0.5. Skattningarna varierar kring noll. Välj den högsta, så är den vanligtvis positiv enbart för att du valde ett maximum.

Med en grov normalapproximation förväntas det största av 40 oberoende brusiga skattningar hamna omkring 1.3 standardfel över noll: ungefär 0.65 Sharpe i det här exemplet. Det exakta talet beror på beroenden, stickprovsperiodens längd och avkastningarnas fördelning. Poängen är att urval skapar optimism även när ingen strategi har en edge.

Marknader är inte oberoende slantsinglingar. BTC och ETH rör sig ofta tillsammans; två aktieindex kan ha merparten av sina risker gemensamma. Det minskar det effektiva antalet oberoende försök, men får inte problemet att försvinna. Och korrelerade marknader kan fortfarande skilja sig åt i avgifter, funding, likviditet och vilka tider en signal fungerar.

Räknas test av fler marknader som multipla tester?

Ja, när du använder resultaten för att avgöra vad som ska behållas. Om den ursprungliga hypotesen var ”den här regeln fångar en fundingeffekt på större perpetualmarknader” är det en del av hypotesprövningen att titta på flera marknader. Om du testar 50 marknader, hittar den bästa och sedan formulerar hypotesen utifrån dess beteende, har urvalet av universum blivit en del av optimeringen.

Det är användbart att skilja mellan bredd som bestäms i förväg och bredd som bestäms efter att resultaten har setts. En fast korg kan visa om en idé är robust inom en angiven domän. En korg som utökas tills en symbol ger en slående aktiekurva är en sökprocedur. Båda kan vara legitim forskning, men de besvarar olika frågor.

Hur testar jag om en edge överförs till nya marknader?

Frys forskningsvalen innan du öppnar holdout-materialet. Det innebär att signaldefinition, parametrar, universumregler, ombalanseringsschema och antaganden om exekvering låses. Utvärdera sedan den oförändrade strategin på marknader som inte påverkade de valen.

Anta till exempel att en kryptomomentumregel utvecklas på BTC- och ETH-perpetualer fram till och med 2023. Du kan reservera en uppsättning andra likvida perpetualer, valda enligt en regel som bara använder information tillgänglig före testperioden, och hålla dem utanför all finjustering. Tillämpa den frysta regeln på dessa kontrakt under 2024 och 2025. Ta med varje handelsplats faktiska avgiftsnivå, fundingbetalningar, kontraktsspecifikationer och ett välgrundat antagande om priseffekt; ett överföringstest utan marknadsspecifika handelskostnader kan missta en kostnadsskillnad för ett signalfel – eller dölja ett.

Redovisa fördelningen mellan marknaderna i holdout-materialet, inte bara den sammanslagna Sharpe-kvoten. En sammanslagen portfölj kan dölja att en marknad stod för nästan hela avkastningen. Visa varje marknads nettoresultat, antal affärer, nedgång och hur stor andel av den totala P&L som den största marknaden bidrog med. Om regeln bara fungerar på ett kontrakt, kalla det ett kontraktsspecifikt resultat.

Se också till att tidsuppdelningen är rättvisande. En marknad kan vara orörd samtidigt som dess dataperiod överlappar samma regim som drev utvecklingsresultatet. En holdout över marknader undersöker om regeln fungerar på olika instrument; en holdout från en senare period undersöker om den fungerar över tid. Det är separata tester, och ett starkt resultat i det ena ersätter inte det andra.

Tänk om strategin faktiskt bör använda fler marknader?

Ta då med dem, men definiera hur. En portföljregel som handlar på alla kvalificerade marknader enligt en fast signal skiljer sig från en tävling där den historiskt bästa marknaden vinner. Behörigheten bör avgöras utan att titta på framtida resultat, till exempel med en likviditetströskel vid varje tidpunkt och ett krav på minsta historiklängd. Även ändringar i vilka marknader som ingår behöver tidsstämplar, annars kan en aktuell lista över ”likvida marknader” smuggla in dagens överlevare i en gammal backtest.

Kritikerna har rätt i att ett snävt universum kan ge en skör strategi och att bred testning är en värdefull robusthetskontroll. Lösningen är inte att låta bli att testa marknader. Den är att skilja marknader som används för att upptäcka en idé från marknader som används för att pröva den frysta idén, och räkna upptäcktsarbetet som en del av evidensen.

Ett större universum kan hjälpa en strategi att klara sig utanför labbet. Det kan också hjälpa en tursam backtest att vinna labbets urvalstävling. Sökloggen och holdout-materialet visar vilken berättelse din Sharpe stöder.