Når man føjer flere markeder til en strategisøgning, kan den bedste backtest se stærkere ud, samtidig med at evidensen bliver svagere. En højere Sharpe efter tilføjelse af symboler betragtes ofte som diversificering; hvis du ledte efter vinderen blandt de symboler, øgede du også antallet af chancer for at være heldig.
Den forskel er vigtig, uanset om en agent foreslår hundredvis af signaler, eller en researcher tester en håndfuld manuelt. Søgerummet omfatter alle kombinationer af markeder, tidsrammer, features og parametre, hvis resultater påvirkede det endelige valg. »Vi lancerede kun én strategi« fortæller dig ikke, hvor mange kandidater der var med i opløbet.
Hvorfor kan et større markedsunivers puste den bedste Sharpe op?
Forestil dig, at du tester den samme strategiskabelon på 40 uvedkommende markeder. Antag for enkelhedens skyld, at den sande Sharpe er nul på hvert marked, og at hver estimeret Sharpe har en standardfejl på 0.5. Estimaterne svinger omkring nul. Men vælger du det højeste, vil det som regel være positivt, simpelthen fordi du valgte maksimum.
Med en grov normaltilnærmelse forventes den største af 40 uafhængige støjestimater at ligge omkring 1.3 standardfejl over nul: cirka 0.65 Sharpe i dette eksempel. Det præcise tal afhænger af afhængighed, stikprøvelængde og afkastfordelingen. Pointen er, at udvælgelse skaber optimisme, selv når ingen strategi har en edge.
Før en søgelog. Registrér hvert undersøgt marked og hver kandidat, også mislykkede kørsler og varianter, der blev opgivet. Antallet af forsøg for den endelige strategi handler om, hvad der indgik i beslutningen, ikke hvor mange filer der overlevede oprydningen.
Markeder er ikke uafhængige møntkast. BTC og ETH bevæger sig ofte sammen; to aktieindeks kan dele det meste af deres risiko. Det reducerer det effektive antal uafhængige forsøg, men får ikke problemet til at forsvinde. Og korrelerede markeder kan stadig være forskellige med hensyn til gebyrer, funding, likviditet og de tidspunkter, hvor et signal virker.
Tæller test af flere markeder som multiple testing?
Ja, når du bruger resultaterne til at beslutte, hvad du beholder. Hvis den oprindelige hypotese var »denne regel indfanger en fundingeffekt på tværs af store perpetual-markeder«, er det at undersøge markederne en del af testen af hypotesen. Tester du 50 markeder, finder det bedste og bagefter formulerer hypotesen ud fra dets adfærd, er valget af univers blevet en del af optimeringen.
Der er en nyttig forskel på at vælge bredden på forhånd og at vælge den, efter du har set resultaterne. En fast kurv kan vise, om en idé er robust på tværs af et defineret område. En kurv, der udvides, indtil et symbol giver en slående aktiekurve, er en søgeprocedure. Begge dele kan være legitim forskning, men de besvarer forskellige spørgsmål.
| Forskningsvalg | Hvad det kan underbygge | Hvad det ikke alene kan fastslå |
|---|---|---|
| Forhåndsdefineret kurv, ens behandling | Om reglen opfører sig på tværs af de valgte markeder | At kurven repræsenterer alle markeder, der kan handles |
| Markedet med bedst resultat vælges efter testene | Hvilket af de testede markeder havde det stærkeste historiske resultat | At den valgte Sharpe er et unbiased estimat |
| Markeder holdt ude før søgningen | Om en fastlåst regel overføres til markeder, der ikke indgik i søgningen | At fremtidige forhold vil svare til holdout-perioden |
Hvordan tester jeg, om en edge overføres til nye markeder?
Fastlås forskningsvalgene, før du åbner holdout-dataene. Det omfatter signaldefinition, parametre, regler for universet, rebalanceringsplan og antagelser om eksekvering. Evaluer derefter den uændrede strategi på markeder, der ikke påvirkede disse valg.
Forestil dig for eksempel, at en kryptomomentumregel udvikles på BTC- og ETH-perpetuals frem til og med 2023. Du kan reservere en række andre likvide perpetual-markeder, udvalgt efter en regel, der kun bruger oplysninger, som var tilgængelige før testperioden, og holde dem ude af al tuning. Anvend den fastlåste regel på disse kontrakter i 2024 og 2025. Medregn hvert venues faktiske gebyrniveau, fundingbetalinger, kontraktspecifikationer og en velbegrundet antagelse om market impact; en overførselstest uden markedsspecifikke handelsomkostninger kan forveksle en omkostningsforskel med et signal, der fejler, eller skjule en sådan forskel.
Rapportér fordelingen på tværs af markederne i holdout-dataene, ikke kun den samlede Sharpe. En samlet portefølje kan skjule, at ét marked stod for næsten hele afkastet. Vis hvert markeds nettoresultat, antal handler, drawdown og den andel af den samlede P&L, som det største marked bidrog med. Hvis reglen kun virker på én kontrakt, så kald det et kontraktspecifikt resultat.
Sørg også for, at tidsopdelingen er retvisende. Et marked kan være holdt ude, selvom dets dataperiode overlapper med det samme regime, som drev udviklingsresultatet. En holdout på tværs af markeder undersøger, om reglen kan overføres mellem instrumenter; en holdout fra en senere periode undersøger, om den kan overføres gennem tiden. Det er separate tests, og et stærkt resultat i den ene erstatter ikke den anden.
Hvad nu, hvis strategien faktisk bør bruge flere markeder?
Så tag dem med, men definér hvordan. En porteføljeregel, der handler alle kvalificerede markeder efter et fast signal, er noget andet end en konkurrence, hvor markedet med det bedste historiske resultat vinder. Kvalifikation bør afgøres uden at se på fremtidige resultater, for eksempel ud fra en likviditetsgrænse på det pågældende tidspunkt og et krav om en minimumshistorik. Ændringer i medlemskab skal også tidsstemples; ellers kan en aktuel liste over »likvide markeder« snige de markeder, der overlevede frem til i dag, ind i en historisk backtest.
Kritikerne har ret i, at et snævert univers kan føre til en skrøbelig strategi, og at bred testning er en værdifuld robusthedskontrol. Svaret er ikke at undgå at teste markeder. Det er at skelne mellem markeder, der bruges til at opdage en idé, og markeder, der bruges til at udfordre den fastlåste idé, og at regne udviklingsarbejdet med i evidensen.
Et større univers kan hjælpe en strategi med at klare sig uden for laboratoriet. Det kan også hjælpe en heldig backtest med at vinde laboratoriets udvælgelseskonkurrence. Søgeloggen og holdout-testen viser, hvilken af de to historier din Sharpe understøtter.
← Alle indlæg
