De Sharpe van je backtest kan stijgen als je meer markten toevoegt

Door meer markten aan een strategiezoektocht toe te voegen, kan de beste backtest er sterker uitzien terwijl het bewijs zwakker wordt. Een hogere Sharpe na toevoeging van symbolen wordt vaak gezien als diversificatie; maar als je die symbolen hebt doorzocht om de winnaar te vinden, heb je ook het aantal kansen op geluk vergroot.

Dat onderscheid is van belang, of een agent nu honderden signalen voorstelt of een onderzoeker er zelf een handvol test. De zoekruimte omvat elke combinatie van markt, timeframe, feature en parameter waarvan het resultaat de uiteindelijke keuze heeft beïnvloed. ‘We hebben maar één strategie gelanceerd’ zegt niet hoeveel kandidaten auditie hebben gedaan.

Waarom kan een groter marktuniversum de beste Sharpe opdrijven?

Stel je voor dat je hetzelfde strategiesjabloon test op 40 niet-gerelateerde markten. Neem voor het gemak aan dat de werkelijke Sharpe van elke markt nul is en dat elke geschatte Sharpe een standaardfout van 0.5 heeft. De schattingen schommelen rond nul. Maar kies je de hoogste, dan is die meestal positief, simpelweg omdat je het maximum hebt gekozen.

Volgens een ruwe normale benadering ligt het maximum van 40 onafhankelijke ruisschattingen naar verwachting ongeveer 1.3 standaardfout boven nul: in dit voorbeeld ongeveer 0.65 Sharpe. Het exacte getal hangt af van de onderlinge afhankelijkheid, de steekproeflengte en de verdeling van rendementen. Het punt is dat selectie tot optimisme leidt, zelfs als geen enkele strategie een edge heeft.

Markten zijn geen onafhankelijke muntworpen. BTC en ETH bewegen vaak samen; twee aandelenindices kunnen het grootste deel van hun risico delen. Daardoor is het effectieve aantal onafhankelijke tests kleiner, maar het probleem verdwijnt niet. Bovendien kunnen gecorreleerde markten verschillen in kosten, funding, liquiditeit en de uren waarin een signaal werkt.

Telt het testen van meer markten als multiple testing?

Dat is zo zodra je de resultaten gebruikt om te beslissen wat je behoudt. Als de oorspronkelijke hypothese luidde: ‘deze regel vangt een fundingeffect op bij grote perpetuals’, dan hoort het vergelijken van markten bij het toetsen van die hypothese. Test je 50 markten, vind je de beste en formuleer je daarna de hypothese op basis van het gedrag daarvan, dan is de selectie van het universum onderdeel van de optimalisatie geworden.

Er is een nuttig onderscheid tussen vooraf gekozen breedte en breedte die je kiest nadat je de resultaten hebt gezien. Een vaste mand kan laten zien of een idee robuust is binnen een vooraf omschreven domein. Een mand die je uitbreidt tot één symbool een opvallende equitycurve oplevert, is een zoekprocedure. Beide kunnen legitiem onderzoek zijn, maar ze beantwoorden verschillende vragen.

Hoe test ik of een edge overdraagbaar is naar nieuwe markten?

Leg de onderzoekskeuzes vast voordat je de holdout bekijkt. Dat betekent: de signaaldefinitie, parameters, universumregels, het herbalanceringsschema en de aannames over uitvoering. Evalueer vervolgens de ongewijzigde strategie op markten die deze keuzes niet hebben beïnvloed.

Stel bijvoorbeeld dat je een cryptomomentumregel ontwikkelt op BTC- en ETH-perpetuals tot en met 2023. Je kunt een reeks andere liquide perpetuals reserveren, gekozen op basis van een regel die alleen informatie gebruikt die vóór de testperiode beschikbaar was, en ze buiten alle afstemming houden. Pas de vastgezette regel in 2024 en 2025 toe op die contracten. Neem de werkelijke fee tier, fundingbetalingen, contractspecificaties en een verdedigbare impactaanname van elke venue mee; een overdraagbaarheidstest zonder marktspecifieke handelskosten kan een kostenverschil aanzien voor een mislukking van het signaal, of die juist verhullen.

Rapporteer de verdeling over de markten in de holdout, niet alleen de gepoolde Sharpe. Een gepoolde portefeuille kan verhullen dat één markt vrijwel het hele rendement heeft opgeleverd. Toon per markt het nettoresultaat, het aantal trades, de drawdown en het aandeel in de totale P&L dat de grootste markt heeft bijgedragen. Werkt de regel maar op één contract, noem het dan een contractspecifiek resultaat.

Houd ook de tijdsplitsing zuiver. Een markt kan buiten de steekproef zijn gehouden terwijl de periode van de data overlapt met hetzelfde regime dat de ontwikkelresultaten heeft aangedreven. Een holdout over markten toetst of de regel overdraagbaar is tussen instrumenten; een holdout over een latere periode toetst of de regel overdraagbaar is in de tijd. Dat zijn aparte tests, en een sterk resultaat op de ene vervangt de andere niet.

Wat als de strategie echt meer markten moet gebruiken?

Neem ze dan op, maar leg vast hoe. Een portefeuilleregel die op elke in aanmerking komende markt handelt volgens een vast signaal verschilt van een wedstrijd waarin de historisch best presterende markt wint. Bepaal de geschiktheid zonder naar toekomstige prestaties te kijken, bijvoorbeeld met een liquiditeitsdrempel op basis van gegevens op dat moment en een minimale historie. Leg ook vast wanneer het lidmaatschap verandert; anders kan een actuele lijst van ‘liquide markten’ de overlevers van vandaag een oude backtest binnensmokkelen.

Critici hebben gelijk dat een smal universum een broze strategie kan opleveren en dat breed testen een waardevolle robuustheidscontrole is. De oplossing is niet om markten niet te testen. Scheid de markten die je gebruikt om een idee te ontdekken van de markten waarmee je het vastgezette idee op de proef stelt, en tel het ontdekkingswerk mee als onderdeel van het bewijs.

Een groter universum kan een strategie helpen stand te houden buiten het lab. Het kan er ook voor zorgen dat een gelukkige backtest de selectiewedstrijd in het lab wint. Het zoeklogboek en de holdout laten zien welk verhaal je Sharpe ondersteunt.