Een backtest is beter in het afwijzen van een strategie dan in het selecteren ervan. Zodra je historische prestaties gebruikt om uit meerdere varianten te kiezen, wordt de backtest onderdeel van het experiment en krijgt de schijnbare winnaar een verborgen prijskaartje: selectiebias.
Dat klinkt tegenstrijdig. We backtesten omdat we willen weten welke strategie werkt. Maar elke keuze op basis van dezelfde historie verbruikt een deel van het bewijs. Pas je de lookback, drempelwaarde, instrumentenset, herbalanceringsdag of stopregel aan nadat je de resultaten hebt gezien, dan stel je de data een nieuwe vraag. Uiteindelijk heeft de data genoeg vragen gehoord om je bij toeval een overtuigend antwoord te geven.
Waarom wordt het beste resultaat minder betrouwbaar als je meer strategieën test?
Stel dat je 100 strategieën test die geen echt voordeel hebben. Hun rendementen zullen toch verschillen. Als hun prestatie-inschattingen ongeveer onafhankelijk zijn en de ruis normaal verdeeld is, zal de beste Sharpe van die strategieën positief zijn, ook al is de werkelijke Sharpe van elke strategie nul.
Een ruwe benadering van het verwachte maximum van 100 onafhankelijke standaardnormale trekkingen ligt 2.5 standaarddeviaties boven het gemiddelde. Zie dat als een illustratie, niet als een correctie die je zo in een rapport kunt plakken: echte strategievarianten zijn gecorreleerd, Sharpe-inschattingen hebben hun eigen steekproeffout en rendementen gedragen zich zelden als nette normale trekkingen. Ook met die kanttekeningen blijft de praktische les overeind. Hoe meer kandidaten je bekijkt, hoe groter de kans dat de hoogste score gunstige ruis weerspiegelt.
En een ‘kandidaat’ is niet alleen een opgeslagen backtest. Het gaat om elke keuze die je maakt nadat je een resultaat hebt bekeken: de instrumentenset uitbreiden omdat de grafiek er grillig uitziet, een nadelig jaar schrappen of een kostenaanname aanpassen tot de curve zich herstelt. Ook die beslissingen tellen mee, zelfs als niemand er een versienummer aan heeft gegeven.
Houd een onderzoekslogboek bij voordat je de volgende variant draait
Leg de volledige zoektocht vast, ook de verworpen ideeën en de reden voor elke wijziging. Zo krijg je een eerlijker beeld van de mate waarin het resultaat is geselecteerd en wordt het moeilijker om alleen de aantrekkelijke proeven te onthouden.
| Leg vast | Voorbeeld | Waarom dit ertoe doet |
|---|---|---|
| Hypothese | Kortetermijnreversal is sterker na uitzonderlijk grote BTC-perpbewegingen | Scheidt het idee van de uiteindelijke parameterinstellingen |
| Variant en tijdstempel | 48-uurs signaal, 2026-10-09, run 014 | Telt de zoekpogingen en koppelt resultaten aan code en data |
| Selectieregel | Selecteer op basis van netto Sharpe; minimaal 100 trades | Legt vast wat ‘beste’ betekende vóór de vergelijking |
| Verworpen varianten | Vensters van 12, 24 en 72 uur; allemaal behouden | Voorkomt dat de zichtbare winnaar de concurrentie uitwist |
Een logboek maakt de zoektocht niet ongedaan. Het maakt haar inzichtelijk, en dat is de eerste stap om te beoordelen hoeveel vertrouwen de winnaar verdient.
Reserveer data die je onderzoeksproces niet steeds opnieuw kan raadplegen
Splits de data op tijd en bescherm vervolgens de laatste periode. Ontwikkel de strategie over één periode, neem beslissingen met een validatieperiode en evalueer de bevroren strategie één keer op een latere holdout. Je zou bijvoorbeeld 2018–2022 voor ontwikkeling kunnen gebruiken, 2023 voor validatie en vervolgens 2024–2025 reserveren. Die datums zijn slechts een schets: de markt, de horizon van de strategie en de databeschikbaarheid bepalen hoe je de periodes splitst.
Leg vast wat ‘bevroren’ inhoudt: signaal, instrumentenset, positiegrootte, uitvoeringsaannames en eventuele regels voor ontbrekende data. Valt de holdout tegen en stem je de strategie daarop af, dan is die periode validatiedata geworden. Voor de volgende eerlijke evaluatie heb je nieuw bewijs nodig.
Ook hier speelt een kleine steekproef je parten. Een strategie die 18 keer handelt in een holdout levert geen nauwkeurig oordeel op. Rapporteer het aantal trades en de onzekerheid naast de rendementsstatistieken; één gemiddelde kan een kleine steekproef een definitief karakter geven.
Betekent dit dat backtests nutteloos zijn om strategieën te kiezen?
Nee. Critici hebben gelijk dat strikte holdouts inefficiënt kunnen zijn: markten veranderen, de historie is kort en een onaangeroerde periode kan slechts één uitzonderlijk marktregime vertegenwoordigen. Een zorgvuldig opgezet walk-forward-proces kan laten zien hoe een strategie zich gedraagt wanneer de beschikbare historie opschuift. Herhaald afstemmen wordt er nog steeds niet gratis van. Bekijk je elke fold en pas je de strategie aan, dan hebben die folds het onderzoek beïnvloed.
Gebruik backtests om faalwijzen bloot te leggen, een klein aantal ideeën op basis van een marktmechanisme te vergelijken en te testen of resultaten standhouden bij aannemelijke fees, funding, impact en parameterwijzigingen. Houd een logboek bij. Bewaar een definitieve holdout. Breng een veelbelovende, bevroren versie vervolgens naar paper trading, waar afwijkingen in de uitvoering aan het licht kunnen komen.
Het sterkste antwoord van een backtest is vaak: ‘Dit idee faalt onder omstandigheden die we al kunnen zien.’ Als de backtest zegt: ‘Dit is de beste strategie’, vraag dan hoeveel andere antwoorden je hem hebt laten geven.
← Alle artikelen
