Een backtest kan overtuigender lijken nadat je de data slechter hebt gemaakt. Verwijder de lelijke prints, vul de gaten met nette prijzen en de Sharpe kan stijgen. Die verbetering kan een waarschuwing zijn: de opschoonregel heeft misschien precies de marktomstandigheden gewist die je strategie moet kunnen doorstaan.
Datakwaliteit is belangrijk. Een gekruiste quote of een dubbele transactie kan een fill opleveren die niemand had kunnen krijgen. Maar een filter dat ongunstige waarnemingen laat verdwijnen, is ook een modelkeuze. Beoordeel die met hetzelfde wantrouwen als een nieuwe signaalfeature.
Wanneer is een slechte prijs echt slechte data?
Begin met de vraag wat de waarneming voorstelt. Een transactie ver van de heersende marktprijs kan een corrupt record zijn, een echte sweep door een markt met weinig liquiditeit of een gebeurtenis die specifiek is voor een handelsplatform. Een candle van 1 minuut met een bar zonder volume kan betekenen dat er geen transacties waren, terwijl een ontbrekende candle kan wijzen op een storing in de feed. Die gevallen vragen om een verschillende aanpak.
Neem een eenvoudige mean-reversionstrategie die koopt wanneer de prijs 1% onder een kort voortschrijdend gemiddelde daalt en uitstapt zodra de prijs het gemiddelde bereikt. Tijdens een dunne nachtelijke handelsperiode wordt één transactie 1.2% onder de vorige prijs uitgevoerd, waarna de markt snel terugveert. Als die print echt is, had een strategie met een rustende limietorder mogelijk een fill gekregen. Als het een foute tick is die niet werd ondersteund door een uitvoerbare quote, verzin je een voordeel door de fill mee te tellen.
De bar verwijderen is niet automatisch veiliger. De strategie kan nog steeds een order in de markt hebben gehad, en de volgende echte transactie had die kunnen vullen. Een verdedigbare replay moet modelleren wat de strategie had kunnen waarnemen en waartegen de order aannemelijk uitgevoerd had kunnen worden.
Wat doet een opschoonregel met het resultaat?
Voer de strategie uit met expliciete databehandelingen en vergelijk de veranderingen. Bewaar de ruwe bron en leg elke uitsluiting of correctie vast met een reden. Rapporteer vervolgens in hoeverre het resultaat van die beslissingen afhangt.
| Databehandeling | Mogelijk voordeel | Risico voor de backtest |
|---|---|---|
| Verwijder een print buiten een gedocumenteerde foutmarge van de beurs | Voorkomt dat een bekend ongeldig record een extreme waarde bepaalt | De regel kan legitieme transacties tijdens een snelle markt verkeerd classificeren |
| Trek de laatste prijs door over een ontbrekend interval | Voorkomt dat indicatoren vastlopen door hiaten | Creëert een prijs waar mogelijk geen transactie heeft plaatsgevonden |
| Gebruik geconsolideerde quotes in plaats van de laatste transacties | Geeft een beter beeld van de getoonde uitvoeringsprijzen | De omvang van de quote, toegang tot het handelsplatform en de positie in de wachtrij blijven van belang |
| Verwijder alle uitschieterbars op basis van een statistische drempel | Maakt het resultaat minder gevoelig voor extreme waarden | Kan echte stressperiodes verwijderen waarin de strategie het meest verliest |
Stel dat een run zonder filters een Sharpe van 0.9 heeft, terwijl die stijgt naar 1.4 wanneer 0.8% van de bars wordt uitgesloten. Dat is op zichzelf geen overwinning voor de datakwaliteit. Controleer of de verwijderde bars samenvallen met pieken in de volatiliteit, of ze een betekenisvol deel van de P&L vertegenwoordigen en of de uitsluitingsregel was vastgelegd voordat je het resultaat zag.
Houd een register van data-uitzonderingen bij: bron, tijdstempel, betrokken velden, reden voor de handeling en of de beslissing is genomen vóór of na beoordeling van de strategieprestaties.
Hoe test ik of het opschonen het voordeel heeft veranderd?
Zet de strategie vast en vergelijk meerdere aannemelijke behandelingen over dezelfde datums. Neem waar mogelijk de ruwe replay op, een gedocumenteerde correctieset en een conservatief uitvoeringsscenario voor waarnemingen die ambigu blijven. Rapporteer voor elke run het aantal transacties, de omzet, de drawdown en de P&L-bijdrage van de betrokken intervallen, naast de Sharpe.
Bekijk daarna welke transacties veranderen. Als de grootste winnaars van de strategie verdwijnen wanneer je een kleine groep verdachte prints uitsluit, controleer die records dan afzonderlijk. Doe hetzelfde als juist de verliezen verdwijnen. Een regel die alleen zorgvuldig wordt onderzocht wanneer die de backtest schaadt, doet al onderzoekswerk.
Versiebeheer voor een reproduceerbaar onderzoek de bestanden van de dataleverancier of hun checksums, de opschooncode en de uitzonderingslijst. Een dataleverancier kan de geschiedenis herzien; bij je volgende run moet je kunnen vaststellen of de strategie is veranderd of de invoerdata.
Maar is opschonen niet noodzakelijk?
Jawel. Een duidelijk corrupt record laten staan kan een transactie verzinnen, de volatiliteit vertekenen of een indicator laten vastlopen. En niemand moet doen alsof een ruwe feed de absolute waarheid is. Het praktische punt is specifieker: opschonen vereist bewijs, een vastgelegde regel en een gevoeligheidscontrole, omdat het kan veranderen welke markt de backtest beweert weer te geven.
Vraag bij een datacorrectie die de prestaties verbetert welke waarneming is verwijderd en of je dezelfde beslissing had genomen zonder de vermogenscurve te zien. Als je twijfelt, bewaar dan beide versies in het onderzoeksdossier. Het verschil ertussen maakt deel uit van het resultaat.
← Alle artikelen
