Backtesting, optimalisatie en selectiestappen
Hoe resultaten met reële kosten worden geproduceerd en hoe een strategie promotie verdient.
Echte beurskosten en vergoedingen
Backtests passen de gepubliceerde maker- en takervergoedingen van elke handelsplaats toe, evenals financieringsbetalingen op perpetual futures en een marktimpactmodel op elke uitvoering. De waarde van het vermogen wordt bij elke bar tegen de markt gewaardeerd; posities met hefboom kunnen worden geliquideerd zodra de onderhoudsmarge van de handelsplaats wordt bereikt. Er worden geen resultaten vóór aftrek van kosten gerapporteerd.
Positiegrootte en hefboom
Strategieën bepalen de positiegrootte op basis van het rekeningsaldo, niet met vaste bedragen. De gevraagde hefboom wordt doorgegeven aan de engine en begrensd op het maximum van de handelsplaats: bij spot- en optiehandelsplaatsen blijft deze op één, terwijl futureshandelsplaatsen meer toestaan. Spotrekeningen kunnen niet short gaan; de basisklasse van de strategie dwingt dit af.
Optimalisatie in drie fasen
Bij de gevoeligheidsanalyse wordt elke parameter met twintig procent gevarieerd om scherpe terugvallen te vinden. Walk-forward-optimalisatie voert een Bayesiaanse zoekopdracht uit over voortschrijdende vensters en houdt de in-sample- en out-of-sampleresultaten afzonderlijk bij. De definitieve holdout, het laatste vijfde deel van de data, wordt één keer getest en moet standhouden in vergelijking met het out-of-sampleresultaat van de walk-forward-optimalisatie.
Detectie van overfitting
Een strategie wordt afgewezen wanneer de out-of-sampleprestaties negatief zijn, de verhouding tussen de in-sample- en out-of-sampleprestaties te hoog is, de kans op overfitting van de backtest groter is dan één half, of de deflated Sharpe-ratio, die rekening houdt met het aantal uitgevoerde tests, het resultaat niet langer ondersteunt.
Promotiedrempels
Promotiedrempels worden in code afgedwongen op basis van een gepubliceerd criteriabestand. Harde drempels gelden voor overfitting, niet-positieve out-of-sampleresultaten, mislukte holdouts en nul transacties, en kunnen niet worden opgeheven. Zachte drempels gelden voor de Sharpe-ratio, profitfactor, drawdown en winrate. Deze kunnen alleen worden opgeheven met een vastgelegde reden, die de Risk Officer goedkeurt of afwijst.
Een backtest eerlijk beoordelen
Vergelijk de vermogenscurve met de drawdown, controleer op hoeveel transacties het resultaat berust en vergelijk het gemiddelde rendement per transactie met de kosten van een volledige transactie. Een hoog rendement op basis van een handvol transacties, of een Sharpe-ratio die buiten de sample verdwijnt, is een waarschuwing en geen resultaat.