Vier cijfers vertellen een ongemakkelijk verhaal: een walk-forward-Sharpe van 1.4, 312 historische trades, 46 paper trades en een verschil van 18 basispunten tussen de uitvoeringsprijzen in paper trading en de backtest. De Sharpe haalt de kop. De 18 basispunten kunnen verklaren waarom de strategie anders aanvoelt, nog voordat er genoeg paperhistorie is om de prestaties te beoordelen.
Walk-forward-testen onderzoekt of een onderzoeksproces op basis van gegevens uit het verleden een strategie had kunnen selecteren en die op latere gegevens had kunnen evalueren. Paper trading onderzoekt of een draaiend systeem, met de huidige gegevens, klokken, orderlogica en fills, zich gedraagt als dat geteste proces. Dat zijn verwante vragen, maar het antwoord op de eerste beantwoordt de tweede niet automatisch.
Wat toont walk-forward-validatie eigenlijk aan?
Stel dat je een strategie traint of selecteert op basis van zes maanden aan gegevens en die vervolgens evalueert op de volgende maand. Schuif dat venster door en herhaal dit. Als elke testmaand buiten het bijbehorende selectieproces blijft, levert de oefening bewijs op over de prestaties onder een reeks historische omstandigheden.
Het toont niet aan dat paper trading dezelfde beslissingen of fills zal opleveren. De historische test kan voltooide bars, een vaste kostenstructuur en een vereenvoudigd model voor marktorders gebruiken. Het draaiende paperproces verwerkt binnenkomende gegevens en verstuurt gesimuleerde orders via een ander traject. Het ene kan deugen terwijl het andere een mismatch bevat.
Daarom is 46 paper trades tegenover 312 in de walk-forward-steekproef op zichzelf geen oordeel. Controleer de vergelijkingsperiode, de signaalfrequentie, open posities aan de grenzen en of beide tellingen dezelfde definitie van een trade hanteren. Een paperperiode van zes weken kan qua aantal trades niet overeenkomen met een jaar aan rollende tests.
Waarom zegt het verschil in uitvoeringsprijs zoveel?
Een gemiddeld verschil van 18 basispunten moet je uitsplitsen voordat je een paper-equitycurve interpreteert. Meet je het vanaf de veronderstelde fill van de backtest tot de fill van de papersimulator, of vanaf de midprijs op het beslismoment tot de paperfill? Dat zijn verschillende metingen. Leg de beslissingsprijs, de aankomstprijs van de order, de gesimuleerde fill, de kosten en eventuele funding afzonderlijk vast.
| Waargenomen verschil | Eerste controle | Waarom dit ertoe doet |
|---|---|---|
| Minder paper trades | Tijdstempels van signalen en toelatingsregels | Een ontbrekende of vertraagde invoer kan beslissingen onderdrukken |
| Dezelfde trades, slechtere fills | Ordertype, spread, impact en kostenniveau | De backtest neemt mogelijk een goedkoper uitvoeringstraject aan |
| Andere positiegroottes | Saldo, contractvermenigvuldiger en afronding | Kleine verschillen in eenheden stapelen zich op bij meerdere orders |
| Afwijking na een herstart | Herstelde positie en openstaande orders | Het paperproces kan met een andere status worden hervat |
Een backtest die koopt bij de opening van de volgende bar kan bijvoorbeeld dicht in de buurt komen van een paper-marktorder in een liquide instrument. Maar als de paperorder na een scherpe koersbeweging aankomt, omvat het verschil naast uitvoeringskosten ook timing en marktbeweging. Als je alle 18 basispunten 'slippage' noemt, verberg je de oorzaak.
Hoe vergelijk ik paper trading met een walk-forward-test?
Begin bij beslissingen, ga dan verder met orders en daarna met fills. Speel voor elke paperbeslissing dezelfde strategieversie af over dezelfde invoergeschiedenis en vergelijk wat die strategie op dat moment wist. Een nuttig pariteitslogboek bevat:
- De strategieversie en parameters, inclusief het selectievenster waaruit ze voortkwamen.
- Invoerwaarden met zowel de gebeurtenistijd als de beschikbaarheidstijd.
- Signaal, doelpositie, huidige positie en voorgestelde order.
- Orderbeperkingen, kosten, funding en details van de gesimuleerde fill.
- Saldo en positietoestand vóór en na de uitvoering.
Als de signalen verschillen, controleer dan de timing van de gegevens en de codeversies. Als de signalen overeenkomen maar de orders verschillen, controleer dan de positiegrootte, beursregels en portefeuillestatus. Als de orders overeenkomen maar de fills verschillen, controleer dan de uitvoeringsaannames. Houd die lagen gescheiden; anders stuurt één prestatiecijfer je op zoek naar de verkeerde oorzaak.
Wanneer wijst de afwijking op een gebrekkige strategie?
Vergelijk de resultaten over een betekenisvolle gedeelde periode en bekijk het beoogde gedrag van de strategie zodra de pijplijn overeenkomt. Een handvol paper trades kan snel een defecte tijdstempel of orderroute aan het licht brengen. Het kan je niet betrouwbaar vertellen dat het gemiddelde rendement van een strategie is veranderd. Daarvoor zijn voldoende waarnemingen nodig; het benodigde aantal hangt af van de ruis en clustering in de rendementen.
Ook marktomstandigheden kunnen veranderen. Een wijdere spread of aanhoudend ongunstige funding kan de strategie schaden, zelfs als elke beslissing overeenkomt. Dat is een echte verandering in de handelsomstandigheden, geen validatiefout. Houd kosten en blootstellingen bij naast de rendementen, zodat het onderscheid zichtbaar wordt.
Walk-forward-validatie levert bewijs over een selectieproces op historische perioden. Paper trading levert bewijs over het draaiende systeem onder waargenomen omstandigheden. Wanneer de resultaten uiteenlopen, zoek dan eerst naar het vroegste punt waarop de logboeken niet meer overeenkomen. Het verrassende cijfer is vaak niet de Sharpe. Het is het kleine verschil in uitvoering of gegevens waardoor de twee experimenten verschillende vragen beantwoorden.
← Alle artikelen
