We ontleedden een backtest van een voorspellingsmarkt die het verkeerde contract kocht

Een backtest van een voorspellingsmarkt kan de ticker hebben die er goed uitziet, de juiste prijsgeschiedenis gebruiken en toch het verkeerde contract verhandelen. Die fout is makkelijk over het hoofd te zien: marktnamen zijn kort, evenementpagina’s worden bijgewerkt en een YES-aandeel ziet er altijd uit als een prijs tussen nul en één.

Neem een hypothetische markt met de naam ‘Zal de wet op schoon vervoer worden aangenomen?’ Een strategie koopt YES voor 0.42 na een nieuwssignaal. Later waardeert de backtest de positie op 1.00. Voordat ik die winst vertrouw, wil ik precies weten wat het contract beloofde: om welke wet het ging, wat als ‘aannemen’ gold, wat de deadline was en welke bron de uitkomst bepaalde.

De titel: ‘Zal de wet op schoon vervoer worden aangenomen?’

Een titel is een weergavenaam, geen stabiele instrumentidentificatie. Twee markten kunnen bijna dezelfde bewoording gebruiken, maar verwijzen naar verschillende zittingsperioden, gewijzigde wetsvoorstellen of deadlines. Een handelsplatform kan ook een titel aanpassen om de markt te verduidelijken zonder de onderliggende voorwaarden te veranderen.

Daarom moet de backtest de positie koppelen aan de onveranderlijke markt- of contract-ID van het handelsplatform en vervolgens de volledige regeltekst en de versie ervan bewaren. Bevat historische data alleen een titel en een ticker, dan kun je niet vaststellen of de prijsreeks hoort bij het contract dat je strategie wilde verhandelen.

De regels: wat betekent ‘aannemen’?

Stel dat de regel zegt dat het wetsvoorstel vóór 30 juni door het Huis van Afgevaardigden en de Senaat moet zijn aangenomen en vervolgens door de president moet worden ondertekend. Een backtest die aanneming door een van beide kamers als succes telt, heeft de weddenschap veranderd. Hetzelfde geldt voor een wetsvoorstel met dezelfde naam in de volgende zittingsperiode.

Lees de daadwerkelijke afwikkelingscriteria als uitvoerbare voorwaarden. Leg de deadline en tijdzone vast, de gebeurtenis die meetelt, eventuele uitzonderingen en de genoemde afwikkelingsbron. Ook onduidelijkheid doet ertoe: laten de regels van het handelsplatform een aannemelijk scenario onbeslist, kies dan niet stilzwijgend de uitleg die bij de historische uitkomst past.

Een heerlijk onopvallend onderdeel van dit werk: de regelpagina opslaan voordat er iets interessants gebeurt. Een pagina die pas na de afwikkeling wordt vastgelegd, kan de definitieve bewoording tonen, terwijl je strategie instapte op basis van een eerdere versie.

De tijdlijn: wanneer kon de strategie dit weten?

Stel nu dat de regels kloppen en het nieuwssignaal om 14:05 UTC afging. De historische feed vermeldt een transactie om 14:05, tegen een prijs van 0.42. Dat tijdstip alleen vertelt je niet of de informatie vóór de transactie beschikbaar was, of de geregistreerde prijs daarna uitvoerbaar was, of dat de candle een quote, een transactie of een samenvatting over een interval weergeeft.

Houd het tijdstip waarop het signaal beschikbaar kwam apart van het tijdstip van de marktgebeurtenis. Plaats de order vervolgens pas nadat de strategie het signaal kon berekenen en de order kon versturen. In een dunne markt kan de volgende geregistreerde transactie pas minuten later plaatsvinden; dat bewijst niet dat je order tegen die prijs zou zijn uitgevoerd.

De prijs: een quote is geen fill

YES voor 0.42 betekent een prijs van 42 cent per aandeel, maar een reeks met alleen de laatste transactie verbergt de spread en de beschikbare omvang. Als de beste ask 0.45 is voor 20 aandelen, kan een gesimuleerde aankoop van 100 aandelen niet volledig worden uitgevoerd tegen 0.42. De order kan meerdere prijsniveaus in het orderboek aanspreken, wachten of helemaal niet worden uitgevoerd.

Prijzen op voorspellingsmarkten nodigen ook uit tot een boekhoudkundige shortcut: 0.42 behandelen als een kans van 42% en vergeten dat dit ook het aankoopbedrag is. Een YES-positie van 100 aandelen kost vóór kosten $42. Bij afwikkeling op $1 is de bruto-opbrengst $100; bij afwikkeling op $0 is die nul. Kosten, gedeeltelijke fills en eventuele specifieke afwikkelingsmechanismen van het handelsplatform horen in de administratie.

De afwikkeling: wat sluit de transactie af?

Een backtest sluit de positie vaak tegen de laatste marktprijs. Maar een contract dat tot de afwikkeling wordt aangehouden, betaalt uit volgens de regels; de laatst genoteerde prijs kan verouderd zijn, een brede spread hebben of ver afstaan van de uiteindelijke uitbetaling. Modelleer de afwikkeling als een afzonderlijke gebeurtenis: de uitkomst, het afwikkelingstijdstip en de geldstroom moeten uit het contractrecord komen.

Houd ook rekening met een markt die volgens de regels van het handelsplatform ongeldig of betwist wordt verklaard. De inzet kan dan worden terugbetaald, er kan een ander bedrag worden uitgekeerd of de afwikkeling kan worden uitgesteld. Een aanname van een binaire uitbetaling kan niet elk afwikkelingsscenario weergeven.

Het oordeel over de backtest

In dit voorbeeld zou ik de gerapporteerde winst pas accepteren nadat ik de onveranderlijke markt-ID, de regelversie die bij instap gold, het YES-token, het tijdstip waarop het signaal beschikbaar kwam, uitvoerbare asks en omvang, kosten en de geregistreerde afwikkeling heb gecontroleerd. Kan het prijsarchief die controles niet ondersteunen, dan is een scenario-interval of een niet-geverifieerd resultaat de eerlijke uitkomst.

Dat klinkt misschien streng voor één kleine transactie. Herhaal dezelfde fout bij het koppelen van data voor duizenden markten en de backtest kan veranderen in een nauwkeurige meting van contracten die je strategie nooit heeft verhandeld.