Wir haben einen Prediction-Market-Backtest auseinandergenommen, der den falschen Kontrakt kaufte

Ein Prediction-Market-Backtest kann den richtig wirkenden Ticker und den passenden Kursverlauf verwenden und trotzdem den falschen Kontrakt handeln. Dieser Fehler fällt leicht nicht auf: Marktnamen sind kurz, Eventseiten werden aktualisiert und ein YES-Anteil sieht immer wie ein Preis zwischen 0 und 1 aus.

Nehmen wir einen hypothetischen Markt mit dem Titel „Wird das Clean Transit Act verabschiedet?“ Eine Strategie kauft YES für 0.42 nach einem Nachrichtensignal. Später bewertet der Backtest die Position mit 1.00. Bevor ich diesem Gewinn traue, möchte ich genau wissen, was der Kontrakt zusagte: um welches Gesetz es ging, was als „verabschiedet“ galt, welche Frist galt und welche Quelle über das Ergebnis entschied.

Der Titel: „Wird das Clean Transit Act verabschiedet?“

Ein Titel ist eine Anzeige, keine stabile Instrumentenkennung. Zwei Märkte können nahezu gleich formuliert sein und sich doch auf unterschiedliche Legislaturperioden, geänderte Gesetzesentwürfe oder Fristen beziehen. Eine Handelsplattform kann außerdem den Titel ändern, um den Markt verständlicher zu machen, ohne die zugrunde liegenden Bedingungen zu ändern.

Der Backtest sollte die Position also über die unveränderliche Markt- oder Kontrakt-ID der Plattform identifizieren und den vollständigen Regeltext samt Version speichern. Wenn historische Daten nur einen Titel und einen Ticker enthalten, lässt sich nicht feststellen, ob die Kursreihe zu dem Kontrakt gehört, den die Strategie handeln sollte.

Die Regeln: Was bedeutet „verabschiedet“?

Angenommen, laut Regel muss das Gesetz bis zum 30. Juni das Repräsentantenhaus und den Senat passieren und anschließend vom Präsidenten unterzeichnet werden. Ein Backtest, der bereits die Verabschiedung durch eine der beiden Kammern als Erfolg wertet, hat die Wette verändert. Dasselbe gilt, wenn er ein gleichnamiges Gesetz aus der nächsten Legislaturperiode berücksichtigt.

Lest die tatsächlichen Auflösungskriterien als ausführbare Bedingungen. Haltet die Frist und Zeitzone, das maßgebliche Ereignis, mögliche Ausnahmen und die benannte Quelle für die Auflösung fest. Auch Mehrdeutigkeit ist relevant: Lassen die Regeln der Plattform ein plausibles Szenario offen, wählt nicht stillschweigend die Auslegung, die zum historischen Ergebnis passt.

Ein wunderbar unspektakulärer Teil dieser Arbeit besteht darin, die Regelseite zu speichern, bevor etwas Interessantes passiert. Eine Seite, die erst nach der Auflösung archiviert wurde, zeigt möglicherweise den endgültigen Wortlaut, obwohl eure Strategie nach einer früheren Version eingestiegen ist.

Der zeitliche Ablauf: Wann konnte die Strategie Bescheid wissen?

Nehmen wir nun an, die Regeln sind eindeutig und das Nachrichtensignal wurde um 14:05 UTC ausgelöst. Dem historischen Feed zufolge fand um 14:05 ein Trade zum Preis von 0.42 statt. Dieser Zeitstempel allein verrät nicht, ob die Information vor dem Trade verfügbar war, ob der erfasste Preis danach ausführbar war oder ob der Balken ein Quote, einen Trade oder eine Zusammenfassung des Intervalls darstellt.

Haltet den Zeitpunkt, zu dem das Signal verfügbar wurde, getrennt vom Zeitpunkt des Marktgeschehens. Platziert die Order anschließend so, dass die Strategie Zeit hatte, sie zu berechnen und abzusenden. In einem illiquiden Markt kann der nächste erfasste Trade Minuten später stattfinden; das belegt nicht, dass eure Order zu diesem Preis ausgeführt worden wäre.

Der Preis: Ein Quote ist keine Ausführung

YES zu 0.42 bedeutet einen Preis von 42 Cent pro Anteil, aber eine Reihe letzter Trades verbirgt den Spread und die verfügbare Menge. Liegt der beste Briefkurs bei 0.45 für 20 Anteile, kann eine simulierte Kauforder über 100 Anteile nicht vollständig zu 0.42 ausgeführt werden. Sie könnte sich durch das Orderbuch bewegen, warten oder unausgeführt bleiben.

Prediction-Market-Preise verleiten auch zu einer buchhalterischen Abkürzung: Man behandelt 0.42 als Wahrscheinlichkeit von 42 % und vergisst, dass es zugleich der anfängliche Geldeinsatz ist. Eine YES-Position über 100 Anteile kostet vor Gebühren $42. Wird sie zu $1 abgerechnet, beträgt der Bruttoerlös $100; wird sie zu $0 abgerechnet, ist er null. Gebühren, Teilausführungen und plattformspezifische Abrechnungsmechanismen gehören ins Buchungsjournal.

Die Abrechnung: Was schließt den Trade ab?

Ein Backtest beendet die Position oft zum letzten Marktpreis. Ein bis zur Auflösung gehaltener Kontrakt wird jedoch gemäß den Regeln ausgezahlt, und sein zuletzt notierter Preis kann veraltet, mit großem Spread versehen oder weit von der späteren Auszahlung entfernt sein. Modelliert die Auflösung als eigenes Ereignis: Ergebnis, Abrechnungszeitpunkt und Geldbewegung sollten aus dem Kontraktdatensatz stammen.

Berücksichtigt auch Märkte, deren Ergebnis laut den Regeln der Plattform ungültig oder strittig ist. Das kann zur Rückzahlung des Einsatzes, zu einer anderen Auszahlung oder zu einer Verzögerung führen. Eine Annahme mit binärer Auszahlung bildet nicht jeden Auflösungsverlauf ab.

Das Urteil über den Backtest

Für dieses Beispiel würde ich den gemeldeten Gewinn erst akzeptieren, nachdem ich die unveränderliche Markt-ID, die beim Einstieg geltende Regelversion, den YES-Token, den Verfügbarkeitszeitpunkt des Signals, ausführbare Briefkurse und Mengen, die Gebühren und die erfasste Abrechnung abgeglichen hätte. Reichen die Kursdaten für diese Prüfungen nicht aus, ist eine Szenariospanne oder ein ungeprüftes Ergebnis die ehrliche Aussage.

Für einen einzelnen kleinen Trade mag das streng klingen. Wiederholt sich derselbe Verknüpfungsfehler über Tausende von Märkten, kann der Backtest zu einer sorgfältigen Messung von Kontrakten werden, die eure Strategie nie gehandelt hat.