Ein Backtest erzielte eine annualisierte Rendite von 20 %. Er verwendete 8 Jahre an Daten, 1.640 Trades und einen sauberen Walk-forward-Split. Dann ersetzten wir die aktuelle Historie des Datenanbieters durch die damals erfassten Werte, und der Edge sank auf 3 %.
Die überraschende Zahl war nicht die ursprüngliche Rendite. Es waren die 17 Prozentpunkte, die von überarbeiteten Daten abhingen. Solcher Wissensvorsprung im Nachhinein kann sich in Wirtschaftsveröffentlichungen, Unternehmenskennzahlen, der Indexzugehörigkeit und sogar in vermeintlich einfachen Marktdatenfeldern verbergen. Historische Daten zeigen, was die Quelle heute angibt. Ein Point-in-Time-Datensatz zeigt, was Ihre Strategie damals hätte wissen können.
Warum können sich historische Daten nach einem Ereignis ändern?
Manche Werte sind zunächst Schätzungen und werden später korrigiert. Eine am Freitag veröffentlichte Wirtschaftskennzahl kann im nächsten Monat revidiert werden. Ein Unternehmen kann eine Gewinnzahl neu ausweisen. Ein Datenanbieter kann einen fehlerhaften Kurs korrigieren, ein fehlendes Intervall ergänzen oder einen vorläufigen Wert durch einen endgültigen ersetzen. Eine Datenbank, die nur den jeweils neuesten Wert speichert, lässt all diese Änderungen so aussehen, als hätten sie schon immer gegolten.
Das ist relevant, wenn eine Strategie Unternehmen nach gemeldetem Umsatz sortiert oder nach einer planmäßigen Datenveröffentlichung am Markt handelt. Sieht sie die korrigierte Zahl schon Monate vorher, hat der Backtest ihr Informationen gegeben, die zum Entscheidungszeitpunkt nicht am Markt verfügbar waren. Die Signalkalkulation kann fehlerfrei sein; ihre Eingabe stammt trotzdem aus der falschen Version der Historie.
Hier lauert eine einfache Falle: Ein Feld namens date beschreibt oft den Zeitraum, auf den sich ein Wert bezieht, und nicht den Zeitpunkt, zu dem er verfügbar wurde. Ein Datensatz zum Quartalsumsatz mit dem Datum 31. März wurde vielleicht erst im Mai veröffentlicht. Die Kennzeichnung bezieht sich auf den Geschäftszeitraum, nicht auf den Informationsstand der Strategie.
Welchen Zeitstempel sollte ein Backtest verwenden?
Erfassen Sie den Bezugszeitraum des Werts und seinen Verfügbarkeitszeitpunkt getrennt. Halten Sie nach Möglichkeit auch Veröffentlichungs- und Eingangszeitpunkt fest. Eine Strategie konnte einen Wert erst nutzen, nachdem er veröffentlicht und vom System empfangen worden war. Weichen diese Zeitpunkte voneinander ab, verwenden Sie für einen konservativen Replay den späteren.
| Zeitstempel | Bedeutung | Nutzen |
|---|---|---|
| Bezugszeitpunkt | Zeitraum oder Ereignis, auf das sich der Wert bezieht | Ordnet Beobachtungen dem gemessenen Sachverhalt zu |
| Veröffentlichungszeitpunkt | Zeitpunkt, zu dem die Quelle diese Version veröffentlichte | Verhindert, dass eine Veröffentlichung vor ihrem Erscheinen berücksichtigt wird |
| Eingangszeitpunkt | Zeitpunkt, zu dem Ihr System die Version erhielt | Erfasst Verzögerungen bei der Lieferung und nachträgliche Datenlieferungen |
Angenommen, der Quartalsumsatz eines Unternehmens bezieht sich auf Januar bis März, wird am 8. Mai um 16:15 Uhr Eastern Time gemeldet und erreicht Ihren Research-Datenspeicher um 16:17 Uhr. Eine Strategie, die zum Börsenschluss am 8. Mai entscheidet, kann den Bericht nicht nutzen, wenn ihre Entscheidung zum Schlusskurs um 16:00 Uhr fiel. Eine Strategie, die am nächsten Morgen entscheidet, kann es. Das Quartalsende allein beantwortet keine der beiden Fragen.
Wie prüfe ich, ob Revisionen das Ergebnis bestimmen?
Führen Sie dieselbe Strategie zweimal aus: einmal mit der Datenversion, die zum jeweiligen historischen Entscheidungszeitpunkt verfügbar war, und einmal mit der neuesten revidierten Historie. Halten Sie Ausführungsannahmen, Universum und Code unverändert. Die Differenz zeigt die Sensitivität gegenüber Revisionen, keinen Vergleich mit einer neuen Strategie.
Untersuchen Sie anschließend, woher die Abweichung kommt. Ändert sich die Performance an Veröffentlichungstagen? Konzentrieren sich die größten Unterschiede auf einige wenige neu ausgewiesene Unternehmenszahlen oder korrigierte Beobachtungen? Handelt die Strategie vor dem maßgeblichen Veröffentlichungszeitpunkt? Eine kleine Prüfung auf Ereignisebene erklärt oft mehr als ein weiteres Diagramm kumulierter Renditen.
Diese Zahlen dienen der Veranschaulichung und sind keine allgemeingültige Strafminderung. Entscheidend ist ein Vergleich für Ihre eigene Strategie, möglichst mit denselben Trades und Kosten. Wenn die revidierte Version deutlich besser abschneidet, finden Sie heraus, welche Felder und Daten dafür verantwortlich sind, bevor Sie der Schlagzeile des Backtests vertrauen.
Was sollte eine Point-in-Time-Datenprüfung erfassen?
Beginnen Sie mit den Feldern, die Ihre Strategie tatsächlich verwendet. Bestimmen Sie für jedes Feld die Quelle, die Bedeutung des Zeitstempels, die Revisionsregeln und ob frühere Versionen abrufbar sind. Fragen Sie den Datenanbieter, wie Korrekturen dargestellt werden: als überschriebene Zeilen, neue Versionszeilen oder in einem separaten Prüfprotokoll. Die Bezeichnung „historisch“ auf einer Produktseite beantwortet diese Fragen nicht.
- Speichern Sie jede Version mit ihrem Veröffentlichungs- oder erstmaligen Verfügbarkeitszeitpunkt.
- Verknüpfen Sie Merkmale mit Entscheidungen anhand des Verfügbarkeitszeitpunkts, nicht anhand der Zeitraumkennzeichnung.
- Bewahren Sie einen unveränderlichen Datenstand oder eine Quellversion für reproduzierbare Läufe auf.
- Kennzeichnen Sie Werte, die verspätet eintreffen, revidiert werden oder für die keine verlässliche Historie vorliegt.
Halten Sie den Umfang außerdem praxisnah. Wenn Ihre Strategie nur Trades und Bars von einer Börse verwendet, sind Revisionen von Wirtschaftsdaten möglicherweise irrelevant. Korrekturen von Bars und nachträgliche Datenlieferungen können trotzdem eine Rolle spielen, besonders wenn ein Signal von einem illiquiden Markt oder einem präzisen Ereignisfenster abhängt.
Wenn keine Point-in-Time-Historie verfügbar ist
Behandeln Sie den heutigen Wert nicht stillschweigend als den gestrigen. Kennzeichnen Sie das Feld als Einschränkung, nehmen Sie es aus Aussagen heraus, die von seiner historischen Verfügbarkeit abhängen, oder arbeiten Sie mit einer konservativen Verzögerung und zeigen Sie, wie stark sich das Ergebnis dadurch ändert. Ein verzögerter Näherungswert kann für die Forschung nützlich sein, sofern die Verzögerung klar benannt ist und die Einschränkung zusammen mit dem Ergebnis dokumentiert wird.
Ein Backtest soll eine Entscheidung anhand des Informationsstands rekonstruieren, der damals verfügbar war. Wenn Ihre Daten nur die neueste Version zeigen, hat das Ergebnis eine klare Grenze: Es kann die Strategie anhand der heute rekonstruierten Historie prüfen, aber nicht belegen, was ein historischer Agent genau hätte sehen können.
← Alle Beiträge
