Ein KI-Strategieagent kann einen gültigen Backtest erstellen und dabei Informationen verwenden, die zum vorgesehenen Handelszeitpunkt noch gar nicht vorlagen. Der Code läuft. Die Aktienkurve sieht plausibel aus. Auch das Signal kann durchaus sinnvoll sein. Doch ein Zeitstempel, ein Join oder ein nachträglich korrigiertes Datenfeld hat ihm unbemerkt die Antwort von morgen verraten.
Die Lösung besteht darin, den Verfügbarkeitszeitpunkt zum festen Bestandteil des Research-Vertrags zu machen. Für jede Eingabe müssen zwei Fragen eindeutig beantwortet sein: Welchen Zeitraum beschreibt dieser Wert, und wann hätte die Strategie ihn frühestens kennen können?
Wie äußert sich Lookahead-Bias in einer KI-generierten Strategie?
Die offensichtliche Variante: Ein Signal wird anhand des Schlusskurses derselben Kerze berechnet und anschließend genau zu diesem Kurs ausgeführt. Wenn die Strategie den Schlusskurs für ihre Entscheidung braucht, kann sie nicht zugleich zu diesem Kurs handeln. Agenten erzeugen jedoch oft subtilere Varianten, wenn sie Datenquellen verknüpfen oder bequeme Standardwerte wählen.
Angenommen, ein Modell berechnet zum Schluss jeder Minute einen gleitenden Durchschnitt über 20 Kerzen und geht eine Position ein, wenn der Schlusskurs diesen kreuzt. Wird der Backtest zum selben Schlusskurs ausgeführt, nutzt er den letzten Trade der Kerze, bevor dieser für die Strategie verfügbar war. Die Order auf die Eröffnung der nächsten Kerze zu verschieben, kann eine vertretbare Näherung sein; bei einer Market-Order müssen Gebühren und Markteinfluss aber weiterhin berücksichtigt werden.
Nehmen wir nun als Feature eine tägliche Fundamentalkennzahl für Aktien oder einen Snapshot des Open Interest bei Kryptowährungen. Das Datum der Zeile kann Montag lauten, obwohl der Wert erst nach Börsenschluss am Montag veröffentlicht oder später korrigiert wurde. Ein Datum ist kein Verfügbarkeitszeitstempel.
Wie sollte ich die Eingaben einer Strategie mit Zeitstempeln versehen?
Speichere mindestens drei Zeitangaben, sofern die Quelle sie bereitstellt: den Zeitraum, den ein Wert beschreibt, den Veröffentlichungszeitpunkt der Quelle und den Zeitpunkt, zu dem dein System den Wert empfangen hat. Zum Entscheidungszeitpunkt darf die Informationsmenge der Strategie nur Werte enthalten, die bis dahin verfügbar waren.
| Feld | Welche Frage beantwortet es? | Typische Falle |
|---|---|---|
| Ereigniszeit | Wann ist das Marktgeschehen eingetreten? | Den Schlusskurs einer Kerze verwenden, bevor sie abgeschlossen ist |
| Veröffentlichungszeit | Wann hat die Quelle diesen Wert veröffentlicht? | Eine Kennzeichnung als Tagesende so behandeln, als wäre der Wert zur Eröffnung veröffentlicht worden |
| Eingangszeit | Wann hätte dieses Research-System den Wert verarbeiten können? | Verzögerungen beim Anbieter oder in der Datenpipeline ignorieren |
| Korrekturzeit | Wann wurde diese Version erfasst oder korrigiert? | Korrigierte historische Daten so zurückzuschreiben, als wären sie die Originalwerte |
Bei einer 1-Minuten-Strategie ist eine Verzögerung von einer Sekunde nicht automatisch harmlos. Ob sie eine Rolle spielt, hängt davon ab, wann die Entscheidung fällt und welche Daten das Signal verwendet. Bei einer abgeschlossenen Stundenkennzahl dürfte sie kaum ins Gewicht fallen. Bei einer Orderbuch-Imbalance, die kurz vor der Order erfasst wird, kann sie den Trade umkehren.
Kann ein Point-in-Time-Datenspeicher Datenlecks verhindern?
Er hilft, sofern „Point-in-Time“ bedeutet, dass sich der zu einem historischen Entscheidungszeitpunkt bekannte Wert einschließlich seines damaligen Versionsstands abrufen lässt. Eine Tabelle mit bloß historischen Datumsangaben kann für diese Daten trotzdem die heute korrigierten Werte enthalten.
Bewahre für jeden Datensatz ein Gültigkeitsintervall und einen Verfügbarkeitszeitstempel auf und speichere Korrekturen als neue Versionen, statt sie zu überschreiben. Formuliere historische Abfragen dann ausdrücklich so: Gib die neueste Version zurück, die zum simulierten Entscheidungszeitpunkt verfügbar war. Das ist besonders wichtig bei Fundamentaldaten, der Indexzusammensetzung, Wirtschaftsveröffentlichungen und von Anbietern bereinigten Datensätzen.
Im Betriebsalltag gibt es einen wenig glamourösen Haken: Ein perfekter Veröffentlichungszeitstempel hilft nichts, wenn der Datenimport zwanzig Minuten zu spät lief. Wenn der historische Speicher die Eingangszeit nicht erfasst, verwende eine vorsichtige Verzögerung und lege sie offen. Präzision, die die Quelle nie aufgezeichnet hat, ist bloße Dekoration.
Welche Prüfungen decken Lookahead-Bias vor dem Paper Trading auf?
Lass den Research-Agenten neben dem Backtest auch einen Zeitverlauf der Features und Orders ausgeben. Halte für jede Entscheidung den spätesten Verfügbarkeitszeitpunkt der Quelle für jedes Feature, den Entscheidungszeitpunkt, den Orderzeitpunkt und den modellierten Ausführungszeitpunkt fest. Verwirf jede Zeile, bei der eine Eingabe erst nach der Entscheidung eingetroffen ist.
- Verschiebe die Signale um eine Kerze nach vorne und vergleiche die Ergebnisse. Ein starker Einbruch kann auf eine Abhängigkeit vom Timing zwischen Schlusskursen hinweisen; das ist jedoch ein Diagnoseverfahren und kein Beweis für ein Datenleck.
- Begrenze jede Quelle auf einen historischen Stichtag, führe die Pipeline erneut aus und vergleiche die resultierenden Features mit den gespeicherten historischen Features.
- Ersetze ein verdächtiges Feature durch einen konstanten Wert. Bleibt die Performance nahezu unverändert, prüfe, ob der Code die vorgesehene Zeitreihe überhaupt verwendet hat.
- Leite absichtlich ein unmögliches Zukunfts-Feature durch die Pipeline. Die Validierung sollte laut und deutlich fehlschlagen, sobald sein Verfügbarkeitszeitpunkt nach dem Entscheidungszeitpunkt liegt.
Diese Prüfungen zertifizieren keine Strategie. Sie machen konkrete Timing-Annahmen sichtbar und decken häufige Verstöße dagegen auf.
Beweist Paper Trading, dass der Backtest keine Datenlecks hatte?
Nein. Paper Trading kann offenlegen, dass ein Live-Datenpfad verspätet ist, Daten fehlen oder Zeitangaben anders ausgerichtet sind als im historischen Datenpfad. Es kann nicht nachweisen, dass die alten Trainings-Features dem damaligen Informationsstand entsprachen. Ein Modell kann außerdem aufhören, von einem Datenleck zu profitieren, weil die versehentlich gesehene Zukunft inzwischen zur Gegenwart geworden ist.
Nutze Paper Trading als Paritätsprüfung: Vergleiche die Live-Featurewerte, Entscheidungszeitstempel, Ordergenerierung und modellierten Ausführungen mit den Definitionen im Backtest. Bei Abweichungen verfolge die genaue Eingabe und Uhrzeit. Ein Agententeam, das die Informationsmenge hinter jeder Entscheidung erklären kann, leistet nützliche Research-Arbeit. Ein Team, das nur eine glatte Kurve zeigen kann, hat die schwierigste Prüfung übersprungen.
← Alle Beiträge
