Ein Backtest kann jeden Kerzenzeitstempel korrekt erfassen und trotzdem Informationen von morgen nutzen. Das passiert, wenn die Strategie die heute noch bestehenden Assets über Jahre der Vergangenheit hinweg testet, als hätte sie gewusst, welche Märkte liquide, gelistet und erhaltenswert bleiben würden.
Der Aufbau des Universums ist Teil der Strategie. Wenn das Live-System zu jedem Entscheidungszeitpunkt nur aus den damals verfügbaren Assets wählen konnte, muss der Backtest dieselbe Grenze einhalten. Drei Abkürzungen verwischen sie regelmäßig.
Fehler eins: die heutige Liste über die gesamte Historie backtesten
Angenommen, du filterst heute die 50 größten Krypto-Perpetual-Märkte heraus und backtestest sie dann ab 2021. Die Liste schließt Kontrakte aus, die verschwunden sind, an Liquidität verloren haben oder delistet wurden. Außerdem greift sie für frühere Zeitpunkte auf Märkte zurück, die es damals vielleicht noch gar nicht gab.
Die Folgen sind leicht zu übersehen: Eine Strategie wirkt stabiler, weil die gescheiterten Assets aus ihrer Stichprobe verschwunden sind. Eine Momentum-Regel könnte beispielsweise über die heutigen 50 Märkte hervorragend aussehen, während die historische Version wiederholt Namen berücksichtigt hätte, die später eingebrochen sind oder ihr Listing an der Börse verloren haben. Du hast ein Portfolio getestet, das mit Kenntnis des Ergebnisses ausgewählt wurde.
Halte die Zugehörigkeit in einem datierten Protokoll fest. Erfasse für jedes Asset, wann es zulässig wurde, wann es diese Zulässigkeit verlor und warum. Wende bei jedem Rebalancing nur die Regeln an, die auf den jeweils verfügbaren Informationen beruhen. Ein Markt sollte erst nach seinem tatsächlichen Listing und einer gegebenenfalls erforderlichen Aufwärmphase aufgenommen werden. Wird er delistet, braucht die letzte Position eine klar festgelegte Ausstiegs- oder Abwicklungsbehandlung; seine Datenzeilen zu löschen, ist keine Ausstiegsregel.
Fehler zwei: Rangfolge nach einer erst nach der Entscheidung gemessenen Kennzahl
Selbst ein historisches Universum kann Datenlecks enthalten, wenn die Zugehörigkeitsregel ein Fenster nutzt, das zum Entscheidungszeitpunkt noch nicht abgeschlossen war. „Jeden Monat die 20 liquidesten Aktien handeln“ klingt sinnvoll, bis die Liquidität anhand des gesamten Monats gerankt wird, in dem die Strategie handeln soll.
Stell dir vor, das Rebalancing findet am ersten Handelstag statt. Wenn du nach dem durchschnittlichen Dollar-Handelsvolumen des jeweiligen Monats rankst, nutzt du unbemerkt die folgenden drei Wochen, um zu entscheiden, welche Assets am ersten Tag infrage kamen. Die Folgen zeigen sich oft in einer ungewöhnlich hohen Kapazität: Die Strategie meidet Assets, die später im Monat illiquide wurden, obwohl sie das beim Einstieg nicht wissen konnte.
Lege den Messzeitpunkt vor den Auswahlzeitpunkt. Bei einem monatlichen Rebalancing in der ersten Sitzung könntest du nach den vorherigen 20 abgeschlossenen Sitzungen ranken, die mit der vorangegangenen Sitzung enden. Mache dann die Ausführungsverzögerung explizit: Wenn die Rangfolge auf dem gestrigen Schlusskurs beruht, kann die Order unter deinem angenommenen Ablauf heute zur Eröffnung aufgegeben werden?
| Auswahlregel | Point-in-Time-Version | Häufiges Datenleck |
|---|---|---|
| Top 20 nach Dollar-Handelsvolumen | Abgeschlossene Sitzungen bis vor dem Rebalancing ranken | Den Rebalancing-Tag oder -Monat einbeziehen |
| An der Börse gelistet | Gültige Listing- und Delisting-Zeitpunkte verwenden | Für frühere Zeitpunkte eine aktuelle Symbol-Endpunktabfrage verwenden |
| Mindesthistorie | Die bis zum Auswahlzeitpunkt verfügbaren Beobachtungen zählen | Für den Filter voraussetzen, dass ein Asset auch später überlebt |
Fehler drei: fehlende Historie als Beleg dafür ansehen, dass ein Asset unzulässig war
Das Archiv eines Datenanbieters ist nicht zwangsläufig eine vollständige Aufzeichnung des historischen Marktes. Ein fehlendes Symbol kann bedeuten, dass das Asset nie existiert hat, die Börse ihre Namenskonvention geändert hat, der Anbieter delistete Instrumente nicht aufbewahrt hat oder der Datenfeed schlicht eine Lücke aufweist. Diese Fälle haben unterschiedliche Folgen.
Die Folge ist ein ordentliches Universum mit unerklärlichen Lücken. Forschende verlangen oft ein vollständiges Rückblickfenster und schließen dann alles, was keines vorweisen kann, stillschweigend aus. Das kann eine sinnvolle Aufwärmregel sein, schließt neu gelistete Assets aber bewusst aus. Noch problematischer: Wenn die fehlende Historie vor allem gescheiterte Märkte betrifft, wird „nur vollständige Daten“ zu einem weiteren Survivorship-Filter.
Behandle Zulässigkeit, Datenverfügbarkeit und die Aufwärmphase der Strategie als getrennte Sachverhalte. Halte für jedes Datum fest, warum ein Asset ausgeschlossen wurde. Bewahre fehlende Daten im Rechercheprotokoll, statt sie stillschweigend zu löschen. Wenn die Quelle nicht belegen kann, ob ein Markt gelistet oder handelbar war, benenne das und miss, wie stark das Ergebnis von dieser Unsicherheit abhängt.
Das Universum reproduzierbar machen
Eine nützliche Prüfung beginnt mit einem einzigen historischen Rebalancing. Erstelle die Kandidatenliste anhand datierter Listings und der Daten, die zum jeweiligen Stichtag verfügbar waren. Berechne die Rangfolge-Eingaben ausschließlich aus abgeschlossenen Beobachtungen neu. Vergleiche anschließend die resultierende Zugehörigkeit mit der Liste, die dein Backtest tatsächlich verwendet hat.
Speichere die Regel, ihren Stichtag, die Auswahlentscheidungen und die Quellversion zusammen mit dem Lauf. Wenn du für ein bestimmtes Datum nicht erklären kannst, warum ein Asset aufgenommen und ein anderes ausgeschlossen wurde, kannst du noch nicht beurteilen, ob die Strategie einen Vorteil entdeckt oder eine von der Zukunft geprägte Stichprobe übernommen hat.
Fehler beim Universumsaufbau zeigen sich selten in unmöglichen Preisen. Sie äußern sich als Strategie, die praktischerweise genau die Märkte gemieden hat, die später unpraktisch wurden.
← Alle Beiträge
