Wenn wir bei der Strategiesuche weitere Märkte hinzufügen, kann der beste Backtest stärker aussehen, obwohl die Belege schwächer werden. Eine höhere Sharpe Ratio nach dem Hinzufügen weiterer Symbole gilt oft als Diversifizierung. Haben wir diese Symbole jedoch nach dem Gewinner durchsucht, haben wir zugleich die Zahl unserer Chancen auf einen Glückstreffer erhöht.
Dieser Unterschied ist wichtig, ganz gleich, ob ein Agent Hunderte Signale vorschlägt oder ein Researcher eine Handvoll davon manuell testet. Zum Suchraum gehört jede Kombination aus Markt, Zeitrahmen, Merkmal und Parameter, deren Ergebnis die endgültige Auswahl beeinflusst hat. „Wir haben nur eine Strategie eingeführt“ sagt nichts darüber aus, wie viele Kandidaten sich zuvor bewähren mussten.
Warum kann ein größeres Marktuniversum die beste Sharpe Ratio aufblähen?
Stellen wir uns vor, wir testen dieselbe Strategievorlage auf 40 unverbundenen Märkten. Nehmen wir der Einfachheit halber an, dass die tatsächliche Sharpe Ratio jedes Marktes null beträgt und jede geschätzte Sharpe Ratio einen Standardfehler von 0.5 hat. Die Schätzungen schwanken um null. Wählen wir aber die höchste aus, ist sie in der Regel positiv – einfach weil wir ein Maximum ausgewählt haben.
Nach einer groben Normalverteilungsannahme liegt der höchste Wert von 40 unabhängigen Rauschschätzungen im Erwartungswert rund 1.3 Standardfehler über null: in diesem Beispiel also bei ungefähr 0.65 Sharpe. Der genaue Wert hängt von der Abhängigkeit, der Stichprobenlänge und der Renditeverteilung ab. Entscheidend ist: Die Auswahl führt zu übermäßig optimistischen Ergebnissen, selbst wenn keine Strategie einen Edge hat.
Führen Sie ein Suchprotokoll. Halten Sie jeden untersuchten Markt und Kandidaten fest, auch fehlgeschlagene Durchläufe und verworfene Varianten. Für die Zahl der Versuche, die zur endgültigen Strategie zählt, ist ausschlaggebend, was die Auswahl beeinflusst hat – nicht, wie viele Dateien nach dem Aufräumen übrig waren.
Märkte sind keine unabhängigen Münzwürfe. BTC und ETH bewegen sich oft gemeinsam; zwei Aktienindizes können den Großteil ihres Risikos teilen. Dadurch sinkt die effektive Zahl unabhängiger Versuche, aber das Problem verschwindet nicht. Außerdem können sich korrelierte Märkte bei Gebühren, Funding, Liquidität und den Zeiträumen unterscheiden, in denen ein Signal funktioniert.
Zählt das Testen weiterer Märkte als multiples Testen?
Ja, wenn wir die Ergebnisse nutzen, um zu entscheiden, was wir beibehalten. Lautet die ursprüngliche Hypothese „Diese Regel erfasst einen Funding-Effekt bei großen Perpetuals“, gehört der Blick auf verschiedene Märkte zum Test dieser Hypothese. Testen wir 50 Märkte, wählen den besten aus und formulieren die Hypothese anschließend anhand seines Verhaltens, ist die Auswahl des Universums Teil der Optimierung geworden.
Es macht einen wichtigen Unterschied, ob wir die Breite vorab festlegen oder erst nach Sichtung der Ergebnisse. Ein festes Korbportfolio kann zeigen, ob eine Idee innerhalb eines definierten Bereichs robust ist. Ein Korb, den wir so lange erweitern, bis ein Symbol eine auffällige Equity-Kurve liefert, ist ein Suchverfahren. Beides kann sinnvolle Forschung sein, aber die Fragen sind unterschiedlich.
| Forschungsentscheidung | Was sich damit belegen lässt | Was sich damit allein nicht belegen lässt |
|---|---|---|
| Vorab festgelegter Korb, gleiche Behandlung | Ob sich die Regel auf den ausgewählten Märkten bewährt | Dass der Korb alle handelbaren Märkte repräsentiert |
| Markt mit der besten Performance nach den Tests ausgewählt | Welcher der getesteten Märkte historisch das beste Ergebnis erzielte | Dass die ausgewählte Sharpe Ratio eine unverzerrte Schätzung ist |
| Vor der Suche zurückgehaltene Märkte | Ob sich eine unveränderte Regel auf unberührte Märkte überträgt | Dass die Bedingungen künftig denen im Holdout entsprechen |
Wie teste ich, ob sich ein Edge auf neue Märkte überträgt?
Legen Sie die Forschungsentscheidungen fest, bevor Sie den Holdout öffnen. Dazu gehören die Signaldefinition, Parameter, Regeln für das Universum, der Rebalancing-Zeitplan und die Ausführungsannahmen. Bewerten Sie anschließend die unveränderte Strategie auf Märkten, die diese Entscheidungen nicht beeinflusst haben.
Nehmen wir zum Beispiel an, eine Krypto-Momentumregel wird bis einschließlich 2023 auf BTC- und ETH-Perpetuals entwickelt. Sie könnten andere liquide Perpetuals zurückhalten, die anhand einer Regel ausgewählt werden, für die nur Informationen vor dem Testzeitraum verwendet werden, und diese Märkte von jeder Abstimmung ausschließen. Wenden Sie die eingefrorene Regel 2024 und 2025 auf diese Kontrakte an. Berücksichtigen Sie für jede Handelsplattform die tatsächliche Gebührenstufe, Funding-Zahlungen, Kontraktspezifikationen und eine vertretbare Annahme zur Marktbeeinflussung. Ein Übertragungstest ohne marktspezifische Handelskosten kann einen Kostenunterschied fälschlich als Signalversagen deuten – oder ein solches Versagen verdecken.
Berichten Sie die Verteilung über die Holdout-Märkte hinweg, nicht nur die gepoolte Sharpe Ratio. Ein gepooltes Portfolio kann verbergen, dass fast die gesamte Rendite aus einem Markt stammt. Zeigen Sie für jeden Markt das Nettoergebnis, die Zahl der Trades, den Drawdown und den Anteil am gesamten P&L, der auf den größten Markt entfällt. Funktioniert die Regel nur bei einem Kontrakt, bezeichnen Sie das Ergebnis als kontraktspezifisch.
Achten Sie auch auf eine saubere zeitliche Trennung. Ein Markt kann unberührt sein, während sich sein Datenzeitraum mit demselben Regime überschneidet, das die Performance in der Entwicklungsphase bestimmt hat. Ein marktübergreifender Holdout prüft, ob sich die Regel auf andere Instrumente überträgt; ein Holdout aus einem späteren Zeitraum prüft, ob sie sich über die Zeit überträgt. Das sind getrennte Tests. Ein starkes Ergebnis im einen ersetzt den anderen nicht.
Was, wenn die Strategie tatsächlich mehr Märkte nutzen sollte?
Dann beziehen Sie sie ein, aber legen Sie das Verfahren fest. Eine Portfolioregel, die jeden geeigneten Markt nach einem festen Signal handelt, unterscheidet sich von einem Wettbewerb, in dem der historisch beste Markt gewinnt. Die Eignung sollte ohne Blick auf die künftige Performance bestimmt werden, zum Beispiel anhand eines Liquiditätsschwellenwerts zu einem bestimmten Zeitpunkt und einer Mindesthistorie. Auch Änderungen der Zugehörigkeit brauchen Zeitstempel. Sonst kann eine aktuelle Liste „liquider Märkte“ die heutigen Überlebenden unbemerkt in einen alten Backtest einschleusen.
Kritiker haben recht: Ein enges Universum kann eine fragile Strategie hervorbringen, und breite Tests sind eine wertvolle Robustheitsprüfung. Die Lösung besteht nicht darin, auf Markttests zu verzichten. Wir sollten vielmehr die Märkte, die wir zur Entdeckung einer Idee nutzen, von denen trennen, auf denen wir die eingefrorene Idee prüfen, und die Entdeckungsarbeit als Teil der Beleglage mitzählen.
Ein größeres Universum kann einer Strategie helfen, sich außerhalb des Labors zu bewähren. Es kann aber auch einem glücklichen Backtest helfen, den Auswahlwettbewerb im Labor zu gewinnen. Das Suchprotokoll und der Holdout zeigen, welche dieser Geschichten Ihre Sharpe Ratio stützt.
← Alle Beiträge
