Wir haben 240 Parametersätze getestet. Der beste erzielte eine Sharpe Ratio von 2.1, der Median lag bei 0.1 und nur 17 überschritten 1.0. Diese Zahlen klingen nach einer Entdeckung – bis man erfährt, dass eine so breite Suche selbst dann einen schmeichelhaften Gewinner hervorbringen kann, wenn keine Strategie tatsächlich einen Vorteil hat.
Die überraschende Zahl ist 240. Ein Backtestbericht behandelt die ausgewählte Strategie meist so, als wäre sie die einzige gewesen. Forschung funktioniert nicht so. Jede Anpassung eines Parameters, jeder Austausch eines Features, jede Änderung des Anlageuniversums und jeder erneute Lauf nach einem unschönen Ergebnis gibt dem Zufall eine weitere Chance, wie ein Signal auszusehen.
Warum lässt das Ausprobieren weiterer Strategien den besten Sharpe steigen?
Stell dir 240 unabhängige Strategien ohne echten Vorteil vor, deren geschätzte Sharpe-Werte durch Rauschen beeinflusst sind. Die meisten Schätzungen liegen nahe null, doch das Maximum ist tendenziell positiv. Je mehr Kandidaten du prüfst, desto weiter kann sich dieses Maximum von der Wahrheit entfernen.
Zur groben Veranschaulichung: Angenommen, der Standardfehler der geschätzten Sharpe Ratio jedes Kandidaten beträgt 0.5. Bei 240 unabhängigen Ziehungen kann der höchste Schätzwert allein durch die Auswahl etwa 1.4 Standardfehler über dem Mittelwert liegen, also ungefähr 0.7 Sharpe. Reale Strategiekandidaten sind korreliert; diese Rechnung ist daher keine Korrektur, die du direkt in einen Bericht übernehmen kannst. Sie zeigt, warum „der Gewinner lag über null“ nach einer breit angelegten Suche nur ein schwacher Beleg ist.
Und die Suche beschränkt sich selten auf das Parameterraster. Vielleicht hast du drei Signaltypen ausprobiert, zwei nach dem Blick auf ihre Kurven verworfen, das Anlageuniversum geändert und den übrig gebliebenen Kandidaten anschließend mit einem anderen Rebalancing-Zeitplan erneut getestet. Wenn die Performance diese Entscheidungen beeinflusst hat, gehören sie zur Forschungshistorie.
Was zählt als Backtestversuch?
Zähle eine Entscheidung als Versuch, wenn ihr Ergebnis die Auswahl deiner Strategie hätte beeinflussen können. Dazu gehören auch Läufe, die du nicht veröffentlicht hast, und Varianten, die du vorzeitig abgebrochen hast, weil die Equity-Kurve schlecht aussah. Ein Fehler beim Kompilieren ist kein Performance-Test; ein Lauf mit enttäuschendem Sharpe ist es normalerweise schon.
| Forschungsmaßnahme | Üblicherweise mitzählen? | Warum |
|---|---|---|
| Den Lookback nach Sichtung der Ergebnisse von 20 auf 30 ändern | Ja | Das erste Ergebnis floss in den nächsten Kandidaten ein |
| Dieselbe festgelegte Strategie in einem vorab bestimmten neuen Zeitraum ausführen | Üblicherweise kein neuer Selektionsversuch | Die Regel stand fest, bevor diese Belege vorlagen |
| Das Anlageuniversum ändern, nachdem klar ist, welche Assets gewonnen haben | Ja | Die Auswahl des Anlageuniversums kann das scheinbare Ergebnis verbessern |
| Einen Syntaxfehler beheben und den unveränderten Code erneut ausführen | Nein | Keine Forschungsentscheidung hing von der Performance ab |
Entscheidend ist, ob du ein Ergebnis für eine Entscheidung genutzt hast. Das lässt sich aus dem Gedächtnis oft nur schwer rekonstruieren. Deshalb sollte ein Experimentprotokoll für jeden Lauf die Hypothese, die Code- oder Konfigurationsversion, den Datenzeitraum, die Kostenannahmen und das Ergebnis festhalten.
Kann ich für multiples Testen korrigieren?
Es gibt Methoden, die Selektionsverzerrungen schätzen oder die Signifikanz bei vielen Versuchen anpassen. Sie können nützlich sein, beruhen aber auf Annahmen darüber, wie die Kandidaten zusammenhängen und wie sich Renditen verhalten. Ein nominaler p-Wert oder eine einzelne deflationierte Sharpe-Schätzung kann eine Suche nicht retten, deren tatsächliche Historie verloren gegangen ist.
Beginne mit den Aspekten, die du kontrollieren kannst. Lege eine endgültige Spezifikation fest, bevor du einen wirklich unberührten Zeitraum auswertest. Behalte die gesamte Kandidatenmenge im Blick. Wenn du viele verwandte Varianten testest, gruppiere sie nach der Entscheidung, aus der sie hervorgegangen sind, statt so zu tun, als wäre jede eine unabhängige Entdeckung. Berichte neben dem Gewinner auch die Suche: Anzahl der Versuche, Auswahlregel und die Frage, ob die abschließende Auswertung weitere Änderungen beeinflusst hat.
Ein nützlicher Test: Wenn das Holdout-Ergebnis enttäuscht, wirst du die Strategie ändern und denselben Zeitraum erneut als Holdout bezeichnen? Wenn ja, gehört dieser Zeitraum jetzt zur Forschung. Für die nächste Auswertung brauchst du neue Belege.
Was sollte ein KI-Forschungsagent protokollieren?
Ein Agent kann Kandidaten schneller erzeugen, als ein Mensch sie im Arbeitsgedächtnis behalten kann. Deshalb gehört die Erfassung der Versuche zum Forschungssystem und ist keine lästige Berichtspflicht. Speichere jeden Kandidaten vor seinem Lauf, einschließlich des übergeordneten Experiments und des Grundes für seine Erstellung. Bewahre fehlgeschlagene und verworfene Läufe auf. Halte fest, wann ein Mensch oder Agent die Performance geprüft hat und welche Entscheidung darauf folgte.
Mache anschließend den Auswahlprozess reproduzierbar: Bei derselben Kandidatenmenge und derselben Regel sollte stets derselbe Gewinner ausgewählt werden. Wenn ein Agent nach Sichtung der Ergebnisse seinen Prompt, sein Ziel oder seine Einschränkungen weiter verändert, gehören auch diese Änderungen zur Suche.
Ein Sharpe von 2.1 kann eine nähere Untersuchung wert sein. Was er bedeutet, hängt davon ab, wie er zustande kam. Wenn das Forschungsprotokoll zeigt, dass 240 Kandidaten um die Schlagzeile konkurrierten, kannst du die richtige nächste Frage stellen: Welche Belege sind noch übrig, die durch keine dieser Entscheidungen bereits aufgebraucht wurden?
← Alle Beiträge
