Am Montag fand unser KI-Rechercheagent eine Krypto-Futures-Strategie mit einer Sharpe-Ratio von 4.1. Bis Donnerstag sank das Ergebnis auf 0.8, nachdem wir die Experimente gezählt und den Agenten daran gehindert hatten, immer wieder auf dasselbe Validierungsfenster zu optimieren. Die Strategie hatte sich nicht geändert. Geändert hatte sich unsere Einschätzung dessen, was die Suche tatsächlich erreicht hatte.
Wir führten das als kleines Forschungstagebuch, denn „sorgfältig optimieren“ ist ein leicht gegebener Rat, der sich schwer in die Praxis umsetzen lässt, wenn ein Agent Code schreiben, Backtests starten, Ergebnisse prüfen und es innerhalb weniger Minuten erneut versuchen kann. Hier ist, was der Reihe nach schiefging.
Montag: Dem Agenten eine klar begrenzte Frage stellen
Wir baten den Agenten, eine einfache stündliche Trendidee auf einem liquiden Perpetual-Futures-Markt zu testen: Einstieg, wenn ein kurzer gleitender Durchschnitt einen längeren kreuzt, Positionsgröße nach einem festen Volatilitätsziel und Ausstieg beim umgekehrten Signal. Wir legten Instrument, Zeitraum, Gebührenmodell, Funding-Historie, Ausführungsannahme und die Parameterbereiche fest, die er untersuchen durfte.
Die historische Stichprobe reichte von 2021 bis 2025. 2021–2023 ordneten wir der Entwicklung zu, 2024 der Validierung, und 2025 hielten wir als abschließenden Holdout versiegelt. Diese Aufteilung war in der Job-Konfiguration festgeschrieben: Der Agent konnte Entwicklungsergebnisse und Validierungswerte lesen, aber keine Holdout-Renditen abrufen.
Unser erster Fehler war, in einem Job 300 Parameterkombinationen zuzulassen, ohne das Suchbudget als Forschungsergebnis zu protokollieren. Der Agent lieferte den Spitzenreiter zurück: einen schnellen Durchschnitt über 9 Stunden, einen langsamen über 73 Stunden und ein Volatilitätsziel von 0.8%. Seine Sharpe-Ratio in der Validierung lag bei 4.1. Wir wussten, dass der Agent viele Einstellungen ausprobiert hatte. Doch wir hatten diese Tatsache noch nicht so festgehalten, dass sie nicht in Vergessenheit geraten konnte.
Dienstag: Beim erneuten Durchlauf wechselte der Gewinner
Wir führten denselben Job in einer sauberen Umgebung erneut aus. Die beste Einstellung änderte sich, und ihre Sharpe-Ratio sank auf 2.7. Beim ersten Durchlauf hatte ein Marktdatencache eine aktualisierte Funding-Reihe geliefert, während der zweite einen festgeschriebenen Snapshot verwendete. Beide Jobs gaben an, denselben Zeitraum zu nutzen; nur einer hatte eine reproduzierbare Datenversion.
Wir hörten auf, Werte zu vergleichen, und begannen, das gesamte Experiment zu protokollieren: Code-Revision, Datensnapshot, Gebühren, Funding, Ausführungseinstellungen, Parameterwerte und jeden Versuch des Agenten. So wurde klar: Die 4.1 waren kein rätselhafter Marktvorteil. Sie gehörten zu einer Einstellung aus einer Suche mit 300 Versuchen im selben Validierungsjahr.
Mittwoch: Die Suche einfrieren, bevor wir den Holdout öffnen
Wir wiederholten das Experiment mit einem festen Datensnapshot und einem kleineren, vorab festgelegten Raster: 24 Kombinationen. Der Agent durfte sie anhand des Entwicklungszeitraums 2021–2023 bewerten. Wir ließen ihn 2024 einmal zur Auswahl einsehen und sperrten anschließend die gewählten Einstellungen und den Code.
Die ausgewählte Strategie erzielte in der Validierung eine Sharpe-Ratio von 0.8. Im versiegelten Holdout von 2025 lag sie nach Taker-Gebühren, Funding und derselben, während der gesamten Studie angewandten Ausführungsverzögerung von einem Balken bei 0.3. Das war eine nützliche Antwort. Es war kein Beleg dafür, dass die Strategie auf einem Live-Konto Geld verdienen würde.
Eine Randbemerkung aus dieser Woche: Wir verbrachten mehr Zeit damit, uns darauf zu einigen, was als „ein Versuch“ zählt, als mit dem Schreiben des Codes für den gleitenden Durchschnitt. Eine geänderte Parameterkombination zählten wir als Versuch, ebenso Durchläufe mit geändertem Signal oder geänderter Positionsgrößenregel. Für einen neuen Datensnapshot oder eine andere Ausführungsannahme legten wir einen eigenen Durchlaufeintrag an, weil beides die Rangfolge ebenso verändern konnte.
Donnerstag: Was wir beim nächsten Mal auslassen würden
Den offenen ersten Job würden wir auslassen. Ein Rechercheagent braucht ein Suchbudget und eine Aufzeichnung seiner Versuche, besonders wenn er jedes Ergebnis nutzen kann, um den nächsten Versuch auszuwählen. Auch der Holdout muss vor beiläufigem Hineinschauen geschützt werden: Sobald jemand das Ergebnis liest und die Strategie ändert, ist dieser Zeitraum zu einem weiteren Validierungsdatensatz geworden.
Für eine kleine Suche kann ein praktisches Experimentprotokoll schlicht und eindeutig aussehen:
| Protokollieren | Warum es wichtig ist |
|---|---|
| Code- und Datenversionen | Damit ein erneuter Durchlauf dieselben Eingaben und dieselbe Logik verwendet |
| Jede getestete Variante | Damit sich der Gewinner im Kontext der Suche einordnen lässt |
| Rollen von Entwicklung, Validierung und Holdout | Damit ein abschließender Wert nicht unbemerkt erneut fürs Tuning verwendet wird |
| Gebühren, Funding und Ausführungsannahmen | Damit das berichtete Ergebnis eine testbare Simulation beschreibt |
Nach dem Öffnen des Holdouts kehrt man mit einer neuen Forschungsfrage zur Entwicklung zurück und bewahrt das alte Ergebnis als historischen Beleg auf. Man sollte nicht dieselbe Strategie immer weiter an einen Zeitraum anpassen, den sie bereits gesehen hat.
Der Agent erledigte seine Aufgabe: Er durchsuchte schnell die Möglichkeiten und fand eine Konfiguration, die eine nähere Untersuchung wert war. Unsere Aufgabe war es, die Suche nachvollziehbar zu machen, einen unberührten Test zu bewahren und den Wert als Messung mit eigener Vorgeschichte zu behandeln. Das interessante Ergebnis war weder 4.1 noch 0.3. Es war genau zu sehen, wie die erste Zahl zustande kam.
← Alle Beiträge
