Αφήσαμε έναν ερευνητικό agent AI να βελτιστοποιήσει μια στρατηγική. Το ημερολόγιο ήταν λιγότερο εντυπωσιακό.

Τη Δευτέρα, ο ερευνητικός agent AI μας βρήκε μια στρατηγική σε crypto futures με Sharpe ratio 4.1. Μέχρι την Πέμπτη, αφού μετρήσαμε τα πειράματα και σταματήσαμε να αφήνουμε τον agent να ρυθμίζει παραμέτρους πάνω στο ίδιο παράθυρο επικύρωσης, το αποτέλεσμα ήταν 0.8. Η στρατηγική δεν είχε αλλάξει. Είχε αλλάξει η εκτίμησή μας για το τι είχε πετύχει η αναζήτηση.

Το καταγράψαμε ως ένα μικρό ερευνητικό ημερολόγιο, επειδή το «βελτιστοποιήστε προσεκτικά» είναι εύκολη συμβουλή, αλλά δύσκολη στην εφαρμογή όταν ένας agent μπορεί να γράφει κώδικα, να ξεκινά backtests, να εξετάζει τη βαθμολογία και να δοκιμάζει ξανά μέσα σε λίγα λεπτά. Να τι πήγε στραβά, με τη σειρά.

Δευτέρα: Θέσαμε στον agent ένα σαφώς οριοθετημένο ερώτημα

Ζητήσαμε από τον agent να δοκιμάσει μια απλή ιδέα ωριαίας τάσης σε μια ρευστή αγορά perpetual futures: είσοδο όταν ένας βραχυπρόθεσμος κινητός μέσος διασταυρώνεται με έναν πιο μακροπρόθεσμο, μέγεθος θέσης βάσει σταθερού στόχου μεταβλητότητας και κλείσιμο στη αντίστροφη ένδειξη. Ορίσαμε το μέσο, τις ημερομηνίες, το πρόγραμμα προμηθειών, το ιστορικό χρηματοδότησης, την παραδοχή εκτέλεσης και τα εύρη παραμέτρων που μπορούσε να εξερευνήσει.

Το ιστορικό δείγμα κάλυπτε την περίοδο από το 2021 έως το 2025. Ορίσαμε τα έτη 2021–2023 ως περίοδο ανάπτυξης, το 2024 ως περίοδο επικύρωσης και κρατήσαμε το 2025 κλειδωμένο ως τελικό holdout. Ο διαχωρισμός καταγράφηκε στη διαμόρφωση της εργασίας, ώστε ο agent να μπορεί να διαβάζει τα αποτελέσματα ανάπτυξης και τις βαθμολογίες επικύρωσης, αλλά να μην μπορεί να ανακτήσει τις αποδόσεις του holdout.

Το πρώτο μας λάθος ήταν ότι επιτρέψαμε 300 συνδυασμούς παραμέτρων σε μία εργασία, χωρίς να καταγράψουμε τον προϋπολογισμό αναζήτησης ως ερευνητικό αποτέλεσμα. Ο agent επέστρεψε την καλύτερη επίδοση: βραχυπρόθεσμο κινητό μέσο 9 ωρών, μακροπρόθεσμο 73 ωρών και στόχο μεταβλητότητας 0.8%. Το Sharpe στην επικύρωση ήταν 4.1. Ξέραμε ότι ο agent είχε δοκιμάσει πολλές ρυθμίσεις. Δεν είχαμε ακόμη φροντίσει ώστε αυτό να είναι αδύνατο να ξεχαστεί.

Τρίτη: Ο νικητής άλλαξε όταν επαναλάβαμε τη δοκιμή

Επαναλάβαμε την ίδια εργασία σε καθαρό περιβάλλον. Η κορυφαία ρύθμιση άλλαξε και το Sharpe της έπεσε στο 2.7. Στην πρώτη εκτέλεση, μια κρυφή μνήμη δεδομένων αγοράς είχε δώσει μια ενημερωμένη σειρά χρηματοδότησης, ενώ η επανάληψη χρησιμοποίησε ένα σταθεροποιημένο στιγμιότυπο. Και οι δύο εργασίες ισχυρίζονταν ότι χρησιμοποιούσαν το ίδιο εύρος ημερομηνιών· μόνο η μία είχε αναπαραγώγιμη έκδοση δεδομένων.

Σταματήσαμε να συγκρίνουμε βαθμολογίες και αρχίσαμε να καταγράφουμε ολόκληρο το πείραμα: αναθεώρηση κώδικα, στιγμιότυπο δεδομένων, προμήθειες, χρηματοδότηση, ρυθμίσεις εκτέλεσης, τιμές παραμέτρων και κάθε δοκιμή που ξεκίνησε ο agent. Έτσι φάνηκε ότι το 4.1 δεν ήταν κάποιο μυστηριώδες πλεονέκτημα της αγοράς. Ανήκε σε μία ρύθμιση μέσα σε μια αναζήτηση 300 προσπαθειών, όλες πάνω στο ίδιο έτος επικύρωσης.

Τετάρτη: Παγώσαμε την αναζήτηση πριν ανοίξουμε το holdout

Επαναλάβαμε το πείραμα με σταθερό στιγμιότυπο δεδομένων και μικρότερο, προκαθορισμένο πλέγμα: 24 συνδυασμούς. Ο agent μπορούσε να τους ταξινομήσει με βάση την περίοδο ανάπτυξης 2021–2023. Του επιτρέψαμε να δει το 2024 μία φορά, για την επιλογή, και έπειτα κλειδώσαμε τις επιλεγμένες ρυθμίσεις και τον κώδικα.

Η επιλεγμένη στρατηγική πέτυχε Sharpe 0.8 στην επικύρωση. Στο κλειδωμένο holdout του 2025, πέτυχε 0.3 μετά τις προμήθειες taker, τη χρηματοδότηση και την ίδια καθυστέρηση εκτέλεσης μίας μπάρας που εφαρμόστηκε σε όλη τη μελέτη. Ήταν μια χρήσιμη απάντηση. Δεν αποτελούσε απόδειξη ότι η στρατηγική θα έβγαζε χρήματα σε πραγματικό λογαριασμό.

Μια παρένθεση από αυτή την εβδομάδα: αφιερώσαμε περισσότερο χρόνο στο να συμφωνήσουμε τι σημαίνει «μία δοκιμή» απ’ ό,τι στο να γράψουμε τον κώδικα των κινητών μέσων. Μετρούσαμε ως δοκιμή κάθε αλλαγή στο σύνολο παραμέτρων, καθώς και τις εκτελέσεις που άλλαζαν το σήμα ή τον κανόνα μεγέθους θέσης. Κάθε νέο στιγμιότυπο δεδομένων ή παραδοχή εκτέλεσης καταγραφόταν ξεχωριστά, επειδή μπορούσε να αλλάξει την κατάταξη εξίσου πολύ.

Πέμπτη: Τι θα παραλείπαμε την επόμενη φορά

Θα παραλείπαμε την ανοιχτού τύπου πρώτη εργασία. Ένας ερευνητικός agent χρειάζεται προϋπολογισμό αναζήτησης και καταγραφή όσων δοκίμασε, ιδίως όταν μπορεί να χρησιμοποιεί κάθε αποτέλεσμα για να αποφασίζει τι θα δοκιμάσει μετά. Χρειάζεται επίσης να προστατεύουμε το holdout από ανεπίσημες ματιές: μόλις κάποιος διαβάσει το αποτέλεσμά του και αλλάξει τη στρατηγική, έχει μετατραπεί σε ακόμη ένα σύνολο επικύρωσης.

Για μια μικρή αναζήτηση, ένα πρακτικό μητρώο πειραμάτων μπορεί να είναι απλό και σαφές:

Αφού ανοίξει το holdout, επιστρέψτε στην περίοδο ανάπτυξης με ένα νέο ερευνητικό ερώτημα και διατηρήστε το παλιό αποτέλεσμα ως ιστορικό τεκμήριο. Μην συνεχίζετε να τελειοποιείτε την ίδια στρατηγική πάνω σε μια περίοδο που έχει ήδη δει.

Ο agent έκανε τη δουλειά του: έψαξε γρήγορα και βρήκε μια διαμόρφωση που άξιζε να εξετάσουμε. Δική μας δουλειά ήταν να κάνουμε την αναζήτηση κατανοητή, να διατηρήσουμε ένα ανέγγιχτο τεστ και να αντιμετωπίσουμε τη βαθμολογία ως μέτρηση με ιστορικό. Το ενδιαφέρον αποτέλεσμα δεν ήταν το 4.1 ή το 0.3. Ήταν ότι είδαμε ακριβώς πώς προέκυψε ο πρώτος αριθμός.