Η walk-forward βελτιστοποίηση έχει τη φήμη του έντιμου τρόπου να συντονίσεις μια στρατηγική, και της αξίζει — σε σύγκριση με το να βελτιστοποιείς πάνω σε όλα τα δεδομένα και μετά να θαυμάζεις το αποτέλεσμα. Έχει όμως σιωπηλούς τρόπους αστοχίας, και ο καθένας τους παράγει το ίδιο τεχνούργημα: μια αναφορά επικύρωσης που γράφει «robust» καρφιτσωμένη πάνω σε μια στρατηγική που δεν είναι. Ακολουθούν οι τρεις που χρειάστηκε να θωρακιστούμε απέναντί τους, ταξινομημένοι με βάση τα συντρίμμια που αφήνουν.
Αστοχία πρώτη: τα παράθυρα κάνουν διαρροή
Ο λάθος τρόπος: συντονίζεις σε Ιανουάριο-Ιούνιο, επικυρώνεις στον Ιούλιο, και μετά αφήνεις οτιδήποτε από τον Ιούλιο να επηρεάσει ένα δεύτερο πέρασμα — μια επανεκτέλεση αφού είδες το out-of-sample νούμερο, μια «μικρή προσαρμογή» στο πλέγμα παραμέτρων, ένα χαρακτηριστικό κανονικοποιημένο πάνω σε ολόκληρη τη σειρά. Το καθένα μοιάζει αθώο. Μαζί μετατρέπουν το out-of-sample παράθυρο σε in-sample δεδομένα με καθυστέρηση.
Τα συντρίμμια: out-of-sample Sharpe που παρακολουθεί ανεξήγητα το in-sample Sharpe. Τα πραγματικά out-of-sample αποτελέσματα είναι θορυβώδη και απογοητευτικά· μια ύποπτα ομαλή σχέση IS/OOS σημαίνει ότι η πληροφορία κυλάει προς τα πίσω. Παρακολουθούμε τον λόγο ρητά — in-sample πάνω από 3x το out-of-sample σημαδεύει το run, και out-of-sample στο μηδέν ή κάτω από αυτό το σκοτώνει, όσο όμορφο κι αν δείχνει το in-sample.
Αστοχία δεύτερη: ψώνια μετρικών ανάμεσα στα παράθυρα
Τρέχεις τρία walk-forward παράθυρα, παίρνεις τρία θορυβώδη αποτελέσματα και μετά συνοψίζεις: μέσο Sharpe; Διάμεσος; Πετάς το χειρότερο παράθυρο επικαλούμενος «αλλαγή καθεστώτος»; Κάθε επιλογή είναι ένας βαθμός ελευθερίας, και ένας αποφασισμένος βελτιστοποιητής (άνθρωπος ή μπεϋζιανός) θα βρει τη σύνοψη κάτω από την οποία αυτή η στρατηγική δείχνει καλύτερη. Εβδομήντα πέντε Optuna trials ανά παράθυρο είναι εβδομήντα πέντε ευκαιρίες να προσαρμοστείς στον θόρυβο, επί όσες συνόψεις είσαι διατεθειμένος να δεχτείς.
Τα συντρίμμια: μια στρατηγική που περνά την επικύρωση και μετά αποδίδει ζωντανά την επίδοση του χειρότερου παραθύρου, επειδή το χειρότερο παράθυρο ήταν το μόνο έντιμο. Ο κανόνας μας: η συνάθροιση κλειδώνεται στο config πριν από το run, ο προϋπολογισμός των trials είναι σταθερός, και ο αναλυτής διαβάζει τα αποτελέσματα ανά παράθυρο με τη διασπορά ορατή. Μια στρατηγική που χρειάζεται τη φιλική σύνοψη για να περάσει, δεν περνά.
Αστοχία τρίτη: το holdout που έπαψε να είναι holdout
Ένα holdout δουλεύει ακριβώς μία φορά. Τη δεύτερη φορά που μια στρατηγική αξιολογείται πάνω του — μετά από ένα σπρώξιμο παραμέτρου, μια πειραγμένη λεπτομέρεια στο σήμα, ένα «ας τσεκάρουμε απλώς» — δεν είναι πια holdout· είναι ένα αργό validation set. Δεκαπέντε ανέγγιχτες ημέρες ακούγονται εύκολο να διατηρηθούν, μέχρι να έρθει η πίεση της επανάληψης και ο επανέλεγχος να μοιάζει αβλαβής.
Τα συντρίμμια είναι δυσδιάκριτα: αποτελέσματα holdout που βελτιώνονται από επανάληψη σε επανάληψη της ίδιας στρατηγικής. Φρέσκα out-of-sample δεδομένα δεν έχουν κανέναν λόγο να ανταμείψουν την τρίτη επανάληψη περισσότερο από την πρώτη, και όταν το κάνουν, το holdout έχει υποστεί εξόρυξη. Επιβάλλουμε το one-shot μηχανικά: το holdout αξιολογείται μία φορά ανά εκτέλεση του pipeline, το αποτέλεσμα γράφεται στο αρχείο, και μια στρατηγική που χρειάζεται δεύτερη προσπάθεια περνά ξανά ολόκληρη τη διαδικασία — με νέα παράθυρα και όλα τα σχετικά. Πρέπει να διατηρήσει τουλάχιστον το 70% του walk-forward out-of-sample Sharpe, και δεύτερη ζαριά δεν υπάρχει.
Το σημάδι που επιβιώνει και από τα τρία
Πριν από όλα αυτά, τρέχουμε μια απλή σάρωση ευαισθησίας: σπρώχνουμε κάθε παράμετρο ±20% και παρακολουθούμε τις μετρικές. Ένα πραγματικό edge υποβαθμίζεται ομαλά· μια σύμπτωση πέφτει στον γκρεμό. Είναι το φθηνότερο τεστ του pipeline και ασκεί βέτο σε στρατηγικές που θα είχαν περάσει άνετα όλα τα παραπάνω — γιατί ο γκρεμός παραμέτρου είναι η μορφή που παίρνει η υπερπροσαρμογή πριν της δώσεις την ευκαιρία να κρυφτεί μέσα στη μηχανή της επικύρωσης.
Τίποτα από αυτά δεν κάνει τη βελτιστοποίηση ασφαλή. Κάνει τους τρόπους αστοχίας θορυβώδεις — που είναι το μέγιστο που μπορείς έντιμα να ζητήσεις από μια διαδικασία επικύρωσης.
← Όλα τα άρθρα