Το walk-forward testing υποτίθεται ότι απαντά σε ένα πρακτικό ερώτημα: αν προσαρμόζαμε επανειλημμένα μια στρατηγική χρησιμοποιώντας μόνο τα δεδομένα του παρελθόντος, πώς θα είχε αποδώσει στο επόμενο διάστημα δεδομένων που δεν είχε ακόμη δει; Η μέθοδος ακούγεται απλή. Επιλέγουμε ένα παράθυρο εκπαίδευσης, προσαρμόζουμε τη στρατηγική, τη δοκιμάζουμε στο επόμενο διάστημα, έπειτα μετακινούμε το παράθυρο και επαναλαμβάνουμε.
Το πρόβλημα είναι ότι μια ακολουθία παραθύρων μπορεί να φαίνεται πειθαρχημένη, ενώ εξακολουθεί να διαρρέει πληροφορίες μέσα από τα όριά τους. Έχω δει τη ζημιά να εμφανίζεται ως ύποπτα ομαλές αποδόσεις εκτός δείγματος, ρυθμίσεις παραμέτρων που μοιάζουν απίστευτα σταθερές και συναλλαγές που πιστώνονται σε μια περίοδο ελέγχου η οποία άρχισε πριν καν μπορούσαν να τοποθετηθούν.
Λάθος 1: Αντιμετωπίζουμε το παράθυρο ελέγχου σαν να ξεκινά από το μηδέν
Ένα παράθυρο ελέγχου ξεκινά την 1η Ιουνίου. Το σήμα χρησιμοποιεί κινητό μέσο όρο 50 ημερών, οπότε το backtest φορτώνει τις τιμές του Μαΐου για να αρχικοποιήσει τον υπολογισμό. Αυτό είναι εύλογο: μια ζωντανή στρατηγική θα διατηρούσε επίσης την κατάσταση του δείκτη. Αν όμως η απόδοση της περιόδου ελέγχου αρχίζει να συσσωρεύεται από την 1η Μαΐου, οι ημέρες αρχικοποίησης έχουν μετατραπεί σε απόδοση.
Το ίδιο πρόβλημα ορίων εμφανίζεται και στις θέσεις. Ας υποθέσουμε ότι η στρατηγική ανοίγει μια συναλλαγή στις 29 Μαΐου και την κλείνει στις 3 Ιουνίου. Πρέπει το κέρδος να μετρήσει ως απόδοση της περιόδου ελέγχου; Μόνο αν η προσομοίωση ορίζει ξεκάθαρα πώς χειρίζεται τις θέσεις που είναι ήδη ανοιχτές στο όριο. Διαφορετικά, το τεστ μπορεί να κληρονομήσει μια είσοδο που επιλέχθηκε με δεδομένα εκπαίδευσης και έπειτα να πιστώσει το κέρδος που προέκυψε στην περίοδο ελέγχου.
| Στοιχείο ορίου | Ασφαλής χειρισμός | Συνηθισμένο λάθος |
|---|---|---|
| Ιστορικό δείκτη | Φορτώνουμε προηγούμενες μπάρες για τη διατήρηση της κατάστασης· αρχίζουμε την αξιολόγηση στην αρχή του ελέγχου | Μετράμε τις αποδόσεις της αρχικοποίησης ως απόδοση ελέγχου |
| Ανοιχτές θέσεις | Τις κλείνουμε, τις διατηρούμε ή τις εξαιρούμε βάσει ρητά καθορισμένου κανόνα | Πιστώνουμε στο τεστ μια είσοδο πριν από την περίοδο ελέγχου |
| Εντολές και εκτελέσεις | Απαιτούμε η απόφαση και η εκτέλεση να γίνουν εντός της περιόδου ελέγχου | Εκτελούμε μια εντολή που δημιουργήθηκε πριν από το όριο |
Ένας καθαρός διαχωρισμός χρειάζεται κανόνα για την κατάσταση, όχι μόνο μια ημερομηνία. Διατηρούμε το ιστορικό των δεικτών που θα είχε μια ζωντανή διαδικασία, αλλά αξιολογούμε μόνο την περίοδο που θέλουμε να μετρήσουμε. Ορίζουμε ρητά τι γίνεται με τις ανοιχτές θέσεις και εντολές και εφαρμόζουμε τον ίδιο κανόνα σε κάθε μετατόπιση του παραθύρου.
Λάθος 2: Αφήνουμε τις συναλλαγές να περνούν το όριο χωρίς περίοδο αποκλεισμού
Οι επικαλυπτόμενες ετικέτες δημιουργούν άλλη μια διαρροή. Φανταστείτε ένα μοντέλο που εκπαιδεύεται με σήματα των οποίων το αποτέλεσμα είναι η απόδοση των επόμενων πέντε χρηματιστηριακών ημερών. Ένα δείγμα εκπαίδευσης από την τελευταία ημέρα του Μαΐου χρησιμοποιεί τιμές του Ιουνίου για να κρίνει αν η πρόβλεψή του ήταν σωστή. Αν ο έλεγχος αρχίζει την 1η Ιουνίου, η εκπαίδευση έχει ήδη χρησιμοποιήσει μέρος του αποτελέσματος της περιόδου ελέγχου.
Είναι εύκολο να μην το προσέξουμε, επειδή η γραμμή χαρακτηριστικών έχει ημερομηνία 31 Μαΐου. Η ετικέτα φτάνει στο μέλλον. Ένας χρονικός διαχωρισμός που βασίζεται μόνο στις ημερομηνίες των γραμμών δεν μπορεί να εντοπίσει αυτή την επικάλυψη.
Αφαιρούμε τα δείγματα εκπαίδευσης των οποίων τα παράθυρα αποτελέσματος εκτείνονται μέσα στην περίοδο ελέγχου. Ανάλογα με τον χρονικό ορίζοντα της ετικέτας και τον τρόπο κατασκευής των χαρακτηριστικών, αφήνουμε επίσης ένα κενό ανάμεσα στην εκπαίδευση και τον έλεγχο. Το κενό, που συχνά ονομάζεται περίοδος αποκλεισμού (embargo), πρέπει να αντιστοιχεί στο διάστημα κατά το οποίο επικαλύπτονται οι πληροφορίες ή τα αποτελέσματα. Μια ετικέτα πέντε ημερών δεν δικαιολογεί κενό μίας ημέρας μόνο και μόνο επειδή έτσι το γράφημα φαίνεται καθαρότερο.
Καταγράφουμε ολόκληρο το χρονικό διάστημα που χρησιμοποιεί κάθε δείγμα εκπαίδευσης: το ιστορικό αναδρομής των χαρακτηριστικών, τον χρόνο λήψης της απόφασης και το παράθυρο αποτελέσματος. Κάνουμε τον διαχωρισμό βάσει αυτών των διαστημάτων, όχι μόνο βάσει της ημερομηνίας που αναγράφεται δίπλα σε κάθε γραμμή.
Λάθος 3: Επιλέγουμε τον νικητή αφού δούμε όλα τα folds
Να το πιο δελεαστικό λάθος. Εκτελούμε walk-forward tests σε 40 σύνολα παραμέτρων. Ένας συνδυασμός φαίνεται να αποδίδει καλά σε αρκετά folds, οπότε τον επιλέγουμε και παρουσιάζουμε τα ίδια folds ως απόδειξη ότι γενικεύεται.
Κάθε fold μπορεί να μην είχε εμφανιστεί στο μοντέλο κατά τη δική του εκπαίδευση. Όμως ο σχεδιασμός της στρατηγικής επιλέχθηκε αφού εξετάσαμε όλα τα folds. Τα αποτελέσματα του ελέγχου έχουν πλέον επηρεάσει μια ερευνητική απόφαση, άρα αποτελούν μέρος της διαδικασίας εκπαίδευσης σε επίπεδο πειράματος.
Κρατάμε χρονολογημένο αρχείο με τις επιλογές που έγιναν πριν από κάθε αξιολόγηση. Αν χρησιμοποιούμε τα αποτελέσματα του walk-forward για να επιλέξουμε παραμέτρους, χαρακτηριστικά, αγορές ή ακόμη και το παράθυρο ελέγχου, κρατάμε μια τελική περίοδο που δεν έχουμε αγγίξει για μία τελευταία αξιολόγηση. Ανοίγουμε αυτή την περίοδο μόνο μία φορά, αφού οριστικοποιηθούν οι επιλογές. Αν επιστρέψουμε και κάνουμε προσαρμογές αφού τη δούμε, δεν είναι πλέον τελικός έλεγχος.
Υπάρχει εδώ και μια πεζή λεπτομέρεια: αποθηκεύουμε το αρχείο πειράματος πριν φτάσουν τα αποτελέσματα. Ένα υπολογιστικό φύλλο που τροποποιείται μετά από μια πολλά υποσχόμενη εκτέλεση δεν καταγράφει αξιόπιστα τι δοκιμάσαμε πραγματικά.
Τι πρέπει να περιλαμβάνει μια αξιόπιστη αναφορά walk-forward;
Παρουσιάζουμε τις ρυθμίσεις μαζί με τις αποδόσεις: ημερομηνίες εκπαίδευσης και ελέγχου, συχνότητα μετατόπισης, χρονικό ορίζοντα ετικέτας, χειρισμό της αρχικοποίησης, πολιτική για τις θέσεις στα όρια και πόσες διαμορφώσεις δοκιμάστηκαν. Παρουσιάζουμε κάθε fold καθώς και το συγκεντρωτικό αποτέλεσμα. Ένα ισχυρό σύνολο αποτελεσμάτων που προέρχεται από ένα τυχερό παράθυρο πρέπει να ερμηνεύεται διαφορετικά από μέτρια αποτελέσματα που επαναλαμβάνονται σε διαφορετικές συνθήκες.
Το walk-forward testing μπορεί να επιβάλει χρήσιμη πειθαρχία στην έρευνα στρατηγικών, αλλά η πειθαρχία βρίσκεται στους κανόνες των ορίων και στο αρχείο των αποφάσεων. Αν τα ορίσουμε σωστά, το τεστ μπορεί να μας δείξει κάτι για το πώς μια ερευνητική διαδικασία θα μπορούσε να εξελιχθεί με τον χρόνο. Αν τους παραλείψουμε, η ετικέτα walk-forward είναι απλώς διακόσμηση σε ένα αποτέλεσμα που έχει ήδη δει το μέλλον.
← Όλα τα άρθρα


