Ένας agent στρατηγικών μπορεί να αλλοιώσει ένα σύνολο ελέγχου χωρίς να συμπεριλάβει ούτε μία γραμμή ελέγχου σε εργασία εκπαίδευσης. Αν δει τη βαθμολογία του συνόλου ελέγχου, αλλάξει μια παράμετρο και εκτελέσει ξανά, η βαθμολογία έχει ήδη επηρεάσει τη στρατηγική. Ο κώδικας μπορεί να ονομάζει την περίοδο «εκτός δείγματος». Η ερευνητική διαδικασία την έχει εντάξει στην αναζήτηση.
Το έχω δει να συμβαίνει από ευκολία: ένας agent εκτελεί μια παρτίδα, διαβάζει έναν συνοπτικό πίνακα και προτείνει μια μικρή βελτίωση. Κανείς δεν του ζήτησε να προσαρμοστεί στο σύνολο ελέγχου. Ο βρόχος ανατροφοδότησης έκανε την προσαρμογή έτσι κι αλλιώς.
Λάθος 1: Αφήνετε τον agent να ρίχνει κλεφτές ματιές μετά από κάθε εκτέλεση
Η ζημιά συνήθως φαίνεται σε μια βαθμολογία Sharpe του συνόλου ελέγχου που ανεβαίνει με μικρά, τακτικά βήματα. Ο agent δοκιμάζει 30 παραλλαγές, κρατά την καλύτερη και μετά δοκιμάζει άλλες 30 γύρω από αυτήν. Κάθε μεμονωμένη αλλαγή μοιάζει λογική. Όλες μαζί μετατρέπουν την περίοδο ελέγχου σε στόχο βελτιστοποίησης.
Ας δούμε ένα απλοποιημένο παράδειγμα. Ας υποθέσουμε ότι η στρατηγική δεν έχει πραγματικό πλεονέκτημα και δοκιμάζετε 100 ανεξάρτητες παραλλαγές σε ένα σύνολο ελέγχου. Αν επιλέξετε την παραλλαγή με την υψηλότερη βαθμολογία Sharpe, είναι πολύ πιθανό να βρείτε τυχαία ένα κολακευτικό αποτέλεσμα. Στις περισσότερες αναζητήσεις στρατηγικών οι παραλλαγές δεν θα είναι πραγματικά ανεξάρτητες, αλλά αυτό δεν σώζει τη διαδικασία: η επαναλαμβανόμενη ανατροφοδότηση εξακολουθεί να επιβραβεύει ρυθμίσεις που τυχαίνει να ταιριάζουν στις ιδιαιτερότητες του συνόλου ελέγχου.
Βάλτε το σύνολο ελέγχου πίσω από ένα όριο πρόσβασης στα αποτελέσματα. Ο agent μπορεί να αναπτύσσει τη στρατηγική με βάση περιόδους εκπαίδευσης και επικύρωσης· δεν μπορεί να ανακτά μετρικές ή γραφήματα του συνόλου ελέγχου. Κρατήστε την τελική αξιολόγηση σε ξεχωριστή εργασία, εκτελέστε την μία φορά αφού οριστικοποιηθούν οι ερευνητικές επιλογές και καταγράψτε την έκδοση της στρατηγικής και το στιγμιότυπο δεδομένων μαζί με το αποτέλεσμά της.
Λάθος 2: Ονομάζετε «νέα» κάθε μεταγενέστερη περίοδο
Ένα χρονικό εύρος δεν είναι νέο απλώς επειδή έρχεται μετά το παράθυρο εκπαίδευσης. Αν ο agent έχει δει βαθμολογία από αυτό το εύρος ή αν κάποιος χρησιμοποίησε τη μέγιστη πτώση του για να επιλέξει διαφορετικό χαρακτηριστικό, το εύρος έχει πλέον μπει στον βρόχο ανατροφοδότησης.
| Περίοδος | Επιτρεπόμενη χρήση | Τι αλλάζει την κατάστασή της |
|---|---|---|
| Εκπαίδευση | Προσαρμογή κανόνων και παραμέτρων | Τίποτα· προορίζεται για αναζήτηση |
| Επικύρωση | Σύγκριση υποψηφίων και λήψη ερευνητικών αποφάσεων | Η επαναλαμβανόμενη χρήση αυξάνει τον κίνδυνο υπερπροσαρμογής |
| Τελικό σύνολο ελέγχου | Μία αξιολόγηση του οριστικοποιημένου υποψηφίου | Ανάγνωση του αποτελέσματος και αλλαγή του υποψηφίου |
| Μελλοντική περίοδος paper trading | Παρακολούθηση της συμπεριφοράς στην εφαρμογή, σε πραγματικές συνθήκες και μελλοντικά | Η χρήση των αποτελεσμάτων για ρυθμίσεις δημιουργεί νέο ερευνητικό κύκλο |
Η κυλιόμενη αξιολόγηση walk-forward μπορεί να βοηθήσει στην εκτίμηση της συμπεριφοράς μιας σταθερής ερευνητικής διαδικασίας διαχρονικά. Δεν δίνει απεριόριστη άδεια για ματιές σε κάθε fold. Αν ένας agent βλέπει τα αποτελέσματα των fold και προσαρμόζει την αναζήτησή του, αυτά τα fold αποτελούν επίσης ανατροφοδότηση. Διατηρήστε μια τελική ανέγγιχτη περίοδο για την απόφαση που θέλετε πράγματι να πάρετε.
Λάθος 3: Παγώνετε τον κώδικα, αλλά αλλάζετε το ερώτημα
Μερικές φορές ο κώδικας της στρατηγικής παραμένει σταθερός, αλλά ο ερευνητής αλλάζει την αξιολόγηση αφού δει το αποτέλεσμα: αλλάζει δείκτη αναφοράς, αποκλείει έναν δύσκολο μήνα, παρουσιάζει διαφορετικό σύνολο αγορών ή εστιάζει στη μετρική που φαίνεται ισχυρότερη. Το σύνολο ελέγχου έχει κατευθύνει την αφήγηση, ακόμη κι αν δεν άλλαξε καμία παράμετρος.
Η ζημιά εμφανίζεται σε μια καλοφτιαγμένη αναφορά με έναν καθαρό τίτλο και χωρίς καταγραφή των άλλων οπτικών που δοκιμάστηκαν. Μια στρατηγική μετοχών μπορεί να φαίνεται αδύναμη έναντι ενός ευρέος χρηματιστηριακού δείκτη, αλλά ισχυρή έναντι των μετρητών· μια στρατηγική κρυπτονομισμάτων μπορεί να ξεχωρίζει σε ένα ανταλλακτήριο αφού εξεταστούν αρκετά. Αυτές οι συγκρίσεις μπορεί να είναι χρήσιμες, αλλά η επιλογή μεταξύ τους αφού δείτε το σύνολο ελέγχου είναι ένα ακόμη βήμα επιλογής.
Τηρείτε ερευνητικό αρχείο καταγραφής. Για κάθε εκτέλεση, αποθηκεύετε την υπόθεση, την έκδοση κώδικα, το στιγμιότυπο δεδομένων, την αναζήτηση παραμέτρων, τα παράθυρα αξιολόγησης, τις μετρικές που ζητήθηκαν και το αν είδε το αποτέλεσμα ο agent ή ο ερευνητής. Ένα σύντομο αρχείο καταγραφής είναι χρησιμότερο από μια ετικέτα «εκτός δείγματος» που ακούγεται ιδανική.
Έπειτα, διατυπώστε ρητά το τελικό ερώτημα πριν από την αξιολόγηση: ποιος υποψήφιος, ποιο σύνολο αγορών, ποιος δείκτης αναφοράς, ποια κόστη και ποιες μετρικές; Αν η απάντηση αλλάξει όταν προκύψει το αποτέλεσμα, αντιμετωπίστε την επόμενη εκτέλεση ως έρευνα και κρατήστε νέα δεδομένα για τον επόμενο τελικό έλεγχο.
Τι μπορώ ακόμη να μάθω από ένα αλλοιωμένο σύνολο ελέγχου;
Δεν είναι άχρηστο. Μπορεί να δείξει πώς συμπεριφέρθηκε μια στρατηγική εκείνη την περίοδο και να βοηθήσει στη διάγνωση μιας αποτυχίας. Απλώς μην παρουσιάζετε πλέον τη βαθμολογία του ως ανεξάρτητη επιβεβαίωση. Χρησιμοποιήστε το ως τεκμήριο ανάπτυξης, οριστικοποιήστε τον επόμενο υποψήφιο και αξιολογήστε τον σε μια πραγματικά μελλοντική περίοδο paper trading, με τις ίδιες παραδοχές λογιστικής και εκτέλεσης.
Σε μια ροή εργασίας με agents, είναι εύκολο να χάσετε τον λογαριασμό των πειραμάτων: μία προτροπή μπορεί να δημιουργήσει δεκάδες εκτελέσεις προτού το αντιληφθεί κανείς. Η προστασία είναι διαδικαστική. Περιορίστε τι μπορεί να εξετάσει ο agent, καταγράφετε κάθε πείραμα και κρατήστε μία αξιολόγηση της οποίας το αποτέλεσμα δεν μπορεί να κατευθύνει τον υποψήφιο που κρίνεται.
← Όλα τα άρθρα
