Δοκιμάσαμε 240 σύνολα παραμέτρων. Το καλύτερο έδειξε λόγο Sharpe 2.1, η διάμεσος ήταν 0.1 και μόνο 17 ξεπέρασαν το 1.0. Αυτοί οι αριθμοί μοιάζουν με ανακάλυψη, μέχρι να μάθετε ότι ακόμη κι όταν καμία στρατηγική δεν έχει πραγματικό πλεονέκτημα, μια τόσο εκτεταμένη αναζήτηση μπορεί να βγάλει έναν νικητή που κολακεύει τα αποτελέσματα.
Ο αριθμός που προκαλεί έκπληξη είναι το 240. Μια αναφορά backtest συνήθως παρουσιάζει την επιλεγμένη στρατηγική σαν να προέκυψε μόνη της. Έτσι δεν λειτουργεί η έρευνα. Κάθε αλλαγή παραμέτρου, αντικατάσταση χαρακτηριστικού, αλλαγή του συνόλου αγορών και επανεκτέλεση μετά από ένα άσχημο αποτέλεσμα δίνει στον θόρυβο άλλη μία ευκαιρία να μοιάσει με σήμα.
Γιατί οι περισσότερες δοκιμές στρατηγικών διογκώνουν το καλύτερο Sharpe;
Φανταστείτε 240 ανεξάρτητες στρατηγικές χωρίς πραγματικό πλεονέκτημα και με θορυβώδεις εκτιμήσεις Sharpe. Οι περισσότερες εκτιμήσεις θα βρίσκονται κοντά στο μηδέν, αλλά η μέγιστη τείνει να είναι θετική. Όσο περισσότερες υποψήφιες στρατηγικές εξετάζετε, τόσο πιο μακριά μπορεί να απομακρυνθεί αυτή η μέγιστη τιμή από την αλήθεια.
Ως πρόχειρη απεικόνιση, ας υποθέσουμε ότι η εκτίμηση Sharpe κάθε υποψήφιας στρατηγικής έχει τυπικό σφάλμα 0.5. Με 240 ανεξάρτητες δοκιμές, η μεγαλύτερη εκτίμηση μπορεί να φτάσει περίπου 1.4 τυπικά σφάλματα πάνω από τον μέσο όρο, δηλαδή περίπου 0.7 Sharpe, μόνο και μόνο λόγω επιλογής. Στην πράξη, οι υποψήφιες στρατηγικές συσχετίζονται, επομένως αυτός ο υπολογισμός δεν είναι διόρθωση που μπορείτε να βάλετε αυτούσια σε μια αναφορά. Δείχνει γιατί το «ο νικητής ξεπέρασε το μηδέν» αποτελεί ασθενές στοιχείο μετά από εκτεταμένη αναζήτηση.
Και η αναζήτηση σπάνια περιορίζεται στο πλέγμα παραμέτρων. Μπορεί να δοκιμάσατε τρεις οικογένειες σημάτων, να απορρίψατε τις δύο αφού είδατε τις καμπύλες τους, να αλλάξατε το σύνολο αγορών και μετά να επανεκτελέσατε τη στρατηγική που έμεινε με διαφορετικό πρόγραμμα αναδιάρθρωσης. Αν οι επιλογές αυτές επηρεάστηκαν από την απόδοση, ανήκουν στο ιστορικό της έρευνας.
Τι μετρά ως δοκιμή backtest;
Μετρήστε μια απόφαση ως δοκιμή όταν το αποτέλεσμά της θα μπορούσε να επηρεάσει την επιλογή στρατηγικής. Σε αυτό περιλαμβάνονται εκτελέσεις που δεν δημοσιεύσατε και παραλλαγές που σταματήσατε νωρίς επειδή η καμπύλη κεφαλαίου έδειχνε άσχημη. Ένα σφάλμα μεταγλώττισης δεν είναι δοκιμή απόδοσης· μια εκτέλεση που έβγαλε απογοητευτικό Sharpe συνήθως είναι.
| Ερευνητική ενέργεια | Μετρά συνήθως; | Γιατί |
|---|---|---|
| Αλλαγή του lookback από 20 σε 30 αφού εξετάσατε τα αποτελέσματα | Ναι | Το πρώτο αποτέλεσμα επηρέασε την επόμενη υποψήφια στρατηγική |
| Εκτέλεση της ίδιας, προκαθορισμένης στρατηγικής σε νέο χρονικό διάστημα που είχε οριστεί εκ των προτέρων | Συνήθως δεν αποτελεί νέα δοκιμή επιλογής | Ο κανόνας είχε οριστεί πριν δείτε αυτά τα στοιχεία |
| Αλλαγή του συνόλου αγορών αφού είδατε ποια περιουσιακά στοιχεία είχαν την καλύτερη απόδοση | Ναι | Η επιλογή του συνόλου αγορών μπορεί να βελτιώσει το φαινομενικό αποτέλεσμα |
| Διόρθωση συντακτικού σφάλματος και επανεκτέλεση του αμετάβλητου κώδικα | Όχι | Καμία ερευνητική επιλογή δεν εξαρτήθηκε από την απόδοση |
Το κριτήριο είναι αν χρησιμοποιήσατε ένα αποτέλεσμα για να πάρετε μια απόφαση. Αυτό μπορεί να είναι δύσκολο να ανασυνθέσετε από μνήμης, γι’ αυτό το ημερολόγιο πειραμάτων πρέπει να καταγράφει την υπόθεση, την έκδοση κώδικα ή ρυθμίσεων, το χρονικό παράθυρο δεδομένων, τις παραδοχές για το κόστος και το αποτέλεσμα κάθε εκτέλεσης.
Μπορώ να διορθώσω το πρόβλημα των πολλαπλών ελέγχων;
Υπάρχουν μέθοδοι που εκτιμούν τη μεροληψία επιλογής ή προσαρμόζουν τη στατιστική σημαντικότητα για πολλές δοκιμές. Μπορούν να φανούν χρήσιμες, αλλά βασίζονται σε παραδοχές για τη σχέση μεταξύ υποψήφιων στρατηγικών και τη συμπεριφορά των αποδόσεων. Μια ονομαστική τιμή p ή μια μεμονωμένη εκτίμηση deflated Sharpe δεν μπορεί να διορθώσει μια αναζήτηση της οποίας το πραγματικό ιστορικό έχετε χάσει.
Ξεκινήστε από όσα μπορείτε να ελέγξετε. Οριστικοποιήστε τις προδιαγραφές πριν αξιολογήσετε ένα πραγματικά ανέγγιχτο χρονικό διάστημα. Κρατήστε ορατό ολόκληρο το σύνολο υποψήφιων στρατηγικών. Όταν δοκιμάζετε πολλές σχετικές παραλλαγές, ομαδοποιήστε τις με βάση την απόφαση που τις δημιούργησε, αντί να προσποιείστε ότι καθεμία ήταν ανεξάρτητη ανακάλυψη. Αναφέρετε την αναζήτηση μαζί με τον νικητή: τον αριθμό δοκιμών, τον κανόνα επιλογής και το αν η τελική αξιολόγηση οδήγησε σε περαιτέρω αλλαγές.
Ένα χρήσιμο τεστ: Αν το αποτέλεσμα στο holdout σας απογοητεύσει, θα αλλάξετε τη στρατηγική και θα ονομάσετε ξανά την ίδια περίοδο holdout; Αν ναι, η περίοδος αυτή αποτελεί πλέον μέρος της έρευνας. Χρειάζεστε νέα στοιχεία για την επόμενη αξιολόγηση.
Τι πρέπει να καταγράφει ένας ερευνητικός agent AI;
Ένας agent μπορεί να δημιουργήσει υποψήφιες στρατηγικές πιο γρήγορα απ’ όσο μπορεί ένας άνθρωπος να τις συγκρατήσει στη μνήμη εργασίας του. Γι’ αυτό η καταμέτρηση δοκιμών πρέπει να αποτελεί μέρος του ερευνητικού συστήματος και όχι αγγαρεία κατά τη σύνταξη αναφοράς. Αποθηκεύετε κάθε υποψήφια στρατηγική πριν από την εκτέλεσή της, μαζί με το γονικό πείραμα και τον λόγο ύπαρξής της. Κρατάτε τις αποτυχημένες και τις απορριφθείσες εκτελέσεις. Καταγράφετε πότε ένας άνθρωπος ή agent εξέτασε την απόδοση και ποια απόφαση ακολούθησε.
Έπειτα, κάντε τη διαδικασία επιλογής αναπαραγώγιμη: με το ίδιο σύνολο υποψήφιων στρατηγικών και τον ίδιο κανόνα, πρέπει να επιλέγει τον ίδιο νικητή. Αν ένας agent αλλάζει συνεχώς την προτροπή, τον στόχο ή τους περιορισμούς του αφού δει τα αποτελέσματα, αυτές οι αλλαγές αποτελούν επίσης μέρος της αναζήτησης.
Ένα Sharpe 2.1 μπορεί να αξίζει περαιτέρω διερεύνηση. Η σημασία του εξαρτάται από τη διαδικασία που το παρήγαγε. Όταν το ημερολόγιο έρευνας δείχνει ότι 240 υποψήφιες στρατηγικές διεκδίκησαν τον τίτλο, μπορείτε να θέσετε το σωστό επόμενο ερώτημα: ποια στοιχεία απομένουν, τα οποία δεν έχουν ήδη εξαντληθεί από αυτές τις επιλογές;
← Όλα τα άρθρα
