Χίλιες παραλλαγές στρατηγικής. Μετρούμενος δείκτης Sharpe 2.0 για την καλύτερη. Ποσοστό ψευδώς θετικών αποτελεσμάτων 5%. Αυτοί οι αριθμοί μοιάζουν με ισχυρό αποτέλεσμα, μέχρι να αναρωτηθείτε πόσες προσπάθειες χρειάστηκαν για να το βρείτε. Με αρκετές δοκιμές, ένα πειστικό backtest μπορεί να προκύψει μόνο από τον θόρυβο.
Το απρόσμενο μέγεθος δεν είναι ο δείκτης Sharpe. Είναι ο αριθμός των δοκιμών. Κάθε παράθυρο δείκτη, όριο εισόδου, επιλογή συνόλου μέσων και ιδέα που απορρίφθηκε είναι μια ακόμη ευκαιρία να επιλέξετε ένα τυχερό αποτέλεσμα. Αν η ερευνητική διαδικασία σας ξεχνά αυτές τις προσπάθειες, το ίδιο κάνει και ο υπολογισμός της βεβαιότητάς σας.
Γιατί οι περισσότερες δοκιμές στρατηγικών κάνουν την καλύτερη να φαίνεται πιο αποδοτική;
Φανταστείτε ότι δοκιμάζετε 1,000 στρατηγικές χωρίς πραγματικό πλεονέκτημα. Η καθεμία έχει πιθανότητα 5% να φανεί στατιστικά σημαντική σε έναν συμβατικό έλεγχο. Στην πραγματική έρευνα αυτές οι δοκιμές δεν είναι απολύτως ανεξάρτητες, αλλά η βασική ιδέα ισχύει: όσο περισσότερους υποψηφίους εξετάζετε, τόσο πιθανότερο είναι κάποιος να φανεί εξαιρετικός από τύχη.
Ακόμη κι αν όλοι οι υποψήφιοι ήταν ανεξάρτητοι, η πιθανότητα να ξεπεράσει έστω ένας το όριο του 5% είναι περίπου 99.4%. Στην πράξη, κοντινές ρυθμίσεις παραμέτρων συχνά έχουν παρόμοια συμπεριφορά, επομένως 1,000 παραλλαγές δεν ισοδυναμούν με 1,000 ανεξάρτητες ρίψεις νομίσματος. Ωστόσο, ο πραγματικός αριθμός των προσπαθειών σπάνια είναι μόνο μία.
Έχω δει μια μικρή παγίδα σε σημειωματάρια κώδικα: ένας ερευνητής δοκιμάζει περιόδους αναδρομής από 5 έως 100, σχεδιάζει την επιφάνεια του δείκτη Sharpe και μετά αναφέρει την καθαρή κορυφή. Η επιφάνεια βοηθά να κατανοήσουμε την ευαισθησία. Η κορυφή, όμως, είναι επίσης προϊόν αναζήτησης και αξίζει λιγότερη εμπιστοσύνη από ένα όριο που επιλέχθηκε πριν από το πείραμα.
Τι μετρά ως ερευνητική δοκιμή;
Μετρήστε τις αποφάσεις που επηρεάστηκαν από τα αποτελέσματα που παρατηρήσατε. Δοκιμή μπορεί να είναι ένα backtest σε κώδικα, αλλά και μια χειροκίνητη αλλαγή αφού είδατε την καμπύλη κεφαλαίου. Αν διευρύνατε ένα stop επειδή η προηγούμενη ρύθμιση έχασε ένα ράλι, η αναθεώρηση χρησιμοποίησε πληροφορίες από την περίοδο δοκιμής.
| Ερευνητική ενέργεια | Μετρά συνήθως ως δοκιμή; | Γιατί |
|---|---|---|
| Δοκιμή άλλου ορίου σήματος | Ναι | Το αποτέλεσμα βοηθά στην επιλογή υποψηφίου |
| Αλλαγή του χρονικού διαστήματος αφού δείτε μια υποχώρηση | Ναι | Το δείγμα επιλέχθηκε ως αντίδραση στην απόδοση |
| Διόρθωση τεκμηριωμένου σφάλματος στα δεδομένα | Συνήθως όχι | Η αλλαγή επαναφέρει το πείραμα όπως είχε σχεδιαστεί |
| Εκτέλεση της ίδιας παγωμένης στρατηγικής σε νέα περίοδο ελέγχου | Δεν δημιουργείται ακόμη νέα δοκιμή επιλογής | Γίνεται μία αν προσαρμόσετε τη στρατηγική με βάση αυτό το αποτέλεσμα |
Το όριο δεν είναι πάντα σαφές. Άλλο ένα τυπογραφικό λάθος κι άλλο μια αλλαγή σε χαρακτηριστικό αφού παρατηρήσατε πού απέτυχε. Κρατήστε ένα σύντομο ημερολόγιο δοκιμών με την υπόθεση, την αλλαγή, την περίοδο δεδομένων και το αποτέλεσμα. Δεν χρειάζεται να είναι καλαίσθητο· ένα CSV με ημερομηνίες είναι προτιμότερο από το να προσπαθείτε να ανασυνθέσετε την αναζήτησή σας από μνήμης τρεις μήνες αργότερα.
Μπορώ να διορθώσω τον δείκτη Sharpe για πολλαπλούς ελέγχους;
Μέθοδοι όπως ο Deflated Sharpe Ratio εκτιμούν πόση φαινομενική απόδοση μπορεί να προκύψει από την επιλογή ανάμεσα σε πολλούς υποψηφίους, λαμβάνοντας υπόψη παράγοντες όπως η κατανομή αποδόσεων και η εξάρτηση μεταξύ δοκιμών. Είναι χρήσιμα διαγνωστικά εργαλεία, όχι μηχανισμός που μετατρέπει μια ακατάστατη ερευνητική διαδικασία σε βεβαιότητα. Τα αποτελέσματά τους εξαρτώνται από παραδοχές και από το αν ο αριθμός των δοκιμών σας είναι αξιόπιστος.
Για μια πρόχειρη εικόνα, ας υποθέσουμε ότι ένας ερευνητής δοκίμασε 400 παραλλαγές, βρήκε δείκτη Sharpe 1.8 και εκτιμά ότι οι αποδόσεις έχουν σημαντική ασυμμετρία και βαριές ουρές. Αυτό το αποτέλεσμα πρέπει να περάσει υψηλότερο πήχη από έναν δείκτη Sharpe 1.8 σε μία δοκιμή που είχε προεγγραφεί. Η διόρθωση μπορεί να αποδυναμώσει σημαντικά τα τεκμήρια· δεν μπορεί να σας πει ότι το πλεονέκτημα είναι πραγματικό.
Καταγράψτε την αναζήτηση πριν χρειαστεί να την υπερασπιστείτε: αριθμό υποψηφίων, εύρη παραμέτρων, περιόδους δεδομένων που εξετάσατε και τυχόν χειροκίνητες αναθεωρήσεις. Αν αυτές οι λεπτομέρειες είναι άγνωστες, περιγράψτε το backtest ως διερευνητικό.
Τι πρέπει να γίνει πριν από τις δοκιμές σε προσομοιωμένο περιβάλλον;
Παγώστε έναν υποψήφιο και ορίστε την επόμενη αξιολόγηση πριν την εκτελέσετε. Μια χρήσιμη ακολουθία είναι να επιλέξετε τη στρατηγική με δεδομένα εκπαίδευσης, να την εξετάσετε σε δεδομένα επικύρωσης και, στη συνέχεια, να κρατήσετε μια τελική περίοδο ή ένα παράθυρο προσομοιωμένων συναλλαγών που δεν επηρεάζει τον σχεδιασμό. Κάθε στάδιο απαντά σε διαφορετικό ερώτημα· αν προσαρμόζετε επανειλημμένα τη στρατηγική με βάση το τελικό στάδιο, αυτό μετατρέπεται σε περισσότερα δεδομένα εκπαίδευσης.
Εξετάστε επίσης αν οι κοντινές ρυθμίσεις αφηγούνται την ίδια ιστορία. Μια ευρεία περιοχή με μέτρια θετικά αποτελέσματα είναι συνήθως πιο αξιόπιστη από μια μεμονωμένη, αιχμηρή κορυφή, αν και η ανθεκτικότητα δεν διορθώνει ένα ελαττωματικό μοντέλο εκτέλεσης. Οι χρεώσεις, η χρηματοδότηση, η επίδραση στην αγορά και η διαθεσιμότητα των μέσων εξακολουθούν να πρέπει να ανταποκρίνονται σε όσα θα μπορούσε να αντιμετωπίσει η στρατηγική.
Οι δοκιμές σε προσομοιωμένο περιβάλλον προσθέτουν τεκμήρια για τη λειτουργική συνέπεια: τον χρονισμό, τη διαχείριση εντολών και το αν η ζωντανή ερευνητική ροή λειτουργεί όπως αναμένεται. Δεν αναιρούν την επιλογή που έχει ήδη γίνει. Χίλια τυχερά backtest παραμένουν χίλιες προσπάθειες όταν σταλεί η πρώτη εντολή προσομοίωσης.
Όταν λοιπόν ένα backtest αναφέρει δείκτη Sharpe 2, ζητήστε το ιστορικό της έρευνας μαζί με την καμπύλη κεφαλαίου. Πόσες ιδέες δοκιμάστηκαν; Ποια αποτελέσματα άλλαξαν το επόμενο πείραμα; Η απάντηση μπορεί να είναι το σημαντικότερο στατιστικό της αναφοράς.
← Όλα τα άρθρα
