Η προσθήκη περισσότερων αγορών στην αναζήτηση στρατηγικής μπορεί να κάνει το καλύτερο backtest να φαίνεται ισχυρότερο, ενώ ταυτόχρονα αποδυναμώνει τα τεκμήρια. Μια υψηλότερη τιμή Sharpe αφού προστεθούν σύμβολα συχνά εκλαμβάνεται ως διαφοροποίηση· αν αναζητήσατε τον νικητή ανάμεσα σε αυτά τα σύμβολα, αυξήσατε επίσης τις πιθανότητες να σταθείτε τυχεροί.
Αυτή η διάκριση έχει σημασία είτε ένας agent προτείνει εκατοντάδες σήματα είτε ένας ερευνητής δοκιμάζει λίγα με το χέρι. Ο χώρος αναζήτησης περιλαμβάνει κάθε συνδυασμό αγοράς, χρονικού πλαισίου, χαρακτηριστικού και παραμέτρου του οποίου το αποτέλεσμα επηρέασε την τελική επιλογή. Το «δημοσιεύσαμε μόνο μία στρατηγική» δεν σας λέει πόσοι υποψήφιοι πέρασαν από ακρόαση.
Γιατί μπορεί ένα μεγαλύτερο σύνολο αγορών να διογκώσει το καλύτερο Sharpe;
Φανταστείτε ότι δοκιμάζετε το ίδιο πρότυπο στρατηγικής σε 40 άσχετες μεταξύ τους αγορές. Ας υποθέσουμε, για λόγους απλότητας, ότι το πραγματικό Sharpe κάθε αγοράς είναι μηδέν και ότι το τυπικό σφάλμα κάθε εκτιμώμενου Sharpe είναι 0.5. Οι εκτιμήσεις κινούνται γύρω από το μηδέν. Αν όμως επιλέξετε την υψηλότερη, συνήθως θα είναι θετική απλώς και μόνο επειδή επιλέξατε τη μέγιστη τιμή.
Με μια πρόχειρη κανονική προσέγγιση, η μέγιστη τιμή ανάμεσα σε 40 ανεξάρτητες εκτιμήσεις θορύβου αναμένεται να βρίσκεται περίπου 1.3 τυπικά σφάλματα πάνω από το μηδέν: περίπου 0.65 Sharpe σε αυτό το παράδειγμα. Η ακριβής τιμή εξαρτάται από την εξάρτηση, το μήκος του δείγματος και την κατανομή των αποδόσεων. Το βασικό σημείο είναι ότι η επιλογή δημιουργεί αισιοδοξία ακόμη κι όταν καμία στρατηγική δεν έχει πλεονέκτημα.
Κρατήστε αρχείο καταγραφής της αναζήτησης. Καταγράψτε κάθε αγορά και υποψήφια στρατηγική που εξετάστηκε, συμπεριλαμβανομένων των αποτυχημένων εκτελέσεων και των παραλλαγών που εγκαταλείφθηκαν. Ο αριθμός δοκιμών της τελικής στρατηγικής αφορά όσα συνέβαλαν στην επιλογή, όχι πόσα αρχεία επέζησαν από την εκκαθάριση.
Οι αγορές δεν είναι ανεξάρτητες ρίψεις νομίσματος. Τα BTC και ETH συχνά κινούνται μαζί· δύο χρηματιστηριακοί δείκτες μπορεί να μοιράζονται το μεγαλύτερο μέρος του κινδύνου τους. Αυτό μειώνει τον πραγματικό αριθμό ανεξάρτητων δοκιμών, αλλά δεν εξαφανίζει το πρόβλημα. Και οι συσχετισμένες αγορές μπορεί να διαφέρουν ως προς τις προμήθειες, τη χρηματοδότηση, τη ρευστότητα και τις ώρες κατά τις οποίες λειτουργεί ένα σήμα.
Η δοκιμή περισσότερων αγορών θεωρείται πολλαπλός έλεγχος;
Ναι, όταν χρησιμοποιείτε τα αποτελέσματα για να αποφασίσετε τι θα κρατήσετε. Αν η αρχική υπόθεση ήταν «αυτός ο κανόνας αποτυπώνει μια επίδραση χρηματοδότησης σε μεγάλα perpetual συμβόλαια», η εξέταση πολλών αγορών αποτελεί μέρος του ελέγχου αυτής της υπόθεσης. Αν δοκιμάσετε 50 αγορές, βρείτε την καλύτερη και μετά διατυπώσετε την υπόθεση με βάση τη συμπεριφορά της, η επιλογή του συνόλου αγορών έχει γίνει μέρος της βελτιστοποίησης.
Υπάρχει χρήσιμη διάκριση ανάμεσα στο εύρος που ορίζεται εκ των προτέρων και σε εκείνο που επιλέγεται αφού δούμε τα αποτελέσματα. Ένα σταθερό καλάθι μπορεί να δείξει αν μια ιδέα είναι ανθεκτική σε ένα σαφώς ορισμένο πεδίο. Ένα καλάθι που διευρύνεται μέχρι ένα σύμβολο να εμφανίσει εντυπωσιακή καμπύλη κεφαλαίου αποτελεί διαδικασία αναζήτησης. Και οι δύο προσεγγίσεις μπορούν να είναι θεμιτή έρευνα, αλλά απαντούν σε διαφορετικά ερωτήματα.
| Ερευνητική επιλογή | Τι μπορεί να τεκμηριώσει | Τι δεν μπορεί να τεκμηριώσει από μόνη της |
|---|---|---|
| Καλάθι προκαθορισμένο, ίση μεταχείριση | Αν ο κανόνας συμπεριφέρεται ανάλογα στις επιλεγμένες αγορές | Ότι το καλάθι αντιπροσωπεύει κάθε αγορά που μπορεί να αποτελέσει αντικείμενο συναλλαγής |
| Αγορά με την καλύτερη επίδοση, επιλεγμένη μετά τις δοκιμές | Ποια από τις αγορές που δοκιμάστηκαν είχε το ισχυρότερο ιστορικό αποτέλεσμα | Ότι το επιλεγμένο Sharpe είναι αμερόληπτη εκτίμηση |
| Αγορές που κρατήθηκαν εκτός αναζήτησης | Αν ένας παγωμένος κανόνας μεταφέρεται σε αγορές που δεν εξετάστηκαν | Ότι οι μελλοντικές συνθήκες θα είναι ίδιες με εκείνες του holdout |
Πώς ελέγχω αν ένα πλεονέκτημα μεταφέρεται σε νέες αγορές;
Οριστικοποιήστε τις ερευνητικές επιλογές πριν ανοίξετε το holdout. Αυτό σημαίνει τον ορισμό του σήματος, τις παραμέτρους, τους κανόνες του συνόλου αγορών, το πρόγραμμα αναπροσαρμογής και τις παραδοχές εκτέλεσης. Στη συνέχεια, αξιολογήστε την αμετάβλητη στρατηγική σε αγορές που δεν επηρέασαν αυτές τις επιλογές.
Για παράδειγμα, ας υποθέσουμε ότι αναπτύσσετε έναν κανόνα ορμής κρυπτονομισμάτων σε perpetual συμβόλαια BTC και ETH έως το 2023. Θα μπορούσατε να κρατήσετε ένα σύνολο άλλων ρευστών perpetual συμβολαίων, επιλεγμένων με κανόνα που χρησιμοποιεί μόνο πληροφορίες διαθέσιμες πριν από την περίοδο δοκιμής, και να τα αποκλείσετε από κάθε ρύθμιση. Εφαρμόστε τον παγωμένο κανόνα σε αυτά τα συμβόλαια το 2024 και το 2025. Συμπεριλάβετε την πραγματική βαθμίδα προμηθειών κάθε πλατφόρμας, τις πληρωμές χρηματοδότησης, τις προδιαγραφές των συμβολαίων και μια τεκμηριωμένη παραδοχή για την επίδραση στην τιμή· μια δοκιμή μεταφοράς χωρίς κόστη συναλλαγών ειδικά για κάθε αγορά μπορεί να εκλάβει μια διαφορά κόστους ως αποτυχία σήματος — ή να την αποκρύψει.
Αναφέρετε την κατανομή των αποτελεσμάτων στις αγορές του holdout, όχι μόνο το συγκεντρωτικό Sharpe. Ένα συγκεντρωτικό χαρτοφυλάκιο μπορεί να κρύβει ότι μία αγορά απέφερε σχεδόν όλη την απόδοση. Δείξτε το καθαρό αποτέλεσμα, τον αριθμό συναλλαγών και τη μέγιστη πτώση για κάθε αγορά, καθώς και το μερίδιο του συνολικού P&L που προήλθε από τη μεγαλύτερη αγορά. Αν ο κανόνας λειτουργεί μόνο σε ένα συμβόλαιο, χαρακτηρίστε το αποτέλεσμα ειδικό για το συγκεκριμένο συμβόλαιο.
Διατηρήστε επίσης καθαρό τον χρονικό διαχωρισμό. Μια αγορά μπορεί να μην έχει εξεταστεί, αλλά η περίοδος των δεδομένων της να επικαλύπτεται με το ίδιο καθεστώς αγοράς που οδήγησε στην επίδοση κατά την ανάπτυξη. Ένα holdout μεταξύ αγορών ελέγχει αν ο κανόνας μεταφέρεται μεταξύ μέσων· ένα holdout μεταγενέστερης περιόδου ελέγχει αν μεταφέρεται στον χρόνο. Πρόκειται για ξεχωριστούς ελέγχους και ένα ισχυρό αποτέλεσμα στον έναν δεν υποκαθιστά τον άλλο.
Κι αν η στρατηγική πρέπει πράγματι να χρησιμοποιεί περισσότερες αγορές;
Τότε συμπεριλάβετε τις, αλλά ορίστε τον τρόπο. Ένας κανόνας χαρτοφυλακίου που διαπραγματεύεται κάθε επιλέξιμη αγορά σύμφωνα με ένα σταθερό σήμα διαφέρει από έναν διαγωνισμό όπου κερδίζει η αγορά με την καλύτερη ιστορική επίδοση. Η επιλεξιμότητα πρέπει να καθορίζεται χωρίς να εξετάζεται η μελλοντική επίδοση: για παράδειγμα, με ένα όριο ρευστότητας που βασίζεται σε δεδομένα διαθέσιμα εκείνη τη χρονική στιγμή και μια ελάχιστη απαίτηση ιστορικών δεδομένων. Οι αλλαγές στη σύνθεση χρειάζονται επίσης χρονοσήμανση, αλλιώς μια σημερινή λίστα «ρευστών αγορών» μπορεί να περάσει κρυφά τους σημερινούς επιζώντες σε ένα παλιό backtest.
Οι επικριτές έχουν δίκιο ότι ένα στενό σύνολο αγορών μπορεί να οδηγήσει σε εύθραυστη στρατηγική και ότι οι ευρείες δοκιμές αποτελούν πολύτιμο έλεγχο ανθεκτικότητας. Η λύση δεν είναι να αποφεύγουμε τις δοκιμές αγορών. Είναι να διαχωρίζουμε τις αγορές που χρησιμοποιούνται για την ανακάλυψη μιας ιδέας από εκείνες που χρησιμοποιούνται για να δοκιμαστεί η παγωμένη ιδέα και να συνυπολογίζουμε την εργασία ανακάλυψης στα τεκμήρια.
Ένα μεγαλύτερο σύνολο αγορών μπορεί να βοηθήσει μια στρατηγική να αντέξει έξω από το εργαστήριο. Μπορεί επίσης να βοηθήσει ένα τυχερό backtest να κερδίσει στον διαγωνισμό επιλογής του εργαστηρίου. Το αρχείο καταγραφής της αναζήτησης και το holdout δείχνουν ποια ιστορία υποστηρίζει το Sharpe σας.
← Όλα τα άρθρα
