Ένα backtest μπορεί να φαίνεται πιο πειστικό αφού χειροτερέψετε τα δεδομένα του. Αφαιρέστε τις άσχημες καταγραφές, συμπληρώστε τα κενά με τακτοποιημένες τιμές και ο δείκτης Sharpe μπορεί να ανέβει. Αυτή η βελτίωση μπορεί να είναι προειδοποίηση: ο κανόνας καθαρισμού ίσως διέγραψε ακριβώς τις συνθήκες της αγοράς που πρέπει να αντέξει η στρατηγική σας.
Η ποιότητα των δεδομένων έχει σημασία. Μια διασταυρωμένη τιμή προσφοράς ή μια διπλοεγγεγραμμένη συναλλαγή μπορεί να δημιουργήσει εκτέλεση που κανείς δεν θα μπορούσε να έχει λάβει. Όμως, ένα φίλτρο που εξαφανίζει τις άβολες παρατηρήσεις αποτελεί επίσης επιλογή μοντέλου. Αντιμετωπίστε το με την ίδια καχυποψία που θα δείχνατε σε ένα νέο χαρακτηριστικό σήματος.
Πότε είναι μια λανθασμένη τιμή πράγματι λανθασμένα δεδομένα;
Ξεκινήστε ρωτώντας τι αντιπροσωπεύει η παρατήρηση. Μια συναλλαγή πολύ μακριά από την επικρατούσα αγορά μπορεί να είναι αλλοιωμένη εγγραφή, πραγματική εκτέλεση σε αγορά με περιορισμένη ρευστότητα ή συμβάν ειδικό για ένα venue. Ένα κερί ενός λεπτού με μηδενικό όγκο μπορεί να σημαίνει ότι δεν έγιναν συναλλαγές, ενώ ένα κερί που λείπει μπορεί να σημαίνει ότι απέτυχε η ροή δεδομένων. Αυτές οι περιπτώσεις απαιτούν διαφορετικό χειρισμό.
Ας εξετάσουμε μια απλή στρατηγική επαναφοράς στη μέση τιμή, που αγοράζει όταν η τιμή πέφτει 1% κάτω από έναν βραχυπρόθεσμο κινητό μέσο όρο και κλείνει τη θέση στον μέσο όρο. Κατά τη διάρκεια μιας νυχτερινής περιόδου με περιορισμένη ρευστότητα, καταγράφεται μία συναλλαγή 1.2% κάτω από την προηγούμενη τιμή και έπειτα η αγορά ανακάμπτει απότομα. Αν η καταγραφή είναι γνήσια, μια στρατηγική με ενεργή εντολή ορίου ίσως είχε εκτελεστεί. Αν πρόκειται για εσφαλμένη τιμή που δεν υποστηριζόταν από εκτελέσιμη προσφορά, η καταμέτρηση της εκτέλεσης επινοεί ένα πλεονέκτημα.
Η διαγραφή του κεριού δεν είναι αυτομάτως ασφαλέστερη. Η στρατηγική μπορεί να είχε ακόμη μια εντολή σε εκκρεμότητα στην αγορά και η επόμενη πραγματική συναλλαγή θα μπορούσε να την εκτελέσει. Μια υπερασπίσιμη αναπαραγωγή πρέπει να μοντελοποιεί τι μπορούσε να παρατηρήσει η στρατηγική και τι θα μπορούσε εύλογα να εκτελέσει η εντολή της.
Πώς επηρεάζει το αποτέλεσμα ένας κανόνας καθαρισμού;
Εκτελέστε τη στρατηγική με ρητά καθορισμένους χειρισμούς δεδομένων και συγκρίνετε τις αλλαγές. Διατηρήστε την αρχική πηγή και καταγράψτε κάθε εξαίρεση ή διόρθωση μαζί με την αιτιολόγησή της. Έπειτα αναφέρετε σε ποιον βαθμό το αποτέλεσμα εξαρτάται από αυτές τις αποφάσεις.
| Χειρισμός δεδομένων | Πιθανό όφελος | Κίνδυνος για το backtest |
|---|---|---|
| Αφαίρεση καταγραφής εκτός τεκμηριωμένου εύρους σφάλματος του χρηματιστηρίου | Αποτρέπει μια γνωστά άκυρη εγγραφή από το να καθορίσει ακραία τιμή | Ο κανόνας μπορεί να ταξινομήσει λανθασμένα νόμιμες συναλλαγές σε συνθήκες ταχείας αγοράς |
| Μεταφορά της τελευταίας τιμής σε διάστημα που λείπει | Αποτρέπει την αποτυχία των δεικτών λόγω κενών | Δημιουργεί τιμή στην οποία μπορεί να μην έγινε καμία συναλλαγή |
| Χρήση συγκεντρωτικών προσφορών αντί για τελευταίες συναλλαγές | Παρέχει καλύτερη εικόνα των εμφανιζόμενων τιμών εκτέλεσης | Το μέγεθος της προσφοράς, η πρόσβαση στο venue και η θέση στην ουρά εξακολουθούν να έχουν σημασία |
| Αφαίρεση όλων των ακραίων κεριών βάσει στατιστικού ορίου | Μειώνει την ευαισθησία στις ακραίες τιμές | Μπορεί να αφαιρέσει πραγματικές περιόδους έντασης στις οποίες η στρατηγική χάνει τα περισσότερα |
Ας υποθέσουμε ότι μια εκτέλεση χωρίς φίλτρο έχει δείκτη Sharpe 0.9, ενώ μια εκτέλεση που εξαιρεί το 0.8% των κεριών ανεβαίνει στο 1.4. Αυτό από μόνο του δεν αποτελεί επιτυχία στην ποιότητα δεδομένων. Ελέγξτε αν τα κεριά που αφαιρέθηκαν συγκεντρώνονται γύρω από αιχμές μεταβλητότητας, αν αντιστοιχούν σε σημαντικό μερίδιο του P&L και αν ο κανόνας εξαίρεσης είχε οριστεί πριν δείτε το αποτέλεσμα.
Τηρείτε μητρώο εξαιρέσεων δεδομένων: πηγή, χρονική σήμανση, πεδία που επηρεάζονται, αιτιολόγηση της ενέργειας και αν η απόφαση ελήφθη πριν ή μετά την εξέταση της απόδοσης της στρατηγικής.
Πώς ελέγχω αν ο καθαρισμός άλλαξε το πλεονέκτημα;
Οριστικοποιήστε τη στρατηγική και συγκρίνετε αρκετούς εύλογους χειρισμούς στις ίδιες ημερομηνίες. Συμπεριλάβετε, όπου είναι δυνατό, την αναπαραγωγή με τα αρχικά δεδομένα, ένα τεκμηριωμένο σύνολο διορθώσεων και μια συντηρητική περίπτωση εκτέλεσης για τις παρατηρήσεις που παραμένουν αμφίσημες. Για κάθε εκτέλεση, αναφέρετε τον αριθμό συναλλαγών, τον κύκλο εργασιών, τη μέγιστη υποχώρηση και τη συνεισφορά στο P&L των επηρεαζόμενων διαστημάτων, μαζί με τον δείκτη Sharpe.
Έπειτα εξετάστε τις συναλλαγές που αλλάζουν. Αν οι κορυφαίες κερδοφόρες συναλλαγές της στρατηγικής εξαφανίζονται όταν εξαιρείται μια μικρή ομάδα ύποπτων καταγραφών, εξετάστε καθεμία από αυτές τις εγγραφές ξεχωριστά. Αν εξαφανίζονται οι ζημιές, εφαρμόστε τον ίδιο έλεγχο. Ένας κανόνας που εξετάζεται προσεκτικά μόνο όταν βλάπτει το backtest έχει ήδη αρχίσει να επηρεάζει την έρευνα.
Για μια αναπαραγώγιμη μελέτη, κρατήστε εκδόσεις των αρχείων του παρόχου ή τα αθροίσματα ελέγχου τους, του κώδικα καθαρισμού και του καταλόγου εξαιρέσεων. Ένας πάροχος μπορεί να αναθεωρήσει το ιστορικό· η επόμενη εκτέλεσή σας πρέπει να επιτρέπει να διαπιστώσετε αν άλλαξε η στρατηγική ή οι είσοδοι.
Μα δεν είναι απαραίτητος ο καθαρισμός;
Ναι. Η διατήρηση μιας προφανώς αλλοιωμένης εγγραφής μπορεί να κατασκευάσει μια συναλλαγή, να στρεβλώσει τη μεταβλητότητα ή να χαλάσει έναν δείκτη. Και κανείς δεν πρέπει να προσποιείται ότι μια ακατέργαστη ροή δεδομένων αποτελεί την απόλυτη αλήθεια. Το πρακτικό ζήτημα είναι πιο περιορισμένο: ο καθαρισμός χρειάζεται τεκμηρίωση, παγιωμένο κανόνα και έλεγχο ευαισθησίας, επειδή μπορεί να αλλάξει την αγορά που ισχυρίζεται ότι αναπαριστά το backtest.
Όταν μια διόρθωση δεδομένων βελτιώνει την απόδοση, ρωτήστε ποια παρατήρηση αφαίρεσε και αν θα είχατε πάρει την ίδια απόφαση χωρίς να δείτε την καμπύλη κεφαλαίου. Αν δεν είστε βέβαιοι, κρατήστε και τις δύο εκδοχές στο αρχείο της έρευνας. Η διαφορά τους αποτελεί μέρος του αποτελέσματος.
← Όλα τα άρθρα
