Το backtest σας χρησιμοποίησε λάθος σύνολο αγορών για το εκάστοτε χρονικό σημείο

Ένα backtest μπορεί να χρονοσημαίνει σωστά κάθε κερί και παρ’ όλα αυτά να χρησιμοποιεί πληροφορίες από το μέλλον. Αυτό συμβαίνει όταν η στρατηγική δοκιμάζεται στα σημερινά περιουσιακά στοιχεία που έχουν επιβιώσει, σε βάθος πολλών ετών, σαν να γνώριζε ποιες αγορές θα παρέμεναν ρευστές, εισηγμένες και άξιες να διατηρηθούν.

Η κατασκευή του συνόλου αγορών αποτελεί μέρος της στρατηγικής. Αν το ζωντανό σύστημα μπορούσε να επιλέξει μόνο ανάμεσα στα περιουσιακά στοιχεία που ήταν διαθέσιμα σε κάθε χρονική στιγμή απόφασης, το backtest πρέπει να τηρεί το ίδιο όριο. Τρεις συντομεύσεις το παραβιάζουν συστηματικά.

Πρώτο λάθος: backtesting του σημερινού καταλόγου σε όλο το ιστορικό

Ας υποθέσουμε ότι σήμερα επιλέγετε τις 50 μεγαλύτερες αγορές διαρκών συμβολαίων κρυπτονομισμάτων και μετά κάνετε backtest από το 2021. Ο κατάλογος αποκλείει συμβόλαια που εξαφανίστηκαν, έχασαν τη ρευστότητά τους ή διαγράφηκαν από το χρηματιστήριο. Παράλληλα, δίνει σε παλαιότερες ημερομηνίες πρόσβαση σε αγορές που ίσως δεν υπήρχαν ακόμη.

Οι συνέπειες περνούν εύκολα απαρατήρητες: η στρατηγική μοιάζει πιο σταθερή επειδή τα περιουσιακά στοιχεία που απέτυχαν έχουν εξαφανιστεί από το δείγμα της. Για παράδειγμα, ένας κανόνας momentum μπορεί να φαίνεται εξαιρετικός στις σημερινές 50 αγορές, ενώ η ιστορική εκδοχή του θα είχε επανειλημμένα κατανείμει κεφάλαια σε περιουσιακά στοιχεία που αργότερα κατέρρευσαν ή διαγράφηκαν από το χρηματιστήριο όπου διαπραγματεύονταν. Δοκιμάσατε ένα χαρτοφυλάκιο που επιλέχθηκε γνωρίζοντας ήδη την έκβαση.

Καταγράψτε τη συμμετοχή στο σύνολο με ημερομηνίες. Για κάθε περιουσιακό στοιχείο, σημειώστε πότε έγινε επιλέξιμο, πότε έπαψε να είναι επιλέξιμο και για ποιον λόγο. Σε κάθε αναπροσαρμογή, εφαρμόστε τους κανόνες χρησιμοποιώντας μόνο τις πληροφορίες που ήταν τότε διαθέσιμες. Μια αγορά πρέπει να προστίθεται μετά την πραγματική εισαγωγή της και αφού περάσει τυχόν απαιτούμενη περίοδος προθέρμανσης. Αν διαγραφεί, πρέπει να έχετε ορίσει πώς θα εξέλθει ή θα διακανονιστεί η τελική θέση της· η διαγραφή των γραμμών της δεν αποτελεί κανόνα εξόδου.

Δεύτερο λάθος: κατάταξη βάσει στατιστικού που μετρήθηκε μετά την απόφαση

Ακόμη και ένα ιστορικό σύνολο αγορών μπορεί να διαρρεύσει πληροφορία από το μέλλον, αν ο κανόνας συμμετοχής του βασίζεται σε παράθυρο που ολοκληρώνεται αργότερα. Το «συναλλάξου στις 20 μετοχές με τη μεγαλύτερη ρευστότητα κάθε μήνα» ακούγεται λογικό, μέχρι να δείτε ότι η ρευστότητα κατατάσσεται με βάση ολόκληρο τον μήνα στον οποίο υποτίθεται ότι συναλλάσσεται η στρατηγική.

Φανταστείτε ότι αναπροσαρμόζετε το χαρτοφυλάκιο την πρώτη ημέρα συναλλαγών. Αν η κατάταξη βασιστεί στον μέσο όγκο συναλλαγών σε δολάρια εκείνου του μήνα, χρησιμοποιούνται σιωπηρά οι επόμενες 3 εβδομάδες για να αποφασιστεί τι πληρούσε τα κριτήρια την πρώτη ημέρα. Οι συνέπειες συχνά φαίνονται ως ασυνήθιστα καλή δυνατότητα εκτέλεσης: η στρατηγική αποφεύγει περιουσιακά στοιχεία που έγιναν μη ρευστά αργότερα μέσα στον μήνα, παρότι δεν θα μπορούσε να το γνωρίζει κατά την είσοδο.

Ορίστε το χρονικό όριο μέτρησης πριν από τη στιγμή επιλογής. Για μηνιαία αναπροσαρμογή στην πρώτη συνεδρίαση, θα μπορούσατε να κατατάσσετε βάσει των 20 προηγούμενων ολοκληρωμένων συνεδριάσεων, με τελευταία την προηγούμενη συνεδρίαση. Έπειτα, καταστήστε σαφή την καθυστέρηση εκτέλεσης: αν η κατάταξη χρησιμοποιεί το χθεσινό κλείσιμο, μπορεί η εντολή να υποβληθεί στο σημερινό άνοιγμα, με βάση τη διαδικασία που έχετε υποθέσει;

Τρίτο λάθος: να θεωρείτε ότι η απουσία ιστορικού αποδεικνύει πως ένα περιουσιακό στοιχείο δεν ήταν επιλέξιμο

Το αρχείο ενός παρόχου δεδομένων δεν αποτελεί κατ’ ανάγκη πλήρη καταγραφή της ιστορικής αγοράς. Ένα σύμβολο που λείπει μπορεί να σημαίνει ότι το περιουσιακό στοιχείο δεν υπήρξε ποτέ, ότι το χρηματιστήριο άλλαξε τη σύμβαση ονοματοδοσίας του, ότι ο πάροχος δεν διατήρησε τα μέσα που διαγράφηκαν ή ότι απλώς υπάρχει κενό στη ροή δεδομένων. Κάθε περίπτωση έχει διαφορετικές επιπτώσεις.

Το πρόβλημα κρύβεται πίσω από ένα τακτοποιημένο σύνολο αγορών με ανεξήγητα κενά. Οι ερευνητές συχνά απαιτούν ένα πλήρες παράθυρο αναδρομής και μετά αποκλείουν σιωπηρά ό,τι δεν διαθέτει τέτοιο παράθυρο. Αυτό μπορεί να αποτελεί εύλογο κανόνα προθέρμανσης, αποκλείει όμως σκόπιμα και τα περιουσιακά στοιχεία που εισήχθησαν πρόσφατα. Ακόμη χειρότερα, αν τα κενά ιστορικού συγκεντρώνονται σε αγορές που απέτυχαν, το «μόνο πλήρη δεδομένα» γίνεται ένα ακόμη φίλτρο μεροληψίας επιβίωσης.

Κρατήστε χωριστά την επιλεξιμότητα, τη διαθεσιμότητα δεδομένων και την προθέρμανση της στρατηγικής. Καταγράψτε τον λόγο αποκλεισμού ενός περιουσιακού στοιχείου για κάθε ημερομηνία. Διατηρήστε τις ελλείψεις στο αρχείο της έρευνας αντί να τις μετατρέπετε σε σιωπηλή διαγραφή. Όταν η πηγή δεν μπορεί να επιβεβαιώσει αν μια αγορά ήταν εισηγμένη ή διαπραγματεύσιμη, δηλώστε το και μετρήστε πόσο εξαρτάται το αποτέλεσμα από αυτή την αβεβαιότητα.

Κάντε το σύνολο αγορών αναπαραγώγιμο

Ένας χρήσιμος έλεγχος ξεκινά από μία ιστορική αναπροσαρμογή. Ανασυνθέστε τον κατάλογο υποψηφίων με βάση τις καταχωρίσεις με ημερομηνίες και τα δεδομένα που ήταν διαθέσιμα έως εκείνο το χρονικό όριο. Υπολογίστε ξανά τις μεταβλητές κατάταξης χρησιμοποιώντας μόνο ολοκληρωμένες παρατηρήσεις. Έπειτα, συγκρίνετε το σύνολο που προκύπτει με τον κατάλογο που χρησιμοποίησε πράγματι το backtest.

Αποθηκεύστε μαζί με την εκτέλεση τον κανόνα, το χρονικό του όριο, τις αποφάσεις συμμετοχής και την έκδοση της πηγής. Αν δεν μπορείτε να εξηγήσετε γιατί ένα περιουσιακό στοιχείο συμπεριλήφθηκε και ένα άλλο αποκλείστηκε σε συγκεκριμένη ημερομηνία, δεν μπορείτε ακόμη να γνωρίζετε αν η στρατηγική ανακάλυψε ένα πλεονέκτημα ή κληρονόμησε ένα δείγμα διαμορφωμένο από το μέλλον.

Τα λάθη στην επιλογή του συνόλου αγορών σπάνια αποκαλύπτονται από αδύνατες τιμές. Φαίνονται σε μια στρατηγική που κατά βολικό τρόπο απέφυγε τις αγορές που έπαψαν να είναι βολικές.