Τα δεδομένα συναλλαγών δεν θα σώσουν το backtest σας — για τις περισσότερες στρατηγικές το κάνουν χειρότερο

Η συνηθισμένη συμβουλή είναι η εξής: αν θέλετε ένα ειλικρινές backtest, αποκτήστε δεδομένα ανά συναλλαγή. Πιστεύω ότι αυτή η συμβουλή είναι λανθασμένη για τις περισσότερες στρατηγικές και ότι συνήθως το backtest γίνεται χειρότερο, όχι καλύτερο, όταν την ακολουθείτε. Όχι επειδή τα δεδομένα ανά συναλλαγή είναι ανακριβή — είναι τα ακριβέστερα που μπορείτε να βρείτε — αλλά επειδή οι περισσότεροι αντικαθιστούν την αυστηρότητα με την υψηλή ανάλυση, κι αυτά τα δύο δεν είναι το ίδιο.

Να πώς αποτυγχάνει αυτό στην πράξη. Ένας ερευνητής φτιάχνει μια στρατηγική με μπάρες 1 λεπτού, πετυχαίνει Sharpe που του αρέσει και κάποιος — ένας μέντορας, μια ανάρτηση σε φόρουμ ή η δική του επίμονη αμφιβολία — τού λέει ότι το backtest δεν είναι αξιόπιστο επειδή βασίζεται σε μπάρες. Έτσι ξαναφτιάχνει ολόκληρη τη ροή δεδομένων με δεδομένα ανά συναλλαγή: κάθε συναλλαγή, κάθε ενημέρωση τιμής, με χρονοσήμανση ακρίβειας μικροδευτερολέπτου. Το backtest γίνεται πιο αργό, ο κώδικας τρεις φορές πιο σύνθετος και το Sharpe... σχεδόν δεν αλλάζει ή αλλάζει προς κατεύθυνση που κανείς δεν μπορεί να εξηγήσει. Παρ' όλα αυτά, το βγάζουν στην παραγωγή, επειδή τα δεδομένα ανά συναλλαγή δίνουν την αίσθηση μεγαλύτερης αυστηρότητας — και η αίσθηση αυστηρότητας δεν είναι αυστηρότητα.

Τι προσφέρει στην πράξη η ανάλυση ανά συναλλαγή

Τα δεδομένα ανά συναλλαγή σάς δίνουν τη σειρά και την τιμή κάθε συναλλαγής και, αν πληρώσετε γι' αυτά, κάθε ενημέρωσης του βιβλίου εντολών. Αυτή είναι πραγματική πληροφορία. Σας επιτρέπει να ανασυνθέσετε τη θέση σας στην ουρά, να εκτιμήσετε την πιθανότητα εκτέλεσης σε ένα δεδομένο επίπεδο τιμής και να εντοπίσετε τη δυσμενή επιλογή — αν η αγορά κινηθεί εναντίον σας αμέσως μετά την υποθετική εκτέλεσή σας. Όλα αυτά έχουν τεράστια σημασία όταν ο ορίζοντας διακράτησης μετριέται σε δευτερόλεπτα και το edge σας σε κλάσματα tick.

Όμως οι περισσότερες στρατηγικές που βλέπουμε στη Stratmill — όπως και οι περισσότερες στρατηγικές που εφαρμόζουν πράγματι ιδιώτες και ημιεπαγγελματίες ερευνητές — κρατούν θέσεις από λεπτά έως ημέρες. Σε αυτόν τον χρονικό ορίζοντα, το αν το backtest σας είναι αξιόπιστο δεν εξαρτάται από το αν μοντελοποιήσατε την 40ή συναλλαγή μέσα σε ένα συγκεκριμένο λεπτό. Εξαρτάται από το αν μοντελοποιήσατε το spread, το επιτόκιο χρηματοδότησης, την καμπύλη ολίσθησης και το γεγονός ότι η οριακή εντολή σας βρίσκεται πίσω από τις εντολές άλλων στην ουρά. Μπορείτε να τα υπολογίσετε και τα 4 λάθος με δεδομένα ανά συναλλαγή και σωστά με μπάρες 1 λεπτού. Η ανάλυση και η αξιοπιστία είναι ανεξάρτητες μεταξύ τους.

Αυτό είναι το νούμερο που συνήθως υποτιμούν περισσότερο. Ένα backtest ανά συναλλαγή δεν είναι απλώς «το ίδιο backtest με περισσότερες γραμμές». Στις περισσότερες αγορές, οι συναλλαγές φτάνουν εκτός σειράς σε σχέση με τη χρονοσήμανση εισαγωγής τους, διορθώνονται αναδρομικά, κατανέμονται σε πολλαπλά shards των μηχανών αντιστοίχισης και — σε αρκετές πλατφόρμες από τις οποίες έχουμε λάβει δεδομένα — κάποιες φορές διπλασιάζονται ή χάνονται εντελώς κατά την επανασύνδεση. Η δημιουργία μιας ροής δεδομένων ανά συναλλαγή που να είναι πράγματι ακριβέστερη από μια καλά φτιαγμένη ροή δεδομένων ανά μπάρα, αντί απλώς πιο λεπτομερής, είναι ένα ουσιαστικό έργο συστημάτων. Οι περισσότερες ομάδες δεν το αναλαμβάνουν. Δίνουν σε ένα backtester το αρχείο συναλλαγών ενός προμηθευτή και θεωρούν ότι τελείωσαν, πράγμα που σημαίνει ότι αντάλλαξαν ένα γνωστό και τεκμηριωμένο σύνολο προσεγγίσεων (OHLCV) με ένα άγνωστο και ατεκμηρίωτο σύνολο (ό,τι τυχαίνει να κάνει η λογική συμφωνίας των δεδομένων του προμηθευτή σε μια κακή μέρα).

Ο θόρυβος που αγοράζετε

Υπάρχει και ένα δεύτερο κόστος, που σχετίζεται λιγότερο με τη μηχανική και περισσότερο με τη στατιστική. Οι μεμονωμένες συναλλαγές εναλλάσσονται μεταξύ bid και ask — αυτό είναι ο θόρυβος bid-ask bounce, ένα γνωστό φαινόμενο στη βιβλιογραφία για τη μικροδομή των αγορών από τη δεκαετία του 1980. Αν το σήμα σας λειτουργεί σε ορίζοντα μικρότερο από λίγα δευτερόλεπτα, το backtest ανά συναλλαγή μπορεί να σας κάνει να βλέπετε δομή εκεί όπου υπάρχει μόνο η αναπήδηση μεταξύ bid και ask. Έχω δει ερευνητή να βρίσκει ένα εντυπωσιακό μοτίβο επαναφοράς στη μέση σε δεδομένα συναλλαγή προς συναλλαγή, το οποίο εξαφανίστηκε μόλις τα δεδομένα συγκεντρώθηκαν ακόμη και σε μπάρες 5 δευτερολέπτων, επειδή το μοτίβο ήταν απλώς αυτή η αναπήδηση.

Ένας quant που γνωρίζω — πρώην market maker και τώρα διαχειριστής ενός μικρού χαρτοφυλακίου κρυπτονομισμάτων — μου το έθεσε ως εξής: «Τα δεδομένα ανά συναλλαγή είναι μεγεθυντικός φακός. Αν τον στρέψεις στο edge σου, υπέροχα. Αν τον στρέψεις στον θόρυβό σου, θα περάσεις 6 μήνες μοντελοποιώντας τον θόρυβό σου με εξαιρετική λεπτομέρεια». Πλέον κάνει backtest σχεδόν για τα πάντα με μπάρες 1 δευτερολέπτου ή 1 λεπτού και περνά σε δεδομένα ανά συναλλαγή μόνο για το συγκεκριμένο ερώτημα «θα είχε πράγματι εκτελεστεί αυτή η οριακή εντολή;». Πρόκειται για ερώτημα πιθανότητας εκτέλεσης, όχι για ερώτημα σχετικά με το σήμα.

Αυτός ο διαχωρισμός είναι η σωστή προσέγγιση, και είναι ακριβώς αυτό που παραλείπουν οι περισσότεροι υπέρμαχοι των δεδομένων ανά συναλλαγή. Η σωστή χρήση τους δεν είναι να τρέχετε ολόκληρη τη στρατηγική σας πάνω τους — είναι να τα χρησιμοποιείτε στοχευμένα, για το ένα ή δύο ερωτήματα στα οποία τα δεδομένα ανά μπάρα πραγματικά δεν μπορούν να απαντήσουν.

Πότε έχουν δίκιο οι επικριτές

Παρόλα αυτά, υπάρχουν στρατηγικές για τις οποίες τα δεδομένα ανά συναλλαγή είναι απαραίτητα, και θα υπερέβαλλα αν προσποιούμουν ότι δεν ισχύει. Αν εφαρμόζετε κάτι που μοιάζει με market making — τοποθέτηση τιμών και στις δύο πλευρές, διαχείριση αποθέματος σε κάθε tick, ενδιαφέρον για τη θέση σας στην ουρά σε συγκεκριμένο επίπεδο τιμής — τα δεδομένα ανά μπάρα δεν μπορούν να αναπαραστήσουν καθόλου το πρόβλημά σας. Όλα τα οικονομικά της στρατηγικής εκτυλίσσονται μέσα στο λεπτό, όχι από λεπτό σε λεπτό. Το ίδιο ισχύει για arbitrage μεταξύ πλατφορμών ευαίσθητο στην καθυστέρηση, όπου το ερώτημα είναι κυριολεκτικά «ποια συναλλαγή έγινε πρώτη», και για market making σε δικαιώματα προαίρεσης μεγάλης κλίμακας, όπου το παιχνίδι κρίνεται από μερικές εκατοντάδες χιλιοστά του δευτερολέπτου δυσμενούς επιλογής μετά από μια συναλλαγή. Σε αυτές τις συνθήκες, το backtest με μπάρες δεν αποτελεί απλοποίηση αλλά σφάλμα κατηγοριοποίησης: δεν δοκιμάζετε μια εκδοχή της στρατηγικής σας με χαμηλότερη ανάλυση, αλλά μια διαφορετική στρατηγική που απλώς έχει το ίδιο όνομα με την πραγματική.

Ο ισχυρισμός, λοιπόν, δεν είναι ότι «τα δεδομένα ανά συναλλαγή είναι κακά». Είναι ότι η προσφυγή σε αυτά συχνά αποτελεί τρόπο αποφυγής ενός δυσκολότερου και λιγότερο εντυπωσιακού ερωτήματος: είναι σωστό το μοντέλο κόστους μου; Είναι σωστή η παραδοχή μου για την εκτέλεση; Θα είχε πράγματι εκτελεστεί αυτή η εντολή ή υποθέτω ότι εκτελέστηκε σε τιμή που το βιβλίο εντολών δεν μου πρόσφερε ποτέ πραγματικά; Αυτά τα ερωτήματα μπορούν να απαντηθούν με μπάρες 1 λεπτού ή ακόμη και 1 δευτερολέπτου, αν συνυπολογίζετε με ειλικρίνεια τη θέση στην ουρά και το spread. Τα δεδομένα ανά συναλλαγή προσφέρουν μεγαλύτερη ακρίβεια στις απαντήσεις, με αρκετές φορές μεγαλύτερο κόστος μηχανικής, σε στρατηγικές όπου αυτή η επιπλέον ακρίβεια δεν αλλάζει καθόλου το συμπέρασμα. Καταβάλετε την επιπλέον προσπάθεια όταν το απαιτεί πράγματι ο χρονικός ορίζοντας και παραλείψτε την σε όλες τις άλλες περιπτώσεις — είναι καλύτερη αξιοποίηση του χρόνου μιας ερευνητικής ομάδας από το να επιλέγει εξ ορισμού τα λεπτομερέστερα διαθέσιμα δεδομένα επειδή η μεγαλύτερη λεπτομέρεια μοιάζει πιο αυστηρή.