Τέσσερις αριθμοί αφηγούνται μια δυσάρεστη ιστορία: Sharpe 1.4 στο walk-forward, 312 ιστορικές συναλλαγές, 46 συναλλαγές στο paper trading και διαφορά 18 μονάδων βάσης στην τιμή εκτέλεσης μεταξύ paper και backtest. Το Sharpe τραβάει την προσοχή. Οι 18 μονάδες βάσης ίσως εξηγούν γιατί η στρατηγική μοιάζει διαφορετική, προτού υπάρξουν αρκετά δεδομένα από το paper trading για να αξιολογήσουμε την απόδοσή της.
Ο έλεγχος walk-forward εξετάζει αν μια διαδικασία έρευνας θα μπορούσε να επιλέξει στρατηγική με βάση παλαιότερα δεδομένα και να την αξιολογήσει σε μεταγενέστερα δεδομένα. Το paper trading εξετάζει αν ένα σύστημα που λειτουργεί, με τα τρέχοντα δεδομένα, χρονισμούς, λογική εντολών και εκτελέσεις του, συμπεριφέρεται όπως η διαδικασία που δοκιμάστηκε. Πρόκειται για συναφή ερωτήματα, αλλά το πρώτο δεν απαντά αυτομάτως στο δεύτερο.
Τι τεκμηριώνει στην πράξη η επικύρωση walk-forward;
Ας πούμε ότι εκπαιδεύετε ή επιλέγετε μια στρατηγική με δεδομένα 6 μηνών και μετά την αξιολογείτε στον επόμενο μήνα. Μετακινείτε το χρονικό παράθυρο προς τα εμπρός και επαναλαμβάνετε τη διαδικασία. Αν κάθε μήνας δοκιμής μένει έξω από τη διαδικασία επιλογής που του αντιστοιχεί, η άσκηση παρέχει ενδείξεις για την απόδοση σε μια σειρά ιστορικών συνθηκών.
Δεν τεκμηριώνει ότι το paper trading θα αναπαράγει τις ίδιες αποφάσεις ή εκτελέσεις. Ο ιστορικός έλεγχος μπορεί να χρησιμοποιεί ολοκληρωμένες μπάρες, σταθερό πρόγραμμα προμηθειών και απλοποιημένο μοντέλο εντολών αγοράς. Η διαδικασία paper trading καταναλώνει δεδομένα καθώς φτάνουν και υποβάλλει προσομοιωμένες εντολές μέσω διαφορετικής διαδρομής. Η μία διαδικασία μπορεί να είναι σωστή, ενώ η άλλη να έχει ασυμφωνία.
Γι’ αυτό, το ότι υπάρχουν 46 συναλλαγές στο paper trading έναντι 312 στο δείγμα walk-forward δεν αρκεί από μόνο του για να βγάλουμε συμπέρασμα. Ελέγξτε το παράθυρο σύγκρισης, τη συχνότητα σημάτων, τις ανοιχτές θέσεις στα όρια της περιόδου και αν και οι δύο μετρήσεις χρησιμοποιούν τον ίδιο ορισμό της συναλλαγής. Μια δοκιμή paper trading 6 εβδομάδων δεν μπορεί να φτάσει τον αριθμό συναλλαγών ενός έτους κυλιόμενων δοκιμών.
Γιατί αποκαλύπτει τόσα πολλά η διαφορά στις τιμές εκτέλεσης;
Μια μέση διαφορά 18 μονάδων βάσης χρειάζεται ανάλυση προτού ερμηνεύσετε την καμπύλη κεφαλαίου του paper trading. Μετριέται από την υποθετική τιμή εκτέλεσης του backtest ως την τιμή εκτέλεσης του προσομοιωτή paper trading ή από τη μέση τιμή τη στιγμή της απόφασης ως την τιμή εκτέλεσης στο paper trading; Αυτά μετρούν διαφορετικά πράγματα. Καταγράφετε χωριστά την τιμή απόφασης, την τιμή άφιξης της εντολής, την προσομοιωμένη τιμή εκτέλεσης, τις προμήθειες και τυχόν χρηματοδότηση.
| Παρατηρούμενη διαφορά | Πρώτος έλεγχος | Γιατί έχει σημασία |
|---|---|---|
| Λιγότερες συναλλαγές στο paper trading | Χρονικές σημάνσεις σημάτων και κανόνες επιλεξιμότητας | Μια είσοδος που λείπει ή φτάνει καθυστερημένα μπορεί να εμποδίσει τη λήψη αποφάσεων |
| Ίδιες συναλλαγές, χειρότερες εκτελέσεις | Τύπος εντολής, spread, επίδραση στην αγορά και επίπεδο προμηθειών | Το backtest μπορεί να υποθέτει φθηνότερη διαδρομή εκτέλεσης |
| Διαφορετικά μεγέθη θέσεων | Μετρητά, πολλαπλασιαστής συμβολαίου και στρογγυλοποίηση | Μικρές ασυμφωνίες στις μονάδες συσσωρεύονται σε πολλές εντολές |
| Απόκλιση μετά από επανεκκίνηση | Ανακτημένη θέση και εκκρεμείς εντολές | Η διαδικασία paper trading μπορεί να συνεχίζεται από διαφορετική κατάσταση |
Για παράδειγμα, ένα backtest που αγοράζει στο άνοιγμα της επόμενης μπάρας μπορεί να μοιάζει με εντολή αγοράς στο paper trading σε ένα ρευστό μέσο. Αν όμως η εντολή στο paper trading φτάσει αφού η αγορά έχει κινηθεί απότομα, η διαφορά περιλαμβάνει τον χρονισμό και την κίνηση της αγοράς, καθώς και το κόστος εκτέλεσης. Αν αποκαλέσουμε και τις 18 μονάδες βάσης «ολίσθηση», αποκρύπτουμε την αιτία.
Πώς συγκρίνω το paper trading με μια δοκιμή walk-forward;
Ξεκινήστε από τις αποφάσεις, συνεχίστε με τις εντολές και έπειτα εξετάστε τις εκτελέσεις. Για κάθε απόφαση στο paper trading, αναπαράγετε την ίδια έκδοση της στρατηγικής πάνω στο ίδιο ιστορικό εισόδων και συγκρίνετε τι γνώριζε εκείνη τη στιγμή. Μια χρήσιμη καταγραφή για τον έλεγχο ισοτιμίας περιλαμβάνει:
- Έκδοση στρατηγικής και παράμετροι, μαζί με το παράθυρο επιλογής που τις παρήγαγε.
- Τιμές εισόδου με τον χρόνο συμβάντος και τον χρόνο διαθεσιμότητας.
- Σήμα, επιθυμητή θέση, τρέχουσα θέση και προτεινόμενη εντολή.
- Περιορισμοί εντολών, προμήθειες, χρηματοδότηση και λεπτομέρειες προσομοιωμένης εκτέλεσης.
- Κατάσταση μετρητών και θέσης πριν και μετά την εκτέλεση.
Αν τα σήματα διαφέρουν, εξετάστε τον χρονισμό των δεδομένων και τις εκδόσεις του κώδικα. Αν συμφωνούν τα σήματα αλλά διαφέρουν οι εντολές, εξετάστε τον υπολογισμό του μεγέθους, τους κανόνες του venue και την κατάσταση του χαρτοφυλακίου. Αν συμφωνούν οι εντολές αλλά διαφέρουν οι εκτελέσεις, εξετάστε τις παραδοχές εκτέλεσης. Διατηρήστε αυτά τα επίπεδα χωριστά· διαφορετικά, ένας μοναδικός αριθμός απόδοσης θα σας οδηγήσει να ψάχνετε σε λάθος σημείο.
Πότε αποτελεί η απόκλιση ένδειξη ότι η στρατηγική έχει χαλάσει;
Αφού η ροή επεξεργασίας συμφωνήσει, συγκρίνετε τα αποτελέσματα σε μια επαρκή κοινή περίοδο και εξετάστε την επιδιωκόμενη συμπεριφορά της στρατηγικής. Μερικές συναλλαγές στο paper trading μπορούν να αποκαλύψουν γρήγορα ένα χαλασμένο χρονικό σημείο ή μια προβληματική διαδρομή εντολών. Δεν αρκούν για να δείξουν αξιόπιστα ότι άλλαξε η μέση απόδοση μιας στρατηγικής. Γι’ αυτό χρειάζονται αρκετές παρατηρήσεις, ενώ ο απαιτούμενος αριθμός εξαρτάται από το πόσο θορυβώδεις και συσπειρωμένες είναι οι αποδόσεις της.
Μπορούν να αλλάξουν και οι συνθήκες της αγοράς. Η διεύρυνση του spread ή η διαρκώς δυσμενής χρηματοδότηση μπορεί να βλάψει τη στρατηγική, ακόμη κι όταν όλες οι αποφάσεις συμφωνούν. Πρόκειται για πραγματική αλλαγή στις συνθήκες συναλλαγών, όχι για σφάλμα επικύρωσης. Καταγράφετε το κόστος και τις εκθέσεις μαζί με τις αποδόσεις, ώστε να φαίνεται η διαφορά.
Η επικύρωση walk-forward παρέχει ενδείξεις για μια διαδικασία επιλογής σε ιστορικές περιόδους. Το paper trading παρέχει ενδείξεις για το σύστημα που λειτουργεί υπό τις συνθήκες που παρατηρούνται. Όταν τα αποτελέσματά τους αποκλίνουν, εντοπίστε πρώτα το αρχικό σημείο στο οποίο διαφωνούν οι καταγραφές τους. Ο αριθμός που εκπλήσσει συνήθως δεν είναι το Sharpe. Είναι η μικρή διαφορά στην εκτέλεση ή στα δεδομένα που κάνει τα δύο πειράματα να απαντούν σε διαφορετικά ερωτήματα.
← Όλα τα άρθρα
