Ένα backtest είναι καταλληλότερο για να απορρίπτει μια στρατηγική παρά για να επιλέγει μία. Από τη στιγμή που χρησιμοποιείτε ιστορικές επιδόσεις για να επιλέξετε ανάμεσα σε πολλές παραλλαγές, το backtest γίνεται μέρος του πειράματος και η φαινομενική επικρατέστερη επιλογή αρχίζει να έχει ένα κρυφό κόστος: τη μεροληψία επιλογής.
Αυτό ακούγεται παράδοξο. Κάνουμε backtest επειδή θέλουμε να μάθουμε ποια στρατηγική λειτουργεί. Όμως κάθε επιλογή που καθοδηγείται από τα ίδια ιστορικά δεδομένα καταναλώνει μέρος της αποδεικτικής τους αξίας. Αν αλλάξετε την περίοδο αναδρομής, το κατώφλι, το σύνολο αγορών, την ημέρα αναδιάρθρωσης ή τον κανόνα stop αφού δείτε τα αποτελέσματα, τότε θέσατε στα δεδομένα ακόμη ένα ερώτημα. Κάποια στιγμή θα έχουν ακούσει αρκετά ερωτήματα ώστε να σας δώσουν μια πειστική απάντηση από τύχη.
Γιατί οι περισσότερες δοκιμές στρατηγικών κάνουν το καλύτερο αποτέλεσμα λιγότερο αξιόπιστο;
Φανταστείτε ότι δοκιμάζετε 100 στρατηγικές χωρίς πραγματικό πλεονέκτημα. Οι αποδόσεις τους και πάλι θα διαφέρουν. Αν οι εκτιμήσεις επιδόσεων είναι περίπου ανεξάρτητες και ο θόρυβος ακολουθεί κανονική κατανομή, το υψηλότερο Sharpe μεταξύ τους θα είναι θετικό, παρότι το πραγματικό Sharpe κάθε στρατηγικής είναι μηδενικό.
Μια πρόχειρη προσέγγιση για τη μέγιστη αναμενόμενη τιμή 100 ανεξάρτητων τυπικών κανονικών δειγμάτων είναι 2.5 τυπικές αποκλίσεις πάνω από τον μέσο όρο. Δείτε το ως παράδειγμα, όχι ως διόρθωση που μπορείτε να αντιγράψετε σε μια αναφορά: οι πραγματικές παραλλαγές στρατηγικών συσχετίζονται, οι εκτιμήσεις Sharpe έχουν το δικό τους δειγματοληπτικό σφάλμα και οι αποδόσεις σπάνια συμπεριφέρονται σαν καθαρά κανονικά δείγματα. Το πρακτικό συμπέρασμα ισχύει παρά τις επιφυλάξεις. Όσο περισσότερες υποψήφιες επιλογές εξετάζετε, τόσο πιθανότερο είναι η κορυφαία βαθμολογία να αντανακλά ευνοϊκό θόρυβο.
Και «υποψήφια επιλογή» δεν είναι μόνο ένα αποθηκευμένο backtest. Είναι κάθε απόφαση που λαμβάνεται αφού δείτε ένα αποτέλεσμα: να διευρύνετε το σύνολο αγορών επειδή το διάγραμμα φαίνεται ασταθές, να αφαιρέσετε ένα έτος που επιβαρύνει την επίδοση ή να αλλάξετε την υπόθεση για τις προμήθειες μέχρι να ανακάμψει η καμπύλη. Αυτές οι αποφάσεις μετρούν ακόμη κι αν κανείς δεν τους έδωσε αριθμό έκδοσης.
Κρατήστε αρχείο έρευνας πριν δοκιμάσετε την επόμενη παραλλαγή
Καταγράψτε ολόκληρη την αναζήτηση, μαζί με τις ιδέες που απορρίφθηκαν και τον λόγο για κάθε αλλαγή. Έτσι αποτυπώνεται πιο ειλικρινά πόσο επιλέχθηκε το αποτέλεσμα και γίνεται δυσκολότερο να θυμάστε μόνο τις ελκυστικές δοκιμές.
| Καταγράψτε | Παράδειγμα | Γιατί έχει σημασία |
|---|---|---|
| Υπόθεση | Η βραχυπρόθεσμη αντιστροφή είναι ισχυρότερη μετά από ασυνήθιστα μεγάλες κινήσεις στα BTC perpetual futures | Διαχωρίζει την ιδέα από τις τελικές ρυθμίσεις των παραμέτρων της |
| Παραλλαγή και χρονική σήμανση | Σήμα 48 ωρών, 2026-10-09, εκτέλεση 014 | Μετρά την αναζήτηση και συνδέει τα αποτελέσματα με τον κώδικα και τα δεδομένα |
| Κανόνας επιλογής | Επιλογή με βάση το καθαρό Sharpe· τουλάχιστον 100 συναλλαγές | Δείχνει τι σήμαινε «καλύτερη» πριν από τη σύγκριση |
| Απορριφθείσες παραλλαγές | Παράθυρα 12, 24 και 72 ωρών· διατηρήθηκαν όλα | Δεν αφήνει την ορατή επικρατέστερη επιλογή να σβήσει τις υπόλοιπες |
Ένα αρχείο δεν αναιρεί την αναζήτηση. Την κάνει κατανοητή, κι αυτό είναι το πρώτο βήμα για να κρίνετε πόση εμπιστοσύνη αξίζει η επικρατέστερη επιλογή.
Δεσμεύστε δεδομένα στα οποία δεν θα επιστρέφει ξανά η ερευνητική διαδικασία
Χωρίστε τα δεδομένα χρονικά και στη συνέχεια προστατέψτε την τελική περίοδο. Αναπτύξτε τη στρατηγική σε ένα διάστημα, πάρτε αποφάσεις χρησιμοποιώντας ένα διάστημα επικύρωσης και αξιολογήστε την παγωμένη στρατηγική μία φορά σε ένα μεταγενέστερο holdout. Για παράδειγμα, θα μπορούσατε να χρησιμοποιήσετε το 2018–2022 για την ανάπτυξη, το 2023 για την επικύρωση και να κρατήσετε στην άκρη το 2024–2025. Αυτές οι ημερομηνίες είναι απλώς ενδεικτικές: ο διαχωρισμός πρέπει να καθορίζεται από την αγορά, τον χρονικό ορίζοντα της στρατηγικής και την κάλυψη των δεδομένων.
Ορίστε γραπτώς τι σημαίνει «παγωμένη»: σήμα, σύνολο αγορών, μέγεθος θέσεων, παραδοχές εκτέλεσης και τυχόν κανόνες για δεδομένα που λείπουν. Αν το holdout απογοητεύσει και προσαρμόσετε τη στρατηγική με βάση αυτό, η περίοδος αυτή έχει γίνει δεδομένα επικύρωσης. Η επόμενη έντιμη αξιολόγηση χρειάζεται νέα στοιχεία.
Εδώ φαίνονται και οι παγίδες των μικρών δειγμάτων. Μια στρατηγική που κάνει 18 συναλλαγές σε ένα holdout δεν δικαιολογεί ακριβές συμπέρασμα. Αναφέρετε τον αριθμό συναλλαγών και την αβεβαιότητα μαζί με τα στατιστικά απόδοσης· ένας μόνο μέσος όρος μπορεί να κάνει ένα μικρό δείγμα να φαίνεται οριστικό.
Σημαίνει αυτό ότι τα backtest είναι άχρηστα για την επιλογή στρατηγικών;
Όχι. Οι επικριτές έχουν δίκιο ότι τα αυστηρά holdout μπορεί να είναι σπάταλα: οι αγορές αλλάζουν, τα ιστορικά δεδομένα είναι περιορισμένα και μια περίοδος που δεν αγγίχτηκε μπορεί να αντιπροσωπεύει μόνο ένα ασυνήθιστο καθεστώς. Μια προσεκτικά σχεδιασμένη διαδικασία walk-forward μπορεί να δείξει πώς συμπεριφέρεται μια στρατηγική καθώς προχωρά η διαθέσιμη ιστορία. Αυτό και πάλι δεν κάνει τις επαναλαμβανόμενες προσαρμογές δωρεάν. Αν εξετάζετε κάθε fold και αναθεωρείτε τη στρατηγική, αυτά τα fold επηρέασαν την έρευνα.
Χρησιμοποιήστε τα backtest για να εντοπίσετε τρόπους αποτυχίας, να συγκρίνετε έναν μικρό αριθμό ιδεών που βασίζονται σε μηχανισμό της αγοράς και να ελέγξετε αν τα αποτελέσματα αντέχουν σε εύλογες προμήθειες, funding, market impact και αλλαγές παραμέτρων. Κρατήστε αρχείο. Διατηρήστε ένα τελικό holdout. Έπειτα περάστε μια υποσχόμενη, παγωμένη έκδοση σε paper trading, όπου μπορούν να αποκαλυφθούν λειτουργικές ασυμφωνίες.
Η πιο ισχυρή απάντηση ενός backtest είναι συχνά: «Αυτή η ιδέα αποτυγχάνει σε συνθήκες που ήδη μπορούμε να δούμε». Όταν λέει «Αυτή είναι η καλύτερη στρατηγική», αναρωτηθείτε πόσες άλλες απαντήσεις του ζητήσατε να δώσει.
← Όλα τα άρθρα
