Ένας AI agent στρατηγικών μπορεί να παράγει ένα έγκυρο backtest χρησιμοποιώντας πληροφορίες που δεν υπήρχαν όταν υποτίθεται ότι θα εκτελούνταν οι συναλλαγές του. Ο κώδικας εκτελείται. Η καμπύλη κεφαλαίου μοιάζει εύλογη. Το σήμα μπορεί μάλιστα να είναι λογικό. Ωστόσο, μια χρονική σήμανση, μια συνένωση ή ένα αναθεωρημένο πεδίο δεδομένων μπορεί να του έχει δώσει αθόρυβα την απάντηση του αύριο.
Η λύση είναι να κάνουμε τον χρόνο διαθεσιμότητας μέρος των όρων της έρευνας. Για κάθε είσοδο πρέπει να υπάρχει σαφής απάντηση σε δύο ερωτήματα: ποια χρονική περίοδο περιγράφει αυτή η τιμή και πότε θα μπορούσε να την έχει γνωρίσει πρώτη φορά η στρατηγική;
Πώς εμφανίζεται η μεροληψία μελλοντικής πληροφόρησης σε μια στρατηγική που δημιουργήθηκε από AI;
Η προφανής περίπτωση είναι ένα σήμα που υπολογίζεται από την τιμή κλεισίματος της ίδιας μπάρας και ακολουθείται από εκτέλεση σε αυτή την τιμή κλεισίματος. Αν η στρατηγική χρειάζεται την τιμή κλεισίματος για να αποφασίσει, δεν μπορεί ταυτόχρονα να συναλλαχθεί σε αυτήν. Οι agents, όμως, συχνά δημιουργούν πιο διακριτικές εκδοχές του προβλήματος όταν συνενώνουν πηγές δεδομένων ή επιλέγουν βολικές προεπιλογές.
Ας υποθέσουμε ότι ένα μοντέλο υπολογίζει κινητό μέσο όρο 20 bars στο κλείσιμο κάθε λεπτού και παίρνει θέση όταν η τιμή κλεισίματος τον διασχίζει. Αν το backtest εκτελεί τη συναλλαγή στο ίδιο κλείσιμο, έχει χρησιμοποιήσει την τελευταία συναλλαγή της μπάρας πριν αυτή καταστεί διαθέσιμη στη στρατηγική. Η μετάθεση της εντολής στο άνοιγμα της επόμενης μπάρας μπορεί να είναι μια εύλογη προσέγγιση, αν και μια εντολή αγοράς εξακολουθεί να χρειάζεται προμήθειες και εκτίμηση επίπτωσης στην αγορά.
Τώρα ας κάνουμε το χαρακτηριστικό ένα ημερήσιο θεμελιώδες στοιχείο μετοχής ή ένα στιγμιότυπο ανοιχτού ενδιαφέροντος κρυπτονομίσματος. Η ημερομηνία της εγγραφής μπορεί να λέει Δευτέρα, αλλά η τιμή ίσως δημοσιεύτηκε μετά το κλείσιμο της αγοράς τη Δευτέρα ή διορθώθηκε αργότερα. Η ημερομηνία δεν είναι χρονική σήμανση διαθεσιμότητας.
Πώς πρέπει να χρονοσημαίνω τις εισόδους μιας στρατηγικής;
Διατηρήστε τουλάχιστον τρεις χρονικές στιγμές, όπου το επιτρέπει η πηγή: την περίοδο που περιγράφει μια τιμή, τη στιγμή που τη δημοσίευσε ο πάροχος και τη στιγμή που την έλαβε το σύστημά σας. Το σύνολο πληροφοριών της στρατηγικής κατά τη λήψη απόφασης μπορεί να περιλαμβάνει μόνο τιμές που ήταν διαθέσιμες έως τότε.
| Πεδίο | Σε ποιο ερώτημα απαντά | Συνηθισμένη παγίδα |
|---|---|---|
| Χρόνος συμβάντος | Πότε συνέβη το γεγονός στην αγορά; | Χρήση του κλεισίματος μιας μπάρας πριν ολοκληρωθεί η μπάρα |
| Χρόνος δημοσίευσης | Πότε δημοσίευσε η πηγή αυτή την τιμή; | Αντιμετώπιση μιας ένδειξης τέλους ημέρας ως δημοσίευσης στην αρχή της ημέρας |
| Χρόνος εισαγωγής | Πότε μπορούσε να χρησιμοποιήσει το σύστημα έρευνας αυτά τα δεδομένα; | Παράβλεψη της καθυστέρησης του παρόχου ή της ροής επεξεργασίας |
| Χρόνος αναθεώρησης | Πότε καταγράφηκε ή διορθώθηκε αυτή η έκδοση; | Εκ των υστέρων συμπλήρωση αναθεωρημένου ιστορικού σαν να ήταν το αρχικό |
Για μια στρατηγική 1-minute, καθυστέρηση ενός δευτερολέπτου δεν είναι αυτομάτως ακίνδυνη. Η σημασία της εξαρτάται από το πότε λαμβάνεται η απόφαση και από τα δεδομένα που χρησιμοποιεί το σήμα. Αν η είσοδος είναι ένα ολοκληρωμένο ωριαίο στατιστικό στοιχείο, μπορεί να έχει ελάχιστη σημασία. Αν είναι ανισορροπία βιβλίου εντολών που δειγματοληπτείται κοντά στη στιγμή της εντολής, μπορεί να αντιστρέψει τη συναλλαγή.
Μπορεί μια αποθήκη δεδομένων συγκεκριμένης χρονικής στιγμής να αποτρέψει τις διαρροές;
Βοηθά, αν ο όρος «συγκεκριμένη χρονική στιγμή» σημαίνει ότι μπορείτε να ανακτήσετε την τιμή που ήταν γνωστή σε μια ιστορική στιγμή λήψης απόφασης, μαζί με την αναθεώρηση που ίσχυε τότε. Ένας πίνακας που απλώς περιέχει ιστορικές ημερομηνίες μπορεί να έχει τις σημερινές διορθωμένες τιμές για εκείνες τις ημερομηνίες.
Για κάθε εγγραφή, διατηρήστε ένα διάστημα ισχύος και μια χρονική σήμανση διαθεσιμότητας, και κρατήστε τις αναθεωρήσεις αντί να τις αντικαθιστάτε. Έπειτα, διατυπώστε ρητά τα ιστορικά ερωτήματα: επιστρέψτε την πιο πρόσφατη έκδοση που ήταν διαθέσιμη κατά την προσομοιωμένη στιγμή λήψης απόφασης. Αυτό είναι ιδιαίτερα σημαντικό για θεμελιώδη στοιχεία, τη σύνθεση δεικτών, οικονομικές ανακοινώσεις και σύνολα δεδομένων που έχουν καθαριστεί από παρόχους.
Υπάρχει και μια πεζή λειτουργική λεπτομέρεια: μια τέλεια χρονική σήμανση δημοσίευσης δεν χρησιμεύει αν η εργασία εισαγωγής δεδομένων εκτελέστηκε με καθυστέρηση είκοσι λεπτών. Αν το ιστορικό αποθετήριο δεν καταγράφει τον χρόνο εισαγωγής, χρησιμοποιήστε μια συντηρητική καθυστέρηση και αναφέρετέ την. Η ακρίβεια που δεν κατέγραψε ποτέ η πηγή είναι απλώς διακόσμηση.
Ποιοι έλεγχοι εντοπίζουν τη μεροληψία μελλοντικής πληροφόρησης πριν από το paper trading;
Ζητήστε από τον agent έρευνας να παράγει, μαζί με το backtest, ένα χρονολόγιο χαρακτηριστικών και εντολών. Για κάθε απόφαση, καταγράψτε τον πιο πρόσφατο χρόνο διαθεσιμότητας της πηγής για κάθε χαρακτηριστικό, τον χρόνο απόφασης, τον χρόνο εντολής και τον εκτιμώμενο χρόνο εκτέλεσης. Απορρίψτε κάθε γραμμή όπου κάποια είσοδος έφτασε μετά την απόφαση.
- Μεταθέστε τα σήματα κατά μία μπάρα προς τα εμπρός και συγκρίνετε τα αποτελέσματα. Μια μεγάλη πτώση μπορεί να αποκαλύψει εξάρτηση από τον χρονισμό κλεισίματος προς κλείσιμο, αλλά πρόκειται για διαγνωστικό έλεγχο και όχι για απόδειξη διαρροής.
- Περικόψτε κάθε πηγή σε ένα ιστορικό χρονικό όριο, εκτελέστε ξανά τη ροή επεξεργασίας και συγκρίνετε τα χαρακτηριστικά που προκύπτουν με τα αποθηκευμένα ιστορικά χαρακτηριστικά.
- Αντικαταστήστε ένα ύποπτο χαρακτηριστικό με μια σταθερά. Αν η απόδοση παραμένει σχεδόν ίδια, ελέγξτε αν ο κώδικας χρησιμοποίησε πράγματι την προβλεπόμενη χρονοσειρά.
- Περάστε από τη ροή επεξεργασίας ένα σκόπιμα αδύνατο μελλοντικό χαρακτηριστικό. Η επικύρωση πρέπει να αποτυγχάνει με σαφές σφάλμα όταν ο χρόνος διαθεσιμότητάς του υπερβαίνει τον χρόνο απόφασης.
Αυτοί οι έλεγχοι δεν πιστοποιούν μια στρατηγική. Κάνουν ορατές συγκεκριμένες παραδοχές χρονισμού και εντοπίζουν συνηθισμένους τρόπους με τους οποίους παραβιάζονται.
Αποδεικνύει το paper trading ότι το backtest δεν είχε διαρροές;
Όχι. Το paper trading μπορεί να αποκαλύψει ότι η ζωντανή ροή δεδομένων καθυστερεί, έχει ελλείψεις ή ευθυγραμμίζεται διαφορετικά από την ιστορική. Δεν αποδεικνύει ότι τα παλιά χαρακτηριστικά εκπαίδευσης αντανακλούσαν όσα ήταν γνωστά τότε. Ένα μοντέλο μπορεί επίσης να πάψει να ωφελείται από μια διαρροή απλώς και μόνο επειδή το μέλλον που είδε κατά λάθος είναι πλέον το παρόν.
Χρησιμοποιήστε το paper trading ως έλεγχο αντιστοιχίας: συγκρίνετε τις ζωντανές τιμές χαρακτηριστικών, τις χρονικές σημάνσεις αποφάσεων, τη δημιουργία εντολών και τις εκτιμώμενες εκτελέσεις με τους ορισμούς του backtest. Όταν διαφέρουν, εντοπίστε την ακριβή είσοδο και το ρολόι. Μια ομάδα agents που μπορεί να εξηγήσει το σύνολο πληροφοριών κάθε απόφασης διεξάγει χρήσιμη έρευνα. Μια ομάδα agents που μπορεί μόνο να σας δείξει μια ομαλή καμπύλη έχει παραλείψει τον δυσκολότερο έλεγχο.
← Όλα τα άρθρα
