Un test retrospectiv a avut un randament anualizat de 20%. A folosit 8 ani de date, 1,640 de tranzacții și o separare walk-forward curată. Apoi am înlocuit istoricul actual al furnizorului cu valorile înregistrate la momentul respectiv, iar avantajul a scăzut la 3%.
Cifra surprinzătoare nu a fost randamentul inițial. Au fost cele 17 puncte procentuale care depindeau de date revizuite. O astfel de perspectivă retrospectivă se poate ascunde în publicări economice, date fundamentale ale companiilor, componența indicilor și chiar în câmpuri de piață aparent simple. Datele istorice îți arată ce spune sursa acum. Un set de date disponibil la momentul respectiv îți arată ce putea ști strategia ta atunci.
De ce se pot schimba datele istorice după eveniment?
Unele valori sunt mai întâi estimări, apoi sunt corectate. O statistică economică publicată vineri poate fi revizuită luna următoare. O companie poate reformula o cifră privind câștigurile. Un furnizor de date poate corecta o tranzacție înregistrată greșit, completa un interval lipsă sau înlocui o valoare preliminară cu una finală. O bază de date care păstrează doar cea mai recentă valoare face ca toate aceste schimbări să pară că au fost dintotdeauna adevărate.
Contează când o strategie clasifică firmele după veniturile raportate sau tranzacționează pe o piață după o publicare de date programată. Dacă vede numărul corectat cu luni mai devreme, testul retrospectiv îi oferă informații care nu erau disponibile pe piață la momentul deciziei. Calculul semnalului poate fi impecabil; intrarea lui provine totuși din versiunea greșită a istoricului.
Există aici o capcană ușor de trecut cu vederea: un câmp numit date descrie adesea perioada la care se referă o valoare, nu momentul în care aceasta a devenit disponibilă. Un rând cu venituri trimestriale, marcat 31 martie, poate să nu fi fost publicat până în mai. Eticheta se referă la perioada de activitate a companiei, nu la setul de informații al strategiei.
Ce marcaj temporal ar trebui să folosească un test retrospectiv?
Urmărește separat perioada de referință a valorii și momentul disponibilității ei. Când se poate, păstrează și momentul publicării, precum și momentul preluării. Strategia putea folosi o valoare doar după ce fusese publicată și primită de sistem; dacă momentele diferă, pentru o rejucare prudentă folosește momentul mai târziu.
| Marcaj temporal | Ce descrie | La ce folosește |
|---|---|---|
| Momentul de referință | Perioada sau evenimentul la care se referă valoarea | Grupează observațiile după elementul măsurat |
| Momentul publicării | Când a publicat sursa această versiune | Împiedică apariția unei publicări înainte ca aceasta să existe |
| Momentul preluării | Când a primit sistemul tău versiunea | Înregistrează întârzierile de livrare și completările ulterioare |
De exemplu, să presupunem că vânzările trimestriale ale unei companii acoperă perioada ianuarie–martie, sunt raportate pe 8 mai la 16:15, ora de pe Coasta de Est, și ajung în depozitul tău de cercetare la 16:17. O strategie care ia decizia la închiderea pieței pe 8 mai nu poate folosi raportul dacă decizia de la închidere a fost luată la 16:00. O strategie care decide în dimineața următoare îl poate folosi. Doar data încheierii trimestrului nu poate răspunde la niciuna dintre întrebări.
Cum verific dacă rezultatul este influențat de revizuiri?
Rulează aceeași strategie de două ori: o dată cu versiunea datelor disponibilă la fiecare moment istoric al deciziei și o dată cu istoricul cel mai recent, revizuit. Păstrează neschimbate ipotezele de execuție, universul și codul. Diferența arată sensibilitatea la revizuiri, nu o comparație între strategii noi.
Apoi verifică de unde provine diferența. Se schimbă performanța în zilele publicărilor? Sunt cele mai mari diferențe concentrate la câteva companii ale căror raportări au fost reformulate sau la observații corectate? Tranzacționează strategia înainte de momentul publicării relevante? O verificare la nivelul evenimentelor explică adesea mai mult decât încă un grafic al randamentelor cumulate.
Aceste cifre sunt un exemplu, nu o penalizare universală. Rezultatul util este o comparație în pereche pentru strategia ta, cu aceleași tranzacții și costuri ori de câte ori este posibil. Dacă versiunea revizuită are un avantaj considerabil, află ce câmpuri și date explică diferența înainte să ai încredere în rezultatul principal al testului retrospectiv.
Ce ar trebui să consemneze o verificare a datelor disponibile la momentul respectiv?
Începe cu câmpurile pe care strategia ta le folosește efectiv. Pentru fiecare, identifică sursa, ce înseamnă marcajul temporal, politica de revizuire și dacă versiunile anterioare pot fi recuperate. Întreabă furnizorul cum sunt reprezentate corecțiile: rânduri suprascrise, rânduri noi pentru fiecare versiune sau un jurnal de audit separat. Faptul că pe pagina produsului scrie „istoric” nu lămurește aceste aspecte.
- Păstrează fiecare versiune împreună cu momentul publicării sau al primei disponibilități.
- Asociază caracteristicile cu deciziile folosind momentul disponibilității, nu etichetele perioadei.
- Păstrează un instantaneu fix sau versiunea sursei pentru rulări reproductibile.
- Marchează valorile care sosesc târziu, sunt revizuite sau nu au un istoric fiabil.
Păstrează și un domeniu de aplicare practic. Dacă strategia ta folosește doar tranzacții și bare de la bursă, revizuirile datelor economice pot fi irelevante. Totuși, corecțiile barelor și completările ulterioare ale furnizorilor pot conta, mai ales când semnalul depinde de o piață cu lichiditate redusă sau de o fereastră temporală precisă din jurul unui eveniment.
Când nu există istoric disponibil la momentul respectiv
Nu trata pe tăcute valoarea de azi ca și cum ar fi fost valoarea de ieri. Marchează câmpul drept limitare, exclude-l din concluziile care depind de disponibilitatea istorică sau aplică o întârziere prudentă și arată cât se schimbă rezultatul. O valoare substitutivă întârziată poate fi utilă în cercetare, dacă întârzierea este precizată și limitarea însoțește rezultatul.
Rolul testului retrospectiv este să reconstruiască o decizie folosind setul de informații existent la momentul respectiv. Dacă datele tale pot afișa doar cea mai recentă versiune, rezultatul are o limită clară: poate testa strategia pe baza istoricului reconstruit de azi, dar nu poate stabili cu exactitate ce ar fi putut vedea un agent la momentul respectiv.
← Toate articolele
