Am descompus un backtest pe o piață de predicții care a cumpărat contractul greșit

Un backtest pe o piață de predicții poate folosi un ticker care pare corect, istoricul de prețuri potrivit și contractul greșit. E ușor să nu observi greșeala: numele piețelor sunt scurte, paginile evenimentelor se actualizează, iar o acțiune YES arată întotdeauna ca un preț între zero și unu.

Să luăm o piață ipotetică intitulată „Va fi adoptată Legea transportului curat?” O strategie cumpără YES la 0.42 după un semnal din știri. Mai târziu, backtestul evaluează poziția la 1.00. Înainte să am încredere în acest câștig, vreau să știu exact ce promitea contractul: despre care lege era vorba, ce însemna „adoptată”, care era termenul-limită și ce sursă stabilea rezultatul.

Titlul: „Va fi adoptată Legea transportului curat?”

Titlul este un șir de text afișat, nu un identificator stabil al instrumentului. Două piețe pot avea formulări aproape identice, dar să se refere la sesiuni legislative, proiecte de lege amendate sau termene-limită diferite. De asemenea, o platformă poate schimba titlul pentru a clarifica piața fără să modifice termenii contractului.

Prin urmare, backtestul ar trebui să asocieze poziția cu ID-ul imuabil al pieței sau contractului de pe platformă, apoi să păstreze textul integral al regulilor și versiunea acestuia. Dacă datele istorice conțin doar un titlu și un ticker, nu poți stabili că seria de prețuri aparține contractului pe care strategia intenționa să-l tranzacționeze.

Regulile: ce înseamnă „adoptată”?

Să presupunem că regula spune că legea trebuie să fie adoptată de Camera Reprezentanților și de Senat până la 30 iunie, apoi semnată de președinte. Un backtest care consideră suficientă adoptarea de către oricare dintre camere schimbă pariul. La fel și unul care ia în calcul o lege cu același nume din sesiunea următoare.

Tratează criteriile efective de stabilire a rezultatului ca pe niște condiții executabile. Înregistrează termenul-limită și fusul orar, evenimentul care îndeplinește condițiile, orice excepții și sursa de stabilire a rezultatului menționată explicit. Și ambiguitatea contează: dacă regulile platformei lasă fără răspuns un scenariu plauzibil, nu alege tacit interpretarea care se potrivește cu rezultatul istoric.

Există și o parte minunat de lipsită de strălucire în munca asta: să salvezi pagina cu regulile înainte să se întâmple ceva interesant. O pagină capturată abia după stabilirea rezultatului poate afișa formularea finală, deși strategia ta a intrat în piață sub o versiune anterioară.

Cronologia: când putea afla strategia?

Să presupunem acum că regulile sunt clare, iar semnalul din știri s-a declanșat la 14:05 UTC. Fluxul istoric arată că la 14:05 a avut loc o tranzacție, la prețul de 0.42. Doar marcajul temporal nu îți spune dacă informația era disponibilă înainte de tranzacție, dacă prețul înregistrat putea fi obținut ulterior sau dacă intervalul reprezintă o cotație, o tranzacție ori un rezumat al intervalului.

Păstrează separat momentul în care semnalul a devenit disponibil și momentul evenimentului de piață. Apoi plasează ordinul după ce strategia a putut să-l calculeze și să-l trimită. Pe o piață cu lichiditate redusă, următoarea tranzacție înregistrată poate avea loc peste câteva minute; asta nu dovedește că ordinul tău ar fi fost executat la acel preț.

Prețul: o cotație nu înseamnă o execuție

YES la 0.42 înseamnă un preț de 42 de cenți pe acțiune, dar o serie bazată pe ultima tranzacție ascunde spreadul și cantitatea disponibilă. Dacă cea mai bună ofertă de vânzare este 0.45 pentru 20 de acțiuni, o simulare a unei cumpărări de 100 de acțiuni nu poate executa întregul ordin la 0.42. Ar putea consuma niveluri succesive din registrul de ordine, ar putea aștepta sau ar putea rămâne neexecutată.

Prețurile piețelor de predicții invită și la o scurtătură contabilă: să tratezi 0.42 ca pe o probabilitate de 42% și să uiți că este și suma plătită la intrare. O poziție de 100 de acțiuni YES costă $42 înainte de comisioane. Dacă rezultatul se stabilește la $1, încasările brute sunt $100; dacă se stabilește la $0, încasările sunt zero. Comisioanele, execuțiile parțiale și orice mecanisme de decontare specifice platformei trebuie incluse în registru.

Decontarea: ce închide tranzacția?

Un backtest închide adesea poziția la prețul final al pieței. Însă un contract păstrat până la stabilirea rezultatului se plătește conform regulilor, iar ultima sa cotație poate fi învechită, cu un spread mare sau departe de plata finală. Modelează stabilirea rezultatului ca pe un eveniment separat: rezultatul, momentul decontării și fluxul de numerar ar trebui să provină din înregistrarea contractului.

Ține cont și de o piață al cărei rezultat este declarat invalid sau contestat, dacă regulile platformei prevăd această posibilitate. În acest caz, miza poate fi returnată, se poate plăti o sumă diferită sau decontarea poate întârzia. Presupunerea unei plăți binare nu poate reprezenta toate scenariile de stabilire a rezultatului.

Verdictul asupra backtestului

În exemplul acesta, aș accepta câștigul raportat doar după ce verific ID-ul imuabil al pieței, versiunea regulilor valabilă la intrare, tokenul YES, momentul în care semnalul a devenit disponibil, ofertele de vânzare și cantitățile care puteau fi executate, comisioanele și decontarea înregistrată. Dacă arhiva de prețuri nu permite aceste verificări, rezultatul onest este un interval de scenarii sau un rezultat neverificat.

Poate părea strict pentru o singură tranzacție mică. Dar dacă aceeași eroare de asociere se repetă pe mii de piețe, backtestul poate ajunge să măsoare cu grijă contracte pe care strategia ta nu le-a tranzacționat niciodată.