En backtest av prediksjonsmarkeder kan bruke en ticker som ser riktig ut, riktig prishistorikk og feil kontrakt. Denne feilen er lett å overse fordi markedsnavn er korte, hendelsessider blir oppdatert, og en YES-andel alltid ser ut som en pris mellom null og én.
Tenk deg et hypotetisk marked med navnet «Vil Clean Transit Act bli vedtatt?» En strategi kjøper YES til 0.42 etter et nyhetssignal. Senere verdsetter backtesten posisjonen til 1.00. Før jeg stoler på gevinsten, vil jeg vite nøyaktig hva kontrakten lovet: hvilket lovforslag, hva som telte som «vedtatt», fristen og kilden som avgjorde utfallet.
Tittelen: «Vil Clean Transit Act bli vedtatt?»
En tittel er en visningstekst, ikke en stabil instrumentidentifikator. To markeder kan ha nesten identisk ordlyd, men vise til ulike lovgivningsperioder, endrede lovforslag eller frister. En markedsplass kan også endre en tittel for å gjøre markedet tydeligere uten å endre de underliggende vilkårene.
Backtesten bør derfor knytte posisjonen til markedsplassens uforanderlige markeds- eller kontrakt-ID og ta vare på den fullstendige regelteksten og versjonen. Hvis historiske data bare inneholder en tittel og en ticker, kan du ikke fastslå at prisserien tilhører kontrakten strategien skulle handle.
| Identitetsfelt | Hva det fastslår | Feil hvis det utelates |
|---|---|---|
| Markedsplass og markeds-ID | Det konkrete børsnoterte markedet | Lignende titler blir slått sammen |
| Regelversjon | Vilkårene deltakerne godtok | En senere endring brukes på tidligere handler |
| Utfallstoken-ID | YES- eller NO-kravet som handles | YES- og NO-priser byttes om eller slås sammen |
| Oppgjørskilde | Bevisene som brukes til å avgjøre utfallet | Backtesten legger til grunn en annen avgjørelsesinstans |
Reglene: Hva betyr «vedtatt»?
Anta at regelen sier at lovforslaget må vedtas av Representantenes hus og Senatet innen June 30 og deretter signeres av presidenten. En backtest som regner vedtak i ett av kamrene som en suksess, har endret veddemålet. Det samme gjelder en backtest som teller med et lovforslag med samme navn i neste lovgivningsperiode.
Les de faktiske oppgjørskriteriene som vilkår som kan utføres. Registrer fristen og tidssonen, den kvalifiserende hendelsen, eventuelle unntak og den navngitte oppgjørskilden. Tvetydighet betyr også noe: Hvis reglene på markedsplassen lar et plausibelt scenario stå uavklart, bør du ikke i det stille velge tolkningen som passer med det historiske utfallet.
En lite glamorøs, men viktig del av arbeidet er å lagre regelsiden før noe interessant skjer. En side som først arkiveres etter oppgjøret, kan vise den endelige ordlyden, mens strategien din gikk inn under en tidligere versjon.
Tidslinjen: Når kunne strategien vite?
Anta nå at reglene er gode, og at nyhetssignalet utløses klokken 14:05 UTC. Den historiske feeden viser en handel klokken 14:05 til 0.42. Tidsstempelet alene forteller deg ikke om informasjonen var tilgjengelig før handelen, om den registrerte prisen kunne oppnås etterpå, eller om datapunktet representerer et kjøpstilbud, en handel eller et sammendrag for et tidsintervall.
Hold tidspunktet da signalet ble tilgjengelig, adskilt fra tidspunktet for markedshendelsen. Legg deretter inn ordren etter at strategien kunne beregne og sende den. I et tynt omsatt marked kan det gå flere minutter til neste registrerte handel; det er ikke bevis på at ordren din ville ha blitt utført til den prisen.
Prisen: Et kjøpstilbud er ikke en utført handel
YES til 0.42 tilsvarer en pris på 42 cent per andel, men en serie med siste handlede pris skjuler spreaden og tilgjengelig volum. Hvis beste salgspris er 0.45 for 20 andeler, kan ikke et simulert kjøp av 100 andeler utføres fullt ut til 0.42. Ordren kan gå gjennom ordreboken, bli stående og vente eller forbli ufylt.
Priser i prediksjonsmarkeder frister også til en snarvei i regnskapet: å behandle 0.42 som en sannsynlighet på 42% og glemme at det også er kontantbeløpet du betaler ved inngang. En YES-posisjon på 100 andeler koster $42 før gebyrer. Hvis den gjøres opp til $1, er brutto utbetaling $100; hvis den gjøres opp til $0, er utbetalingen null. Gebyrer, delvise utførelser og eventuell oppgjørsmekanikk som er spesifikk for markedsplassen, hører hjemme i regnskapet.
Oppgjøret: Hva avslutter handelen?
En backtest avslutter ofte posisjonen på den siste markedsprisen. Men en kontrakt som holdes fram til oppgjør, utbetales i henhold til reglene, og den sist noterte prisen kan være utdatert, ha stor spread eller ligge langt fra den endelige utbetalingen. Modeller oppgjøret som en egen hendelse: Utfallet, oppgjørstidspunktet og kontantbevegelsen bør komme fra kontraktoppføringen.
Ta også høyde for at et marked kan få utfallet ugyldig eller omstridt, hvis reglene på markedsplassen definerer et slikt utfall. Da kan innsatsen bli tilbakebetalt, et annet beløp bli utbetalt eller oppgjøret bli forsinket. En antakelse om binær utbetaling dekker ikke alle mulige oppgjørsforløp.
Konklusjonen om backtesten
I dette eksemplet ville jeg godtatt den rapporterte gevinsten først etter å ha kontrollert den uforanderlige markeds-ID-en, regelversjonen som gjaldt ved inngang, YES-tokenet, tidspunktet da signalet ble tilgjengelig, tilgjengelige salgspriser og volum, gebyrer og det registrerte oppgjøret. Hvis prisarkivet ikke gir grunnlag for disse kontrollene, er et intervall av mulige scenarioer eller et ubekreftet resultat den ærlige konklusjonen.
Det kan høres strengt ut for én liten handel. Gjenta den samme sammenføyningsfeilen på tusenvis av markeder, så kan backtesten bli en nøyaktig måling av kontrakter strategien din aldri handlet.
← Alle innlegg
