Mi romlik el a predikciós piacok visszatesztelésekor: nyolcnapos napló

A predikciós piacok visszatesztelése elsőre a világ legegyszerűbb dolgának tűnik. Az ár [0, 1] közé esik. A kifizetés egy dollár vagy semmi. Nincs tőkeáttétel, finanszírozás, bázis, és nincs a perpetual swapok 00:00 UTC körüli furcsasága sem. Már volt egy visszatesztelőnk, amely kezelte a kriptós örökös határidős ügyleteket díjakkal, finanszírozással és piaci hatással, ezért azt terveztük, hogy két nap alatt átalakítjuk, aztán már kezdhetjük is a stratégiák kidolgozását.

Nyolc nap lett belőle. Íme a napló, nagyjából időrendben, beleértve azt a napot is, amikor a tőkegörbe elképesztően jól nézett ki, és valóban is.

1. nap: az adapter, aminek gyerekjáték kellett volna lennie

Az első megfeleltetés egy az egyhez történt, és letisztultnak tűnt. Egy piac egy instrumentum. A YES ára az ár. A YES vásárlása long, a NO vásárlása short. Az elszámolás kényszerű zárás 1.00 vagy 0.00 áron. Betápláljuk az óránkénti árfolyamsort ugyanabba az eseményciklusba, és kész.

Ez a megfeleltetés körülbelül kilencven percig bírta a valódi adatokkal való találkozást. Először a hozamsor mondott csődöt. A teljes kockázati rétegünk — a pozícióméretezés, a volatilitáscélzás és a Sharpe-jelentések — egy folyamatosan létező instrumentum loghozamaira épült. Egy piac, amely 0.04-ről 0.00-ra esik, definiálatlan loghozamot, de teljes veszteséget jelent. Ráadásul egy 0.04-en álló piac három nappal az elszámolás előtt teljesen más természetű, mint egy 0.04-en álló piac négy perccel előtte, pedig mindkét sorban ez szerepel: 0.04.

Végül a teljes idősor paraméterezését az eltelt idő helyett az elszámolásig hátralévő időre állítottuk át, a PnL-t pedig véglegesnek, nem piaci áron értékeltnek kezeltük. Ez volt a helyes döntés, és érvénytelenné tett minden utána következő jelentéskészítő kódot.

2. nap: a díjképlet maga a stratégia

A Kalshin a kereskedési díj nem bázispontos levonás. Az ár négyzetével arányos: nagyjából 0.07 × contracts × P × (1−P), megbízásonként a következő centre kerekítve felfelé. Vagyis a díj éppen ott a legmagasabb, ahol egy pénzfeldobás-közeli piac a legérdekesebb, a széleken pedig szinte ingyenes.

A harmadik oszlop a lényeg: ha 50¢-on vásárolsz és az elszámolásig tartod, a nullszaldóhoz a valószínűség-becslésednek 1.75 ponttal felül kell múlnia a piacét. Nem relatív értelemben 1.75 százalékkal, hanem abszolút értékben. Ha az elszámolás előtt kiszállsz ahelyett, hogy tartanád, kétszer fizeted meg a díjat, a spreaden felül.

A Polymarket CLOB-jának díjprofilja történelmileg egészen más volt: magán a kötésen közel nulla díjjal, így a teljes költség a spreadben és a könyv mélységében jelentkezik. Ezért ugyanannak a stratégiának két teljesen eltérő a gazdaságossága a piactól függően, és minden olyan piactérközi összehasonlítás, amely egyetlen díjmodellt használ, fikció. Mostantól piactérenkénti díjfüggvényt használunk egyetlen skalár helyett.

3. nap: a könyv lépcsőzetes és rövid

A piaci hatás modellünk egy BTC örökös határidős ügyletek ajánlati könyveire kalibrált négyzetgyökfüggvény volt. Ez itt rossz alakú. Egy 1¢-os tickkel rendelkező, $1-os instrumentumnál az egész könyvben mindössze 99 lehetséges árszint van, egy közepes likviditású piacon pedig a legjobb árszinten lehet néhány száz kontraktus, aztán egy rés.

Íme egy pillanatkép az egyik általunk mintavételezett gazdasági adatpiacról, a YES oldalról, körülbelül 30 órával az elszámolás előtt:

Egy 1,000 kontraktusos megbízás — ötszáz dollárnyi kockázat, ami a kriptóban kerekítési hibának számít — négy centtel mozdítja el a tényleges árat. Négy cent több mint a díj kétszerese. Itt nincs olyan sima függvény, amit illeszteni lehetne; szintről szintre végig kell menni a könyvön, különben csak kitaláljuk az értéket. Töröltük a négyzetgyökmodellt ennél az eszközosztálynál, és írtunk helyette egy konkrét könyvbejárót, amely lassabb, de helyes.

Valahol eközben azon kaptam magam, hogy bosszant: ezek a piacok „túl kicsik ahhoz, hogy számítsanak”. Azért kicsik, mert egyetlen valós kérdést áraznak, határidővel, és csak korlátozott számú embernek van véleménye arról, hogy szerdán hogyan alakulnak az Egyesült Államok kezdeti munkanélküli-segélykérelmei. A méretük maga a piac. Panaszkodni rá olyan, mintha azért panaszkodnánk, hogy a pókerasztalnál csak kilencen férnek el.

4. nap: amikor gyönyörű volt a tőkegörbe

Sharpe 4.1 1,400 piacon. Sima görbe. Minden kutatónak össze kellene szorulnia a gyomrának ettől, és az enyémmel végül ez is történt, nagyjából negyven perccel azután, hogy már képernyőképet is készítettem róla.

A hiba az újramintavételezőben volt. Az illikvid piacok árfolyamtörténete szabálytalan időbélyegekkel érkezik, ezért egyenletes óránkénti rácsra rendeztük át. Minden archivált idősor utolsó pontja az elszámolási érték, 1.00 vagy 0.00. Az újrarendezésünknél legközelebbi szomszédos értékkel töltöttük ki a hiányokat, iránykorlátozás nélkül, így minden olyan piacnál, ahol az utolsó kötés órákkal az elszámolás előtt történt, az elszámolási érték visszafelé is elterjedt az időben a résen keresztül. A modell a holnapi választ olvasta be a mai sorba, pontosan azoknál az illikvid piacoknál, ahol a mélységi korlátok elérése nélkül növelhette a pozícióméretet.

A legközelebbi szomszédos értékkel való kitöltés folyamatosan jegyzett instrumentumoknál rendben van. Olyan instrumentumnál, amelynek utolsó megfigyelése maga a valóság, ez előretekintő szivárgáshoz vezet. Most már ellenőrizzük, hogy minden kitöltés kizárólag előrefelé történjen, az elszámolási sort pedig megjelöljük és kizárjuk minden jellemzőszámításból. Ez az ellenőrzés kilenc sor, és ez a hét legértékesebb kódja, amit írtunk.

5–6. nap: 1,412 piac, nagyjából 180 fogadás

A predikciós piacokon a mintanagyság barátságos arcú csapda. Lezársz 1,412 piacot, úgy érzed, van 1,412 megfigyelésed, és ennek megfelelő t-statisztikát számolsz. Csakhogy az ugyanazon a vasárnapon rendezett tizennégy NFL-meccsnek közös az időjárása, a sérülésekről szóló jelentések megjelenése és a fogadói pénzáramlása. Az 51 állami szintű választási piacot ugyanaz az országos elmozdulás mozgatja. A „bekövetkezik-e X március 31-ig” és a „bekövetkezik-e X június 30-ig” ugyanaz a fogadás, csak más lejárattal, és együtt számolódnak el.

Az alapul szolgáló eseményforrás és az elszámolás dátuma szerint csoportosítottuk a piacokat, és az effektív független elemszám valahol 180 körül alakult. Ez nem elég ahhoz, hogy az általunk vizsgált hatásméretek mellett megkülönböztessük a valódi előnyt a zajtól. A piaconkénti bootstrap sem segít ezen, mert klasztereket, nem pedig sorokat kell újramintavételeznie. Ha ezt elrontod, a szignifikancia csendben két-háromszorosára nő.

7. nap: az elszámolás is valószínűségi eloszlás

Amiket egyáltalán nem modelleztünk, és csak a nehezebb úton derült ki:

• Korai elszámolás. Egy „december 31-ig” piac elszámolhat már augusztus 4-én, amikor az esemény ténylegesen bekövetkezik. A tőkéd hamarabb felszabadul, a tartási idő pedig soha nem volt az, amit a kontraktus neve sugallt.
• Vita. Az orákulum által elszámolt piacokon van egy megtámadási időablak. A pozíció az esemény után még napokig függőben maradhat, és néhány esetben az eredmény a kézenfekvő értelmezéshez képest megfordul.
• Érvénytelenítés. Kétértelmű forrásadat esetén a piacot törlik, és mindenki visszakapja a pénzét. A mintánkban ez a piacok kevesebb mint 1%-át érinti, de éppen azoknál a kétértelmű kérdéseknél csoportosul, amelyeket a modell félreárazottnak talál.
• Tőkelekötés. A 90 nap alatt realizált 3 pontos előny és a 6 óra alatt realizált 3 pontos előny nem hasonlítható össze. Az a visszatesztelés pedig, amely a teljes előnyt a lekötött tőke idejével normalizáló nevező nélkül jelenti, mindig a lassabbat fogja előnyben részesíteni.

Beépítettünk a szimulátorba egy tartásiköltség-tagot és az elszámolás dátumának jitterezését. Egyik sem pontos. Mindkettő jobb annál a hallgatólagos feltételezésnél, hogy az elszámolás biztosan pontosan a megadott napon történik.

8. nap: mit hagynánk ki, és mivel kezdenénk

1. Hagyd ki teljesen a hozamalapú keretrendszert. Ne próbálj volatilitáscélzó kockázati réteget igazítani egy végső kifizetésű instrumentumhoz. Írj fogadásméretező réteget, amely valószínűségekben és tétekben gondolkodik. Két napot vesztettünk azzal, hogy megpróbáltuk a régit hozzáigazítani.
2. A díjfüggvényt készítsd el a stratégia előtt. Rajzold ki minden tervezett piactér nullszaldós előnygörbéjét, és tedd ki az asztal fölé. Az ötletek körülbelül felét már azelőtt elveti, hogy egyetlen visszatesztelési futtatásra költenél.
3. Már az első naptól járd be a könyvet. Egy folyamatos piacról átvett parametrikus piaci hatásmodell olyan módon lesz hibás, ami neked kedvez.
4. Csoportosíts, mielőtt számolni kezdesz. Az effektív mintanagyság klaszterezési kulcsáról már az univerzum meghatározásakor dönts, ne azután, hogy megvan a neked tetsző Sharpe.
5. Ellenőrizd a kitöltés irányát. Minden összekapcsolásnál egy sor. Ha egy idősor a valósággal végződik, a visszafelé töltést már eleve kezeld hibaként, ne bízd arra, hogy majd észreveszed a felülvizsgálatkor.

Megérte a nyolc nap, főként azért, mert a predikciós piacok megszüntetik azt a kétértelműséget, amely miatt olyan könnyű becsapnunk magunkat a kriptós visszatesztelésekkel. Nincs finanszírozási ráta, amit el lehetne intézni egy kézlegyintéssel, és nincs elszámolóár-konvenció, amin vitatkozni kellene. Csak egy kérdés, egy határidő és egy válasz. Ha itt hibás a visszatesztelés, rá lehet mutatni, pontosan hogyan hibás.