پیش گوئی کی مارکیٹس کا بیک ٹیسٹ کرتے وقت کیا ٹوٹتا ہے: آٹھ دن کی ڈائری

پیش گوئی کی مارکیٹس بیک ٹیسٹ کرنے کے لیے دنیا کی سب سے آسان چیز لگتی ہیں۔ قیمت [0, 1] کے درمیان رہتی ہے۔ ادائیگی یا تو ایک ڈالر ہے یا کچھ نہیں۔ نہ لیوریج، نہ فنڈنگ، نہ بیسس، نہ 00:00 UTC پر پرپیچوئل سواپ والی عجیب باتیں۔ ہمارے پاس پہلے سے ایسا بیک ٹیسٹر تھا جو فیس، فنڈنگ اور امپیکٹ کے ساتھ کرپٹو پرپس سنبھالتا تھا، اور منصوبہ یہ تھا کہ اسے ڈھالنے میں 2 دن لگائیں، پھر حکمتِ عملیاں بنانا شروع کر دیں۔

اس میں 8 دن لگے۔ یہ ہے لاگ، تقریباً اسی ترتیب سے جس میں سب کچھ ہوا، اس دن سمیت جب ایکویٹی کرو حیرت انگیز دکھائی دے رہی تھی اور واقعی تھی بھی۔

دن 1: وہ اڈاپٹر جو معمولی سا کام ہونا چاہیے تھا

ابتدائی نقشہ بندی ایک کے مقابل ایک تھی اور صاف ستھری محسوس ہوئی۔ ایک مارکیٹ ایک انسٹرومنٹ ہے۔ YES کی قیمت ہی قیمت ہے۔ YES خریدنا لانگ ہے، NO خریدنا شارٹ۔ حل ہونے پر لازمی طور پر 1.00 یا 0.00 پر پوزیشن بند ہو جاتی ہے۔ فی گھنٹہ قیمتوں کا سلسلہ اسی ایونٹ لوپ میں ڈالیں، بس کام مکمل۔

حقیقی ڈیٹا سے واسطہ پڑنے کے تقریباً 90 منٹ بعد ہی یہ نقشہ بندی ناکام ہو گئی۔ سب سے پہلے منافع کا سلسلہ ٹوٹا۔ ہماری پوری رسک لیئر — پوزیشن سائزنگ، وولیٹیلیٹی ٹارگٹنگ، Sharpe رپورٹنگ — ایک مسلسل انسٹرومنٹ کے لاگ ریٹرنز فرض کرتی تھی۔ جو مارکیٹ 0.04 سے 0.00 پر آ جائے، اس کا لاگ ریٹرن غیر معین مگر مکمل نقصان متعین ہوتا ہے۔ اور حل ہونے سے 3 دن پہلے 0.04 پر بیٹھی مارکیٹ، حل ہونے سے 4 منٹ پہلے 0.04 پر بیٹھی مارکیٹ سے بنیادی طور پر مختلف چیز ہے، اگرچہ دونوں قطاروں میں 0.04 درج ہے۔

آخرکار ہم نے پورے سلسلے کو دیواری گھڑی کے وقت کے بجائے حل ہونے تک باقی وقت کے مطابق نئے پیرامیٹرز دیے، اور PnL کو مارک شدہ کے بجائے آخری نتیجے پر مبنی سمجھا۔ یہ درست فیصلہ تھا، اور اس نے اس کے بعد آنے والے رپورٹنگ کوڈ کے ہر حصے کو ناکارہ کر دیا۔

دن 2: فیس کا فارمولا ہی حکمتِ عملی ہے

Kalshi پر ٹریڈنگ فیس بیسس پوائنٹس کی کٹوتی نہیں ہے۔ یہ قیمت کے مربع کے تناسب سے ہے: تقریباً 0.07 × contracts × P × (1−P)، اور آرڈر کی سطح پر قریب ترین سینٹ تک اوپر گول کی جاتی ہے۔ اس کا مطلب ہے کہ فیس عین اسی جگہ سب سے زیادہ ہے جہاں سکہ اچھالنے جیسی مارکیٹ سب سے دلچسپ ہوتی ہے، اور انتہائی قیمتوں کے قریب تقریباً مفت۔

تیسرے کالم کو اصل اہمیت سمجھیں: 50¢ پر خرید کر حل ہونے تک رکھنے میں لاگت پوری کرنے کے لیے، آپ کے امکان کے اندازے کو مارکیٹ سے 1.75 پوائنٹ بہتر ہونا چاہیے۔ نسبتی طور پر 1.75 فیصد نہیں۔ مطلق فرق۔ اگر حل ہونے سے پہلے نکلیں تو یہ فیس 2 بار دینی ہوتی ہے، اس کے علاوہ اسپریڈ بھی۔

Polymarket کے CLOB پر تاریخی طور پر فیس کا ڈھانچہ بہت مختلف رہا ہے، ٹریڈ پر تقریباً صفر، جس سے ساری لاگت اسپریڈ اور گہرائی میں منتقل ہو جاتی ہے۔ اس لیے وینیو کے لحاظ سے ایک ہی حکمتِ عملی کی معاشیات بالکل مختلف ہوتی ہیں، اور ایک ہی فیس ماڈل سے کی گئی وینیوز کے درمیان کوئی بھی موازنہ فرضی ہے۔ اب ہم ایک عدد کے بجائے ہر وینیو کے لیے الگ فیس فنکشن رکھتے ہیں۔

دن 3: آرڈر بک سیڑھی جیسی ہے، اور مختصر ہے

ہمارا امپیکٹ ماڈل BTC پرپ آرڈر بکس پر فِٹ کیا گیا مربع جذر کا فنکشن تھا۔ اس کی شکل ہی غلط ہے۔ $1 کے انسٹرومنٹ میں 1¢ ٹِک کے ساتھ پوری بک میں قیمت کی صرف 99 ممکنہ سطحیں ہیں، اور درمیانی لیکویڈیٹی والی مارکیٹ میں اوپری سطح پر چند سو کنٹریکٹ پڑے ہو سکتے ہیں، پھر ایک خلا آتا ہے۔

یہ ایک معاشی ڈیٹا مارکیٹ کا اسنیپ شاٹ ہے جسے ہم نمونے کے طور پر لے رہے تھے، YES سائیڈ، حل ہونے سے تقریباً 30 گھنٹے پہلے:

1,000 کنٹریکٹ کا آرڈر — پانچ سو ڈالر کا رسک، کرپٹو میں معمولی سی رقم — مؤثر قیمت کو 4 سینٹ آگے دھکیل دیتا ہے۔ 4 سینٹ فیس سے 2 گنا سے بھی زیادہ ہیں۔ یہاں فِٹ کرنے کے لیے کوئی ہموار فنکشن نہیں؛ یا تو ہر سطح پر بک میں آگے بڑھیں، یا بات بنا رہے ہیں۔ ہم نے اس اثاثہ جاتی زمرے کے لیے sqrt ماڈل حذف کر کے کتابی آرڈر بک کو قدم بہ قدم کھنگالنے والا فنکشن لکھا، جو سست مگر درست ہے۔

کسی مقام پر مجھے یہ بات کھلنے لگی کہ یہ مارکیٹس "اہمیت کے لیے بہت چھوٹی" ہیں۔ یہ چھوٹی ہیں کیونکہ جس چیز کی قیمت لگائی جا رہی ہے وہ ایک آخری تاریخ والا، حقیقی دنیا کا ایک سوال ہے، اور بدھ کے روز امریکا میں ابتدائی بے روزگاری دعووں کے بارے میں رائے رکھنے والے لوگ بھی محدود ہیں۔ ان کا حجم ہی مارکیٹ ہے۔ اس پر اعتراض کرنا ایسا ہے جیسے یہ شکایت کرنا کہ پوکر کی میز پر صرف 9 نشستیں ہیں۔

دن 4: ایکویٹی کرو کا حسین دن

1,400 مارکیٹس پر Sharpe 4.1۔ ہموار۔ ہر محقق کو یہ دیکھ کر پیٹ میں گرہ پڑنی چاہیے، اور میرے ساتھ بھی ایسا ہوا، لیکن آخرکار، اسکرین شاٹ لینے کے تقریباً 40 منٹ بعد۔

بگ resampler میں تھا۔ غیر مائع مارکیٹس کی قیمتوں کی تاریخ بے قاعدہ ٹائم اسٹیمپس پر آتی ہے، اس لیے ہم نے یکساں فی گھنٹہ گرڈ بنایا۔ ہر محفوظ شدہ سلسلے کا آخری پوائنٹ سیٹلمنٹ ویلیو، 1.00 یا 0.00، ہوتا ہے۔ ہمارے reindex میں سمت کی پابندی کے بغیر nearest-neighbour fill استعمال ہوا، چنانچہ جس مارکیٹ کی آخری ٹریڈ حل ہونے سے کئی گھنٹے پہلے ہوئی تھی، اس کی سیٹلمنٹ ویلیو خلا میں پیچھے کی طرف پھیل گئی۔ ماڈل آج کی قطار میں کل کا جواب پڑھ رہا تھا، عین ان غیر مائع مارکیٹس میں جہاں وہ گہرائی کی حد سے ٹکرائے بغیر بڑی پوزیشن لے سکتا تھا۔

مسلسل چلنے والے انسٹرومنٹ پر nearest-neighbour fill ٹھیک ہے۔ جس انسٹرومنٹ کا آخری مشاہدہ ہی زمینی حقیقت ہو، اس پر یہ مستقبل کی معلومات دیکھنے والی مشین ہے۔ اب ہم assert کرتے ہیں کہ ہر fill صرف آگے کی سمت ہو، اور سیٹلمنٹ قطار پر ٹیگ ہو تاکہ اسے کسی بھی feature کے حساب میں شامل نہ کیا جائے۔ وہ assert 9 سطروں کا ہے اور پورے ہفتے میں لکھا گیا ہمارا سب سے قیمتی کوڈ ہے۔

دن 5–6: 1,412 مارکیٹس، تقریباً 180 شرطیں

پیش گوئی کی مارکیٹس میں نمونے کا حجم دوستانہ چہرے والا پھندا ہے۔ آپ 1,412 مارکیٹس حل کرتے ہیں، یوں لگتا ہے جیسے 1,412 مشاہدے ہوں، اور اسی حساب سے t-stat نکالتے ہیں۔ مگر ایک ہی اتوار کو کھیلے گئے NFL کے 14 میچ ایک ہی موسمی نظام، چوٹوں کی رپورٹ کے اجرا، اور شرط لگانے والوں کے مشترکہ بہاؤ سے جڑے ہوتے ہیں۔ ریاستی سطح کے 51 انتخابی مارکیٹس ایک ہی قومی جھکاؤ سے جڑی ہیں۔ "کیا X، 31 مارچ تک ہو جائے گا" اور "کیا X، 30 جون تک ہو جائے گا" ایک ہی شرط ہیں، بس میعاد مختلف ہے، اور یہ ایک ساتھ حل ہوتی ہیں۔

ہم نے مارکیٹس کو بنیادی ایونٹ ماخذ اور حل ہونے کی تاریخ کے لحاظ سے کلسٹر کیا اور مؤثر آزاد تعداد تقریباً 180 نکلی۔ جن اثرات کے حجم ہم دیکھ رہے تھے، ان میں حقیقی برتری کو شور سے الگ کرنے کے لیے یہ کافی نہیں، اور فی مارکیٹ بوٹسٹریپنگ کی کوئی مقدار مسئلہ حل نہیں کرتی، کیونکہ بوٹسٹریپ میں قطاروں کے بجائے کلسٹرز کے نمونے لینے ہوتے ہیں۔ یہ غلط کرنے سے آپ کی شماریاتی اہمیت خاموشی سے 2 یا 3 گنا بڑھ جاتی ہے۔

دن 7: حل ہونے کا عمل بھی ایک امکانی تقسیم ہے

جن چیزوں کا ہم نے بالکل ماڈل نہیں بنایا تھا، اور جن کا سختی سے پتا چلا:

• جلد حل ہونا۔ "31 دسمبر تک" والی مارکیٹ 4 اگست کو حل ہو سکتی ہے، اگر واقعہ اسی دن پیش آ جائے۔ آپ کا سرمایہ جلد واپس آ جاتا ہے اور آپ کی ہولڈنگ مدت وہ کبھی تھی ہی نہیں جو کنٹریکٹ کے نام سے ظاہر ہوتی تھی۔
• تنازعات۔ اوریکل کے ذریعے حل ہونے والی مارکیٹس میں اعتراض کی مہلت ہوتی ہے۔ کسی ایونٹ کے بعد بھی پوزیشن کئی دن معلق رہ سکتی ہے، اور چند معاملات میں نتیجہ وہی نہیں رہتا جو بظاہر صاف لگ رہا تھا۔
• منسوخیاں۔ مبہم ماخذی ڈیٹا پر مارکیٹ منسوخ اور سب کو رقم واپس ہو جاتی ہے۔ ہمارے نمونے میں ایسی مارکیٹس 1% سے کم ہیں، مگر یہ عین ان مبہم سوالات میں کلسٹر ہوتی ہیں جنہیں ماڈل غلط قیمت والا سمجھتا ہے۔
• سرمائے کا بند رہنا۔ 90 دن میں حاصل ہونے والی 3 پوائنٹ کی برتری اور 6 گھنٹے میں حاصل ہونے والی 3 پوائنٹ کی برتری کا موازنہ نہیں کیا جا سکتا، اور جو بیک ٹیسٹ سرمائے کے وقت کو مخرج بنائے بغیر کل برتری بتاتا ہے، وہ ہمیشہ سست رفتار والی کو ترجیح دے گا۔

ہم نے سمیولیٹر میں ہولڈنگ لاگت کی ایک اصطلاح اور حل ہونے کی تاریخ میں بے قاعدگی شامل کی۔ دونوں میں سے کوئی بھی بالکل درست نہیں۔ مگر یہ اس ضمنی مفروضے سے بہتر ہیں کہ مارکیٹ یقینی طور پر عین بتائی گئی تاریخ پر حل ہو گی۔

دن 8: ہم کون سی چیز چھوڑتے، اور پہلے کیا کرتے

1. ریٹرنز پر مبنی ڈھانچا سرے سے ہی چھوڑ دیں۔ آخری ادائیگی والے انسٹرومنٹ کے لیے وولیٹیلیٹی ٹارگٹنگ والی رسک لیئر کو ڈھالنے کی کوشش نہ کریں۔ ایسی شرط کے حجم کا نظام لکھیں جو امکان اور داؤ کی زبان بولتا ہو۔ پرانے نظام کو فِٹ کرنے کی کوشش میں ہمارے 2 دن ضائع ہوئے۔
2. حکمتِ عملی سے پہلے فیس فنکشن بنائیں۔ ہر اس وینیو کے لیے لاگت پوری کرنے کی برتری کا منحنی خاکہ نکالیں جہاں آپ ٹریڈ کرنا چاہتے ہیں، اور اسے ڈیسک کے اوپر آویزاں کریں۔ اس سے تقریباً آدھے آئیڈیاز بیک ٹیسٹ چلانے کی لاگت آنے سے پہلے ہی ختم ہو جاتے ہیں۔
3. پہلے دن سے بک کو قدم بہ قدم کھنگالیں۔ مسلسل مارکیٹ سے درآمد کیا گیا کوئی بھی پیرامیٹرک امپیکٹ ماڈل اس طرح غلط ہو گا کہ آپ کے حق میں نتیجہ دے گا۔
4. گننے سے پہلے کلسٹر کریں۔ مؤثر نمونے کے حجم کے لیے کلسٹرنگ کی کلید کا فیصلہ اسی وقت کریں جب یونیورس طے کرتے ہیں، اس کے بعد نہیں جب آپ کو پسند آنے والا Sharpe مل جائے۔
5. fill کی سمت پر assert لگائیں۔ ہر جوڑ پر ایک سطر۔ اگر سلسلہ زمینی حقیقت پر ختم ہو تو بیک فل کو ایسا بگ سمجھیں جو لازماً موجود ہے، نہ کہ ایسی چیز جس کا جائزے میں پتا چل جائے گا۔

یہ 8 دن کام کے تھے، زیادہ تر اس لیے کہ پیش گوئی کی مارکیٹس وہ ابہام ختم کر دیتی ہیں جس کے باعث کرپٹو کے بیک ٹیسٹ سے خود کو دھوکا دینا اتنا آسان ہوتا ہے۔ نہ فنڈنگ ریٹ کو ٹالنے کے لیے ہاتھ ہلانے کی ضرورت، نہ مارک پرائس کے اصول پر بحث۔ بس ایک سوال، ایک آخری تاریخ اور ایک جواب۔ یہاں بیک ٹیسٹ غلط ہو تو اس غلطی کی نشاندہی کی جا سکتی ہے۔