ما الذي يختل عند إجراء اختبار رجعي لأسواق التنبؤ: يوميات على مدى ثمانية أيام

تبدو أسواق التنبؤ أسهل شيء في العالم لإجراء اختبار رجعي عليها. السعر بين [0, 1]. والعائد دولار أو لا شيء. لا رافعة مالية، ولا تمويل، ولا أساس سعري، ولا غرابة عقود المبادلة الدائمة عند 00:00 UTC. كان لدينا بالفعل اختبار رجعي يتعامل مع العقود الدائمة للعملات المشفرة، بما فيها الرسوم والتمويل والأثر السعري، وكانت الخطة أن نمضي يومين في تكييفه ثم نبدأ بتوليد الاستراتيجيات.

استغرق الأمر ثمانية أيام. إليكم السجل، بترتيب تقريبي، بما في ذلك اليوم الذي بدا فيه منحنى رأس المال مذهلًا — وكان كذلك فعلًا.

اليوم 1: المُحوّل الذي كان يفترض أن يكون بسيطًا

كان الربط الأولي مباشرًا واحدًا بواحد، وبدا أنيقًا. السوق أداة مالية. سعر YES هو السعر. شراء YES يعني مركزًا طويلًا، وشراء NO يعني مركزًا قصيرًا. والتسوية إغلاق إجباري عند 1.00 أو 0.00. نمرّر سلسلة الأسعار بالساعة إلى حلقة الأحداث نفسها، وانتهى الأمر.

صمد هذا الربط نحو تسعين دقيقة من التعامل مع بيانات حقيقية. أول ما انهار كان سلسلة العوائد. طبقة المخاطر بأكملها — تحديد حجم المركز، واستهداف التقلب، وتقارير Sharpe — افترضت عوائد لوغاريتمية لأداة مالية مستمرة. السوق الذي ينخفض من 0.04 إلى 0.00 له عائد لوغاريتمي غير معرّف، لكنه يعني خسارة كاملة معرّفة. والسوق عند 0.04 قبل ثلاثة أيام من التسوية كيان مختلف تمامًا عن سوق عند 0.04 قبل أربع دقائق منها، مع أن كلا الصفّين يقول 0.04.

انتهى بنا الأمر إلى إعادة تمثيل السلسلة كلها بحسب الوقت المتبقي حتى التسوية بدلًا من ساعة الحائط، والتعامل مع الربح والخسارة بوصفهما نهائيين بدلًا من تقييمهما على أساس السعر الحالي. كان ذلك القرار الصائب، لكنه أبطل كل شيفرات التقارير اللاحقة.

اليوم 2: صيغة الرسوم هي الاستراتيجية

في Kalshi، لا تُحسب رسوم التداول كخصم بنقاط الأساس. إنها تربيعية بالنسبة إلى السعر: نحو 0.07 × contracts × P × (1−P)، مع التقريب إلى أعلى سنت على مستوى الأمر. وهذا يعني أن الرسوم تبلغ ذروتها بالضبط عندما يكون سوق رمية العملة مثيرًا للاهتمام، وتكاد تكون مجانية عند الأطراف.

اقرؤوا العمود الثالث باعتباره الأهم: لكي تحقق التعادل عند شراء عقد بسعر 50¢ والاحتفاظ به حتى التسوية، يجب أن يتجاوز تقديركم للاحتمال تقدير السوق بمقدار 1.75 نقطة. لا 1.75% نسبيًا، بل 1.75 نقطة مطلقة. وإذا خرجتم قبل التسوية بدلًا من الاحتفاظ بالعقد، تدفعون الرسوم مرتين، إضافة إلى فارق السعر.

تاريخيًا، فرض دفتر الأوامر المركزي CLOB لدى Polymarket هيكل رسوم مختلفًا تمامًا، أقرب إلى الصفر على الصفقة نفسها، ما ينقل التكلفة كلها إلى فارق السعر وعمق السوق. لذلك تختلف اقتصاديات منطق الاستراتيجية نفسه اختلافًا جذريًا باختلاف المنصة، وأي مقارنة بين المنصات تستخدم نموذج رسوم واحدًا هي محض خيال. نعتمد الآن دالة رسوم خاصة بكل منصة بدلًا من قيمة ثابتة.

اليوم 3: دفتر الأوامر درجات، وعمقه ضحل

كان نموذج الأثر السعري لدينا دالة جذر تربيعي معايرة على دفاتر أوامر العقود الدائمة لـBTC. وهذا الشكل غير مناسب. فمع خطوة سعرية قدرها 1¢ لأداة قيمتها $1، لا يوجد سوى 99 مستوى سعريًا ممكنًا في دفتر الأوامر كله، وقد لا يضم سوق متوسط السيولة سوى بضع مئات من العقود المعروضة عند المستوى الأعلى، ثم فجوة.

إليكم لقطة من سوق بيانات اقتصادية كنا نأخذ عينات منه، في جانب YES، قبل التسوية بنحو 30 ساعة:

أمر شراء من 1,000 عقد — مخاطرة بقيمة خمسمئة دولار، لا تكاد تُذكر في عالم العملات المشفرة — يحرّك السعر الفعلي أربعة سنتات. أربعة سنتات أكثر من ضعف الرسوم. لا توجد هنا دالة سلسة يمكن ملاءمتها؛ عليك اجتياز مستويات دفتر الأوامر واحدًا تلو الآخر، وإلا فأنت تختلق الأرقام. حذفنا نموذج الجذر التربيعي لهذه الفئة من الأصول وكتبنا أداة حرفية لاجتياز دفتر الأوامر؛ أبطأ، لكنها صحيحة.

في وقت ما خلال ذلك، لاحظت أنني منزعج من أن هذه الأسواق «أصغر من أن تهم». إنها صغيرة لأن الشيء المسعّر سؤال واحد عن العالم الحقيقي له موعد نهائي، ولأن عدد من لديهم رأي بشأن مطالبات إعانة البطالة الأولية في الولايات المتحدة يوم أربعاء محدود. الحجم هو السوق. والتذمر من ذلك أشبه بالتذمر من أن طاولة البوكر لا تتسع إلا لتسعة لاعبين.

اليوم 4: اليوم الذي بدا فيه منحنى رأس المال رائعًا

قيمة Sharpe تبلغ 4.1 على 1,400 سوق. سلسة. ينبغي أن تنقبض معدة كل باحث عند رؤية ذلك، وهذا ما حدث لي في النهاية، بعد نحو أربعين دقيقة من التقاط صورة للشاشة.

كان الخلل في أداة إعادة أخذ العينات. يعود سجل الأسعار للأسواق ضعيفة السيولة بطوابع زمنية غير منتظمة، لذا أعدنا فهرسته على شبكة موحدة بفواصل ساعة. كانت النقطة الأخيرة في كل سلسلة مؤرشفة هي قيمة التسوية، 1.00 أو 0.00. استخدمت إعادة الفهرسة لدينا تعبئة بأقرب جار بلا قيد على اتجاهها، لذا انتشرت قيمة التسوية إلى الخلف عبر الفجوة في أي سوق حدثت فيه آخر صفقة قبل التسوية بساعات. وهكذا كان النموذج يقرأ جواب الغد في صف اليوم، تحديدًا في الأسواق ضعيفة السيولة التي كان بوسعه بناء مراكز كبيرة فيها دون الاصطدام بحدود العمق.

التعبئة بأقرب جار مناسبة لأداة مالية مستمرة. أما الأداة التي تمثل ملاحظتها الأخيرة الحقيقة الفعلية، فتحولها إلى آلة تستشرف المستقبل. أضفنا الآن تأكيدًا يضمن أن كل تعبئة تسير إلى الأمام فقط، وأن صف التسوية موسوم ومستبعد من أي حساب للسمات. لا يتجاوز ذلك التأكيد تسعة أسطر، وهو أثمن ما كتبناه من شيفرات طوال الأسبوع.

اليومان 5–6: 1,412 سوقًا، ونحو 180 رهانًا

حجم العينة في أسواق التنبؤ فخ بوجه وديع. تسوّون 1,412 سوقًا، فتشعرون أن لديكم 1,412 مشاهدة، وتحسبون إحصائية t على هذا الأساس. لكن 14 مباراة NFL في الأحد نفسه تتشارك حالة الطقس، ونشر تقارير الإصابات، وتدفقات المراهنين. كما تتشارك 51 سوقًا انتخابيًا على مستوى الولايات تحولًا وطنيًا واحدًا. وسوق «هل سيحدث X بحلول 31 مارس» وسوق «هل سيحدث X بحلول 30 يونيو» هما الرهان نفسه مع تاريخي انتهاء مختلفين، ويتسويان معًا.

جمّعنا الأسواق بحسب مصدر الحدث الأساسي وتاريخ التسوية، فوجدنا أن العدد الفعلي للمشاهدات المستقلة يقارب 180. لا يكفي ذلك لتمييز هامش حقيقي من الضجيج بأحجام الأثر التي كنا ندرسها، ولا يصلح أي قدر من إعادة أخذ العينات لكل سوق على حدة المشكلة، لأن إعادة أخذ العينات يجب أن تكون على مستوى المجموعات لا الصفوف. والخطأ في ذلك يضخّم دلالة النتائج إلى الضعف أو ثلاثة أضعاف، من دون أن يلفت الانتباه.

اليوم 7: التسوية نفسها لها توزيع احتمالي أيضًا

أمور لم نمذجها إطلاقًا، واكتشفناها بالطريقة الصعبة:

• التسوية المبكرة. قد تتم تسوية سوق «بحلول 31 ديسمبر» في 4 أغسطس عندما يقع الحدث فعلًا. يعود رأس مالكم أبكر، ولم تكن فترة الاحتفاظ التي أوحى بها اسم العقد هي الفترة الفعلية.
• النزاعات. للأسواق التي تسويها الأوراكل فترة للاعتراض. قد يبقى المركز معلّقًا لأيام بعد الحدث، وفي عدد قليل من الحالات تنقلب النتيجة عن القراءة الواضحة.
• الإلغاء. تؤدي بيانات المصدر الملتبسة إلى إلغاء السوق وردّ أموال الجميع. تقل نسبتها في عينتنا عن 1% من الأسواق، لكنها تتركز في الأسئلة الملتبسة نفسها التي يجد النموذج أنها مسعّرة بأقل من قيمتها.
• تجميد رأس المال. لا يمكن مقارنة هامش قدره 3 نقاط يتحقق على مدى 90 يومًا بهامش قدره 3 نقاط يتحقق خلال 6 ساعات، والاختبار الرجعي الذي يعرض الهامش الكلي من دون مقام يعبّر عن الزمن ورأس المال سيُفضّل دائمًا الاستثمار الأبطأ.

أضفنا إلى المحاكي بندًا لتكلفة الاحتفاظ بالمركز، وعشوائية في تاريخ التسوية. لا يتمتع أي منهما بدقة عالية، لكن كليهما أفضل من الافتراض الضمني بأن التسوية تحدث يقينًا في التاريخ المحدد تمامًا.

اليوم 8: ما الذي سنتجاوزه، وما الذي سنبدأ به

1. تجاوزوا البنية القائمة على العوائد بالكامل. لا تكيّفوا طبقة مخاطر تستهدف التقلب مع أداة عائدها نهائي. اكتبوا طبقة لتحديد حجم الرهان تتعامل مع الاحتمال والمبلغ. أضعنا يومين في محاولة جعل الطبقة القديمة ملائمة.
2. ابنوا دالة الرسوم قبل الاستراتيجية. اطبعوا منحنى هامش التعادل لكل منصة تنوون التداول عليها، وعلّقوه فوق مكتب التداول. فهو يستبعد نحو نصف الأفكار قبل أن تكلّفكم تشغيل اختبار رجعي.
3. اجتازوا دفتر الأوامر منذ اليوم الأول. أي نموذج معلمي للأثر السعري يُنقل من سوق مستمر سيكون خاطئًا بطريقة تصب في مصلحتكم.
4. اجمعوا الأسواق قبل أن تحصوها. حددوا مفتاح التجميع لحجم العينة الفعّال بالتزامن مع تحديد مجموعة الأسواق، لا بعد الحصول على قيمة Sharpe تعجبكم.
5. تحققوا من اتجاه التعبئة. سطر واحد لكل عملية ضم. إذا انتهت السلسلة بالحقيقة الفعلية، فاعتبروا التعبئة إلى الخلف خللًا بحكم التصميم، بدلًا من انتظار ملاحظته أثناء المراجعة.

كانت الأيام الثمانية تستحق العناء، ويرجع ذلك في معظمه إلى أن أسواق التنبؤ تزيل الغموض الذي يجعل من السهل خداع أنفسنا باختبارات العملات المشفرة الرجعية. لا معدل تمويل يمكن التذرع به، ولا نقاش حول أعراف سعر العلامة. مجرد سؤال وموعد نهائي وجواب. عندما يخطئ الاختبار الرجعي هنا، يكون خطؤه واضحًا ويمكن الإشارة إليه.