قد يكون الاختبار التاريخي لديك قابلًا لإعادة الإنتاج أكثر من اللازم

قد يكون الاختبار التاريخي القابل لإعادة الإنتاج تمامًا أقل جدارة بالثقة من اختبار تتغير نتيجته قليلًا. فتكرار النتيجة يثبت قدرتك على الحصول على الإجابة نفسها مرتين؛ لكنه لا يقول شيئًا عن اعتمادها على لقطة بيانات اعتباطية واحدة، أو خلل في مكتبة، أو إعداد افتراضي خفي.

قد يبدو هذا اعتراضًا على قابلية إعادة الإنتاج، لكنه ليس كذلك. ثبّت إعدادات التشغيل حتى تتمكن من تفسيره. ثم غيّر عمدًا الافتراضات التي لا يُفترض أن تحسم النتيجة. فالخطوة الأولى تجعل النتيجة قابلة للتدقيق، والثانية تكشف إن كان لها معنى أصلًا.

ما الذي يثبته الاختبار التاريخي القابل لإعادة الإنتاج فعلًا؟

إذا أنتجت الشيفرة والبيانات والإعدادات والبذرة العشوائية نفسها الصفقات والمقاييس نفسها، فقد ضبطت مصدرًا مهمًا للالتباس. يمكنك مقارنة «تحسين» الوكيل بتشغيله السابق. ويمكنك فصل إصلاح الخلل عن تغيير جدول الرسوم. كما يستطيع زميلك فحص دفتر الصفقات نفسه والعثور على عمليات التنفيذ نفسها.

لكن النتيجة تظل مشروطة بكل ما ثبّتَّه. لنأخذ استراتيجية عملات مشفرة يحتوي ملفها التاريخي على شموع بفواصل دقيقة واحدة. تحفظ تجزئة الملف، وتثبّت الشيفرة، وتحصل على Sharpe قدره 1.4 في كل إعادة تشغيل. إذا صحح مزود البيانات لاحقًا عدة شموع، فستظل قابلية إعادة الإنتاج هذه تصف الملف القديم. لكنها لا تخبرك إن كانت الإشارة تصمد أمام السجل المصحح، أو إن كانت تلك الشموع متاحة بهذه الصورة وقتها.

التجزئة مفيدة: فهي تكشف هذا الاعتماد. لكنها لا تثبت أن الاعتماد غير ضار.

ثبّت التشغيل؛ واختبر النتيجة

أفضل الفصل بين سؤالين: هل نستطيع إعادة بناء هذا التشغيل بعينه؟ وهل تصمد الخلاصة البحثية أمام تغييرات معقولة؟ يتطلب السؤال الأول سجلًا غير قابل للتغيير، أما الثاني فيتطلب تغييرات مضبوطة، واحدة في كل مرة.

على سبيل المثال، لنفترض أن إعادة تشغيل استراتيجية عقود آجلة أظهرت عائدًا فائضًا سنويًا قدره 8% في الحالة الأساسية. أعد تشغيلها مع زيادة تكاليف taker بنسبة 25%، ونقل التمويل إلى موعد التسوية المرصود التالي، واستبعاد أكبر مساهمين في العائد، كلًّا على حدة. هذه ليست ثلاث طرق لتحسين النموذج، بل اختبارات استقصائية: يسأل كل منها إن كان تفصيل معقول هو ما يحمل النتيجة اللافتة.

أبقِ كل اختبار منفصلًا. إذا غيّرت البيانات وجدول الرسوم وتوقيت التنفيذ معًا، فلن تمنحك النتيجة الأسوأ تشخيصًا واضحًا. وإذا كان الاختبار غير واقعي، فصنّفه اختبار ضغط بدلًا من عرضه كأنه النتيجة المرجحة.

لا تخلط بين التطابق الحرفي والحقيقة العددية

تتأثر بعض العمليات الحسابية بالترتيب. فالجمع بالفاصلة العائمة ليس تجميعيًا، لذا قد يؤدي جمع قيم P&L صغيرة كثيرة بترتيب مختلف إلى تغيير الأرقام الأخيرة. كما قد تؤثر عمليات الاختزال المتوازية والأجهزة وإصدارات المكتبات في الناتج الدقيق. غالبًا ما يكون ذلك غير ضار؛ لكن أحيانًا يقلب تغير عددي طفيف حدًا فاصلًا، فيغيّر مركزًا ويدفع بقية المحاكاة إلى مسار مختلف.

لذلك أحفظ الآثار الدقيقة وقواعد السماحية للمقارنة معًا. سجّل دفتر الصفقات، لا قيمة Sharpe النهائية وحدها. قارن القرارات والتدفقات النقدية أولًا، ثم قارن المقاييس ضمن هامش سماحية محدد. وإذا أدى فرق بقيمة سنت واحد إلى تغيير قرار إرسال أمر، فافحص ذلك الحد الفاصل تحديدًا.

متى يكون التغير ضوضاء، ومتى يصبح نتيجة بحد ذاته؟

ليس كل رقم يتغير مدعاة للقلق. فقد يترك الانحراف الطفيف في المقياس الناتج عن اختلاف ترتيب الاختزال الصفقات كما هي. أما تغير صفقة قرب حد فاصل فقد يستحق المراجعة. وإذا فقدت استراتيجية معظم عائدها حين يراجع مزود البيانات جزءًا صغيرًا من السجل، فقد تعلمت شيئًا عن هشاشتها، حتى لو ظل التشغيل الأصلي قابلًا لإعادة الإنتاج تمامًا.

محقّو منتقدي اختبارات المتانة في أمر واحد: من السهل مواصلة تغيير الافتراضات حتى تبدو استراتيجية مفضلة متينة، أو رفض نتيجة سليمة لأن سيناريو متطرفًا متعمدًا كسرها. حدّد مسبقًا التغييرات المعقولة، واعرض المجموعة كاملة، وميّز البدائل المعتادة من اختبارات الضغط. ثم احتفظ بالحالة الأساسية كي يتمكن باحث آخر من إعادة إنتاج ما رأيته بالضبط.

تمنحك قابلية إعادة الإنتاج نقطة انطلاق موثوقة. ويأتي بعدها السؤال المفيد: أي أجزاء من الإجابة تظل ثابتة حين يتغير العالم المحيط بذلك التشغيل بطرق معقولة التوقع؟