جرّبت استراتيجيتك 240 مرة. فكم اختبارًا رجعيًا أجريت فعلًا؟

اختبرنا 240 مجموعة من المعلمات. أظهرت الأفضل نسبة Sharpe قدرها 2.1، وكان الوسيط 0.1، ولم تتجاوز 1.0 سوى 17 مجموعة. تبدو هذه الأرقام كأنها اكتشاف، إلى أن تعرف أن بحثًا بهذا الاتساع قد ينتج فائزًا مبهِرًا بالمصادفة، حتى عندما لا تملك أي استراتيجية أفضلية حقيقية.

العدد المفاجئ هو 240. عادةً ما يتعامل تقرير الاختبار الرجعي مع الاستراتيجية المختارة كما لو أنها ظهرت وحدها. لكن الأبحاث لا تجري بهذه الطريقة. فكل تعديل للمعلمات، أو استبدال لميزة، أو تغيير لمجموعة الأصول، أو إعادة تشغيل بعد نتيجة سيئة، يمنح الضوضاء فرصة أخرى لتبدو كأنها إشارة.

لماذا تؤدي تجربة مزيد من الاستراتيجيات إلى تضخيم أعلى قيمة Sharpe؟

تخيّل 240 استراتيجية مستقلة بلا أفضلية حقيقية، مع قيم Sharpe تقديرية مشوشة. تقترب معظم التقديرات من الصفر، لكن القيمة القصوى تميل إلى أن تكون موجبة. وكلما زاد عدد المرشحين الذين تفحصهم، أمكن لتلك القيمة القصوى أن تبتعد أكثر عن الحقيقة.

وللتوضيح التقريبي، لنفترض أن الخطأ المعياري لقيمة Sharpe التقديرية لكل مرشح هو 0.5. من بين 240 سحبًا مستقلًا، قد تصل أعلى قيمة تقديرية إلى نحو 1.4 من الأخطاء المعيارية فوق المتوسط، أي إلى Sharpe تقارب 0.7، بسبب الاختيار وحده. المرشحون لاستراتيجيات واقعية مترابطون، لذا فهذا الحساب ليس تصحيحًا يمكنك إدراجه مباشرةً في تقرير. لكنه يوضح لماذا لا يشكل «الفائز تفوق على الصفر» دليلًا قويًا بعد بحث واسع.

ونادرًا ما يقتصر البحث على شبكة المعلمات. ربما جرّبت 3 عائلات من الإشارات، واستبعدت اثنتين بعد رؤية منحنياتهما، وغيرت مجموعة الأصول المتداولة، ثم أعدت تشغيل الاستراتيجية التي أبقيتها مع جدول مختلف لإعادة الموازنة. إذا أثّر الأداء في هذه الخيارات، فينبغي أن تُسجّل ضمن تاريخ البحث.

ما الذي يُحتسب تجربة اختبار رجعي؟

احتسب القرار تجربةً إذا كان من الممكن أن تؤثر نتيجته في اختيارك للاستراتيجية. ويشمل ذلك عمليات التشغيل التي لم تنشرها والنسخ التي أوقفتها مبكرًا لأن منحنى رأس المال بدا سيئًا. أما فشل الترجمة البرمجية فلا يُعد تجربة أداء؛ لكن التشغيل الذي أظهر قيمة Sharpe مخيبة للآمال يُحتسب عادةً.

الفاصل هو ما إذا كنت قد استخدمت نتيجةً لاتخاذ قرار. وقد يصعب استعادة ذلك من الذاكرة، لذا ينبغي لسجل التجارب أن يوثق الفرضية، وإصدار الشيفرة أو الإعدادات، والفترة الزمنية للبيانات، وافتراضات التكاليف، والنتيجة لكل عملية تشغيل.

هل يمكنني تصحيح أثر الاختبارات المتعددة؟

توجد طرق لتقدير تحيز الاختيار أو تعديل الدلالة الإحصائية عند إجراء تجارب كثيرة. وقد تكون مفيدة، لكنها تعتمد على افتراضات بشأن ترابط المرشحين وسلوك العوائد. ولا يمكن لقيمة p اسمية أو لتقدير واحد لقيمة Sharpe بعد إزالة التضخيم أن ينقذ بحثًا ضاع تاريخه الحقيقي.

ابدأ بما يمكنك التحكم فيه. ثبّت مواصفات نهائية قبل تقييم فترة لم تُفحص فعلًا. وأبقِ مجموعة المرشحين كاملةً ظاهرة. وعند اختبار كثير من النسخ المترابطة، اجمعها بحسب القرار الذي أفضى إليها، بدل التظاهر بأن كل نسخة اكتشاف مستقل. أبلغ عن البحث إلى جانب الاستراتيجية الفائزة: عدد التجارب، وقاعدة الاختيار، وما إذا كان التقييم النهائي قد أدى إلى تعديلات أخرى.

ما الذي ينبغي لوكيل أبحاث يعمل بالذكاء الاصطناعي أن يسجّله؟

يمكن للوكيل توليد المرشحين أسرع مما يستطيع الشخص الاحتفاظ بهم في ذاكرته العاملة. لذلك يصبح إحصاء التجارب جزءًا من نظام البحث، لا مجرد عمل لإعداد التقارير. خزّن كل مرشح قبل تشغيله، بما في ذلك التجربة الأصلية التي انبثق منها وسبب وجوده. واحتفظ بعمليات التشغيل الفاشلة والمستبعدة. وسجّل متى راجع إنسان أو وكيل الأداء، وما القرار الذي أعقب ذلك.

ثم اجعل عملية الاختيار قابلة لإعادة الإنتاج: باستخدام مجموعة المرشحين والقاعدة نفسيهما، ينبغي أن تختار الفائز نفسه. وإذا واصل الوكيل تغيير الموجّه أو الهدف أو القيود بعد رؤية النتائج، فتلك التغييرات جزء من البحث أيضًا.

قد تستحق قيمة Sharpe البالغة 2.1 مزيدًا من البحث. ويتوقف معناها على المسار الذي أنتجها. عندما يوضح سجل البحث أن 240 مرشحًا تنافسوا على صدارة النتائج، يمكنك طرح السؤال التالي المناسب: ما الدليل الذي بقي ولم تستهلكه أي من تلك الخيارات بعد؟