يتمتع التحسين المتقدّم بسمعة كونه الطريقة النزيهة لضبط أي استراتيجية، وهي سمعة يستحقها — بالمقارنة مع التحسين على كامل البيانات ثم التأمل في النتيجة بإعجاب. لكن للتقنية أنماط فشل صامتة، وكلٌّ منها ينتج الأثر نفسه: تقرير تحقّق يقول "متينة" مدبَّسًا باستراتيجية ليست كذلك. إليك الثلاثة التي اضطررنا إلى التحصّن ضدها هندسيًا، مرتّبة بحسب الخراب الذي تخلّفه.
الفشل الأول: تسرّب النوافذ
الطريقة الخاطئة: تضبط على يناير–يونيو، وتتحقّق على يوليو، ثم تسمح لأي شيء من يوليو بأن يؤثّر في تمريرة ثانية — إعادة تشغيل بعد رؤية رقم خارج العيّنة، أو "تعديل بسيط" على شبكة المعاملات، أو خاصية جرت معايرتها على السلسلة كاملة. كلٌّ منها يبدو بريئًا. ومجتمعةً تحوّل نافذة خارج العيّنة إلى بيانات داخل العيّنة مع تأخير زمني.
الخراب: نسبة Sharpe خارج العيّنة تتعقّب — على نحو غامض — نسبة Sharpe داخل العيّنة. النتائج الحقيقية خارج العيّنة صاخبة ومخيّبة؛ وعلاقة IS/OOS سلسة بشكل مريب تعني أن المعلومات تتدفق إلى الوراء. نراقب هذه النسبة صراحةً — إذا تجاوزت داخل العيّنة 3 أضعاف خارج العيّنة رُفعت راية على التشغيلة، وإذا كانت خارج العيّنة صفرًا أو دونه فالتشغيلة تموت مهما بدت داخل العيّنة جميلة.
الفشل الثاني: التسوّق بين المقاييس عبر النوافذ
تشغّل ثلاث نوافذ متقدّمة، فتحصل على ثلاث نتائج صاخبة، ثم تلخّص: متوسط Sharpe؟ الوسيط؟ أم تُسقط أسوأ نافذة بحجّة "تغيّر النظام السوقي"؟ كل خيار من هذه درجةُ حرية، وأي مُحسِّن عنيد (بشريًا كان أم بيزيًا) سيعثر على التلخيص الذي تبدو فيه هذه الاستراتيجية في أبهى صورة. خمس وسبعون محاولة Optuna لكل نافذة تعني خمسًا وسبعين فرصة لتوفيق الضجيج، مضروبةً في عدد التلخيصات التي أنت مستعد للنظر فيها.
الخراب: استراتيجية تجتاز التحقّق ثم تسلّمك على الهواء أداء أسوأ نافذة، لأن أسوأ نافذة كانت الوحيدة الصادقة. قاعدتنا: يُثبَّت أسلوب التجميع في ملف الإعداد قبل التشغيل، وتُثبَّت ميزانية المحاولات، ويقرأ المحلّل النتائج نافذةً نافذة مع إظهار التشتّت. أي استراتيجية تحتاج إلى التلخيص الودود كي تنجح لا تنجح.
الفشل الثالث: عيّنة احتجاز لم تعد كذلك
عيّنة الاحتجاز تعمل مرة واحدة بالضبط. في المرة الثانية التي تُقيَّم فيها استراتيجية أمامها — بعد دفعة على معامل، أو تعديل على إشارة، أو "دعنا فقط نتحقق" — لم تعد عيّنة احتجاز؛ صارت مجموعة تحقّق بطيئة. خمسة عشر يومًا لم تُمسّ تبدو أمرًا تافهًا في الحفاظ عليه، إلى أن يحلّ ضغط التكرار ويصبح إعادة الفحص شعورًا لا ضرر فيه.
والخراب هنا خفيّ: نتائج احتجاز تتحسّن عبر تكرارات الاستراتيجية نفسها. لا سبب لدى بيانات خارج العيّنة الطازجة كي تكافئ التكرار الثالث على حساب الأول، وحين تفعل، فذلك يعني أن عيّنة الاحتجاز قد نُقِّبت. نحن نفرض مبدأ الطلقة الواحدة آليًا: تُقيَّم عيّنة الاحتجاز مرة واحدة لكل تشغيلة في خط الإنتاج، وتُكتب النتيجة في السجل، وأي استراتيجية تحتاج محاولة أخرى تعود عبر المضمار كاملًا — بنوافذ جديدة وكل ما يتبعها. ويجب أن تحتفظ بما لا يقل عن 70% من Sharpe خارج العيّنة في المرحلة المتقدّمة، ولا رمية ثانية لذلك النرد.
العلامة التي تنجو من الثلاثة جميعًا
قبل كل ذلك، نجري مسحًا بسيطًا للحساسية: ندفع كل معامل بمقدار ±20% ونراقب المقاييس. الأفضلية الحقيقية تتدهور بلطف؛ أما المصادفة فتسقط من فوق منحدر. إنه أرخص اختبار في خط الإنتاج، وهو ينقض استراتيجيات كانت ستُبحر عبر كل ما سبق — لأن منحدر المعامل هو الشكل الذي يبدو عليه الإفراط في التوفيق قبل أن تتيح له فرصة الاختباء داخل آلية التحقّق.
لا شيء من هذا يجعل التحسين آمنًا. لكنه يجعل أنماط الفشل صاخبة — وهذا أقصى ما يمكنك أن تطلبه بنزاهة من عملية تحقّق.
→ جميع المقالات