ألف نسخة من استراتيجية. نسبة شارب مقاسة قدرها 2.0 للاستراتيجية الفائزة. ومعدل إيجابيات كاذبة يبلغ 5%. تبدو هذه الأرقام نتيجة قوية إلى أن تسأل عن عدد المحاولات التي استغرقتها للعثور عليها. فمع محاولات كافية، قد ينتج اختبار تاريخي مقنع من الضوضاء وحدها.
العدد المفاجئ ليس نسبة شارب، بل عدد التجارب. فكل نافذة لمؤشر، وعتبة دخول، واختيار لمجموعة الأصول، وفكرة مستبعدة، تمثل فرصة أخرى لانتقاء نتيجة محظوظة. وإذا أغفلت عملية البحث تلك المحاولات، فسيغفل حساب الثقة لديك عنها أيضًا.
لماذا يجعل اختبار استراتيجيات أكثر الاستراتيجية الفائزة تبدو أفضل؟
تخيّل اختبار 1,000 استراتيجية لا تتمتع بأي ميزة حقيقية. لكل منها احتمال 5% أن تبدو ذات دلالة إحصائية وفق اختبار تقليدي. هذه التجارب ليست مستقلة تمامًا في الأبحاث الفعلية، لكن الفكرة الأساسية تظل صحيحة: كلما زاد عدد الخيارات التي تفحصها، زاد احتمال أن تبدو إحداها استثنائية بمحض الصدفة.
حتى لو كان كل خيار مستقلًا، فإن احتمال تجاوز خيار واحد على الأقل عتبة 5% يبلغ نحو 99.4%. عمليًا، غالبًا ما تتصرف إعدادات المعلمات المتقاربة على نحو متشابه، لذا فإن 1,000 نسخة لا تعادل 1,000 رمية عملة مستقلة. لكن العدد الفعلي للمحاولات نادرًا ما يكون واحدًا أيضًا.
إليك فخًا صغيرًا رأيته في دفاتر الملاحظات: يختبر أحد الباحثين فترات رجوع من 5 إلى 100، ويرسم سطح نسبة شارب، ثم يعرض القمة التي تبدو نظيفة. يفيد السطح في فهم الحساسية. لكن القمة هي أيضًا نتاج عملية بحث، وينبغي أن تحظى بتقدير أقل من عتبة حُددت قبل التجربة.
ما الذي يُحتسب تجربة بحثية؟
أحصِ القرارات التي تأثرت بالنتائج المرصودة. قد تكون التجربة اختبارًا تاريخيًا مبرمجًا، لكنها قد تكون أيضًا تعديلًا يدويًا أُجري بعد الاطلاع على منحنى الأسهم. إذا وسّعت حد وقف الخسارة لأن الإعداد السابق فوّت موجة صعود، فقد استخدم هذا التعديل معلومات من فترة الاختبار.
| إجراء البحث | هل يُحتسب عادةً تجربة؟ | السبب |
|---|---|---|
| اختبار عتبة إشارة أخرى | نعم | تساعد النتيجة في اختيار مرشح |
| تغيير النطاق الزمني بعد ملاحظة تراجع | نعم | اختيرت العينة استجابةً للأداء |
| إصلاح خطأ موثق في البيانات | عادةً لا | يعيد التغيير التجربة إلى صورتها المقصودة |
| تشغيل الاستراتيجية المجمدة نفسها على فترة اختبار احتياطية جديدة | لا تُعد تجربة اختيار جديدة حتى الآن | تصبح تجربة إذا ضبطت الاستراتيجية بناءً على تلك النتيجة |
يتطلب تحديد هذا الحد بعض التقدير. فإصلاح خطأ مطبعي يختلف عن تغيير ميزة بعد ملاحظة موضع إخفاقها. احتفظ بسجل موجز للتجارب يتضمن الفرضية والتغيير والفترة الزمنية للبيانات والنتيجة. لا يلزم أن يكون السجل أنيقًا؛ فملف CSV مؤرخ أفضل من محاولة استعادة تفاصيل بحثك من الذاكرة بعد 3 أشهر.
هل يمكنني تصحيح نسبة شارب لمراعاة الاختبارات المتعددة؟
تقدّر أساليب مثل نسبة شارب المنقّحة مقدار الأداء الظاهري الذي قد ينشأ عن الاختيار من بين مرشحين كثيرين، مع مراعاة عوامل مثل توزيع العوائد والاعتماد بين التجارب. وهي أدوات تشخيص مفيدة، وليست آلة تحوّل عملية بحث فوضوية إلى يقين. تعتمد نتائجها على الافتراضات وعلى مدى موثوقية عدد تجاربك.
للحصول على تصور تقريبي، افترض أن باحثًا اختبر 400 نسخة، ووجد نسبة شارب قدرها 1.8، وقدّر أن عوائده تتسم بالتواء كبير وذيول سميكة. ينبغي أن يواجه هذا الناتج عتبة أصعب من نسبة شارب قدرها 1.8 نتجت عن اختبار واحد مسجّل مسبقًا. قد يضعف التصحيح الأدلة بدرجة كبيرة، لكنه لا يستطيع أن يخبرك بأن الميزة حقيقية.
سجّل عملية البحث قبل أن تحتاج إلى الدفاع عنها: عدد الخيارات المرشحة، ونطاقات المعلمات، والفترات الزمنية للبيانات التي اطلعت عليها، وأي تعديلات يدوية. إذا لم تكن هذه التفاصيل معروفة، فصِف الاختبار التاريخي بأنه استكشافي.
ما الذي ينبغي فعله قبل التداول الورقي؟
جمّد خيارًا مرشحًا واحدًا وحدد التقييم التالي قبل تشغيله. ومن التسلسلات المفيدة اختيار الاستراتيجية باستخدام بيانات التدريب، وفحصها على بيانات التحقق، ثم تخصيص فترة نهائية أو نافذة تداول ورقي لا تؤثر نتائجها في التصميم. تجيب كل مرحلة عن سؤال مختلف؛ أما تعديل الاستراتيجية مرارًا في المرحلة النهائية فيحوّلها إلى بيانات تدريب إضافية.
افحص أيضًا ما إذا كانت الإعدادات القريبة تروي القصة نفسها. فعادةً ما تكون مساحة واسعة من النتائج الإيجابية بدرجة متواضعة أكثر مصداقية من قمة حادة منفردة، وإن كانت المتانة لا تعالج عيوب نموذج التنفيذ. فلا تزال الرسوم والتمويل وتأثير السوق وتوافر الأدوات بحاجة إلى أن تطابق ما كان يمكن أن تواجهه الاستراتيجية فعليًا.
يضيف التداول الورقي أدلةً على التكافؤ التشغيلي: التوقيت، والتعامل مع الأوامر، وما إذا كان مسار البحث الحي يعمل كما هو متوقع. لكنه لا يمحو أثر الاختيار الذي حدث بالفعل. تظل ألف نتيجة اختبار تاريخي محظوظة ألف محاولة حين يُرسل أول أمر ورقي.
لذا، عندما يعرض اختبار تاريخي نسبة شارب قدرها 2، اطلب سجل البحث إلى جانب منحنى الأسهم. كم فكرة جُرّبت؟ وأي النتائج غيّرت التجربة التالية؟ قد تكون الإجابة أهم إحصائية في التقرير.
→ جميع المقالات
