ما 240 مجموعه پارامتر را آزمودیم. بهترینشان نسبت Sharpe برابر با 2.1 داشت؛ میانه 0.1 بود؛ و فقط 17 مورد از 1.0 عبور کردند. این اعداد تا وقتی متوجه نشوید که حتی وقتی هیچ‌کدام از استراتژی‌ها مزیت واقعی ندارند، جست‌وجویی با این گستردگی می‌تواند برنده‌ای فریبنده بسازد، شبیه یک کشف به نظر می‌رسند.
عدد غافلگیرکننده 240 است. گزارش بک‌تست معمولاً طوری با استراتژی منتخب برخورد می‌کند که انگار به‌تنهایی پدیدار شده است. پژوهش این‌طور پیش نمی‌رود. هر تغییر پارامتر، جابه‌جایی ویژگی، تغییر مجموعه دارایی‌ها و اجرای دوباره پس از نتیجه‌ای ناخوشایند، فرصت دیگری به نویز می‌دهد تا خودش را سیگنال جا بزند.
چرا آزمودن استراتژی‌های بیشتر، Sharpe بهترین گزینه را بالا می‌برد؟
240 استراتژی مستقل را تصور کنید که هیچ‌کدام مزیت واقعی ندارند و Sharpe برآوردشده‌شان پرنوسان است. بیشتر برآوردها نزدیک صفر قرار می‌گیرند، اما بیشترین مقدار معمولاً مثبت است. هرچه گزینه‌های بیشتری را بررسی کنید، این بیشینه می‌تواند بیشتر از مقدار واقعی فاصله بگیرد.
برای یک مثال تقریبی، فرض کنید خطای استاندارد Sharpe برآوردشده هر گزینه 0.5 باشد. با 240 نمونه مستقل، بالاترین برآورد می‌تواند صرفاً بر اثر انتخاب، حدود 1.4 خطای استاندارد بالاتر از میانگین قرار بگیرد؛ یعنی تقریباً 0.7 واحد Sharpe. گزینه‌های واقعی استراتژی با هم هم‌بستگی دارند، پس این محاسبه اصلاحی نیست که بتوانید مستقیم در گزارش به کار ببرید. این مثال نشان می‌دهد چرا پس از جست‌وجویی گسترده، «برنده از صفر بهتر بود» شواهد ضعیفی است.
ضمن اینکه جست‌وجو به‌ندرت فقط به شبکه پارامترها محدود می‌شود. شاید سه خانواده سیگنال را آزموده باشید، پس از دیدن منحنی‌هایشان دو مورد را کنار گذاشته باشید، مجموعه دارایی‌های معاملاتی را تغییر داده باشید و بعد گزینه باقی‌مانده را با برنامه بازمتعادل‌سازی دیگری دوباره اجرا کرده باشید. اگر عملکرد بر این انتخاب‌ها اثر گذاشته، باید در سابقه پژوهش ثبت شوند.
چه چیزی یک آزمون بک‌تست به شمار می‌آید؟
هر تصمیمی را که نتیجه‌اش می‌توانسته بر انتخاب استراتژی اثر بگذارد، یک آزمون بشمارید. این شامل اجراهایی است که منتشر نکردید و نسخه‌هایی می‌شود که چون منحنی سرمایه‌شان بد به نظر می‌رسید، زود متوقف کردید. خطای کامپایل آزمون عملکرد نیست؛ اما اجرایی که Sharpe ناامیدکننده‌ای به دست داده، معمولاً هست.
| اقدام پژوهشی | معمولاً شمرده می‌شود؟ | دلیل |
|---|---|---|
| پس از بررسی نتایج، دوره نگاه‌به‌عقب را از 20 به 30 تغییر دهید | بله | نتیجه نخست در انتخاب گزینه بعدی اثر گذاشت |
| اجرای همان استراتژی ثابت در یک بازه تاریخی تازه که از پیش تعیین شده | معمولاً آزمون انتخابی تازه‌ای نیست | قاعده پیش از مشاهده آن شواهد تثبیت شده بود |
| تغییر مجموعه دارایی‌ها پس از دیدن اینکه کدام دارایی‌ها برنده شدند | بله | انتخاب مجموعه دارایی‌ها می‌تواند نتیجه ظاهری را بهتر کند |
| رفع خطای نحوی و اجرای دوباره کد بدون تغییر | خیر | هیچ انتخاب پژوهشی به عملکرد وابسته نبود |
معیار این است که آیا از نتیجه برای تصمیم‌گیری استفاده کرده‌اید یا نه. بازسازی این موضوع از روی حافظه دشوار است؛ به همین دلیل دفتر ثبت آزمایش‌ها باید برای هر اجرا، فرضیه، نسخه کد یا پیکربندی، بازه داده، فرض‌های هزینه و نتیجه را ثبت کند.
آیا می‌توانم آزمون چندگانه را اصلاح کنم؟
روش‌هایی وجود دارند که سوگیری انتخاب را برآورد می‌کنند یا معناداری را با توجه به تعداد زیاد آزمون‌ها تعدیل می‌کنند. این روش‌ها می‌توانند مفید باشند، اما به فرض‌هایی درباره رابطه میان گزینه‌ها و رفتار بازده نیاز دارند. مقدار p اسمی یا یک برآورد تعدیل‌شده Sharpe نمی‌تواند جست‌وجویی را نجات دهد که سابقه واقعی‌اش را از دست داده‌اید.
با بخش‌هایی شروع کنید که در کنترل شما هستند. پیش از ارزیابی یک دوره واقعاً دست‌نخورده، مشخصات نهایی را تثبیت کنید. مجموعه کامل گزینه‌ها را در معرض دید نگه دارید. هنگام آزمودن نسخه‌های مرتبط متعدد، آن‌ها را بر اساس تصمیمی که به ایجادشان انجامیده گروه‌بندی کنید؛ وانمود نکنید که هرکدام کشفی مستقل بوده‌اند. در کنار برنده، خود جست‌وجو را هم گزارش کنید: تعداد آزمون‌ها، قاعده انتخاب و اینکه آیا ارزیابی نهایی باعث ویرایش‌های بیشتر شد یا نه.
یک آزمون مفید: اگر نتیجه دوره کنارگذاشته‌شده ناامیدکننده باشد، آیا استراتژی را تغییر می‌دهید و دوباره همان دوره را دوره کنارگذاشته‌شده می‌نامید؟ اگر پاسخ بله است، آن دوره حالا بخشی از پژوهش شده است. برای ارزیابی بعدی به شواهد تازه نیاز دارید.
یک عامل پژوهشی AI چه چیزهایی را باید ثبت کند؟
یک عامل می‌تواند سریع‌تر از آنکه فرد بتواند همه گزینه‌ها را در حافظه فعالش نگه دارد، گزینه‌های تازه تولید کند. بنابراین ثبت آزمون‌ها بخشی از سامانه پژوهش است، نه کاری تشریفاتی برای گزارش‌دهی. هر گزینه را پیش از اجرا، همراه با آزمایش والد و دلیل ایجادش ثبت کنید. اجراهای ناموفق و کنارگذاشته‌شده را هم نگه دارید. ثبت کنید چه زمانی یک انسان یا عامل عملکرد را بررسی کرده و چه تصمیمی پس از آن گرفته شده است.
سپس فرایند انتخاب را بازتولیدپذیر کنید: با همان مجموعه گزینه‌ها و همان قاعده، باید همان برنده انتخاب شود. اگر عاملی پس از دیدن نتایج مدام اعلان، هدف یا محدودیت‌هایش را تغییر می‌دهد، آن تغییرات هم بخشی از جست‌وجو هستند.
Sharpe برابر با 2.1 شاید ارزش بررسی داشته باشد. معنای آن به مسیری بستگی دارد که به این نتیجه رسیده است. وقتی دفتر پژوهش نشان می‌دهد 240 گزینه برای عنوان برنده رقابت کرده‌اند، می‌توانید پرسش درست بعدی را بپرسید: چه شواهدی باقی مانده که هنوز با هیچ‌یک از آن انتخاب‌ها مصرف نشده باشد؟
← همهٔ مطالب
