بک‌تست برای رد کردن یک استراتژی مناسب‌تر است تا انتخاب آن. همین که از عملکرد تاریخی برای انتخاب میان گونه‌های متعدد استفاده می‌کنید، بک‌تست بخشی از آزمایش می‌شود و برنده‌ای که ظاهراً بهترین است، هزینه‌ای پنهان به همراه می‌آورد: سوگیری انتخاب.
این حرف برعکس به نظر می‌رسد. بک‌تست می‌گیریم چون می‌خواهیم بدانیم کدام استراتژی جواب می‌دهد. اما هر انتخابی که با راهنمایی همان داده‌های تاریخی انجام می‌دهیم، بخشی از شواهد آن‌ها را مصرف می‌کند. پس از دیدن نتایج، دوره بازنگری، آستانه، مجموعه دارایی‌ها، روز بازتنظیم یا قاعده حد ضرر را تغییر دهید، و پرسش دیگری از داده‌ها پرسیده‌اید. سرانجام آن‌قدر سؤال پرسیده‌اید که داده‌ها ممکن است تصادفی، پاسخی قانع‌کننده به شما بدهند.
چرا آزمودن استراتژی‌های بیشتر، اعتمادپذیری بهترین نتیجه را کمتر می‌کند؟
تصور کنید 100 استراتژی را آزمایش می‌کنید که هیچ‌کدام واقعاً مزیتی ندارند. با این حال بازده آن‌ها با هم فرق می‌کند. اگر برآوردهای عملکرد تقریباً مستقل باشند و نویز توزیع نرمال داشته باشد، Sharpe بهترین استراتژی مثبت خواهد بود، با این‌که Sharpe واقعی همه استراتژی‌ها صفر است.
یک تقریب سرانگشتی می‌گوید بیشینه مورد انتظار 100 نمونه مستقل با توزیع نرمال استاندارد، 2.5 انحراف معیار بالاتر از میانگین است. این را صرفاً یک مثال بدانید، نه تعدیلی که بتوانید در گزارشتان جای‌گذاری کنید: گونه‌های واقعی استراتژی با هم هم‌بسته‌اند، برآوردهای Sharpe خطای نمونه‌گیری خود را دارند و بازده‌ها به‌ندرت مانند نمونه‌های نرمال تمیز رفتار می‌کنند. با وجود این ملاحظات، نکته عملی پابرجاست. هرچه گزینه‌های بیشتری را بررسی کنید، احتمال این‌که امتیاز برتر بازتاب نویز مساعد باشد بیشتر می‌شود.
«گزینه» هم فقط یک بک‌تست ذخیره‌شده نیست. هر انتخابی که پس از دیدن یک نتیجه انجام شود، جزو آن است: گسترده‌تر کردن مجموعه دارایی‌ها چون نمودار نوسانی به نظر می‌رسد، کنار گذاشتن سالی که نتیجه را خراب می‌کند، یا دست‌کاری فرض کارمزد تا منحنی دوباره بالا برود. این تصمیم‌ها حتی اگر کسی برایشان شماره نسخه تعیین نکرده باشد، به حساب می‌آیند.
پیش از اجرای گونه بعدی، دفتر ثبت پژوهش را آماده کنید
کل فرایند جست‌وجو را ثبت کنید؛ از جمله ایده‌های کنارگذاشته‌شده و دلیل هر تغییر. این کار نشان می‌دهد نتیجه تا چه اندازه حاصل انتخاب بوده و به خاطر سپردن فقط آزمایش‌های جذاب را دشوارتر می‌کند.
| مورد ثبت‌شده | مثال | اهمیت |
|---|---|---|
| فرضیه | بازگشت کوتاه‌مدت پس از حرکت‌های غیرمعمول بزرگ در قراردادهای پرپچوال BTC قوی‌تر است | ایده را از تنظیمات پارامتری نهایی آن جدا می‌کند |
| گونه و زمان ثبت | سیگنال 48 ساعته، 2026-10-09، اجرای 014 | دامنه جست‌وجو را می‌شمارد و نتایج را به کد و داده پیوند می‌دهد |
| قاعده انتخاب | انتخاب بر اساس Sharpe خالص؛ دست‌کم 100 معامله | نشان می‌دهد پیش از مقایسه، «بهترین» چه معنایی داشته است |
| گونه‌های ردشده | پنجره‌های 12، 24 و 72 ساعته؛ همگی حفظ شدند | نمی‌گذارد برنده‌ای که به چشم می‌آید، رقبایش را از یادها ببرد |
دفتر ثبت، جست‌وجوی انجام‌شده را خنثی نمی‌کند. اما آن را روشن و قابل‌پیگیری می‌کند؛ این نخستین گام برای سنجش میزان اعتمادی است که برنده سزاوار آن است.
داده‌هایی را کنار بگذارید که فرایند پژوهش نتواند بارها به آن‌ها رجوع کند
داده‌ها را بر اساس زمان تقسیم کنید و سپس از دوره نهایی محافظت کنید. استراتژی را در یک بازه توسعه دهید، با استفاده از بازه اعتبارسنجی تصمیم بگیرید و استراتژی منجمدشده را فقط یک‌بار در مجموعه کنارگذاشته‌شده متعلق به دوره‌ای بعدتر ارزیابی کنید. برای نمونه، می‌توانید از 2018–2022 برای توسعه و از 2023 برای اعتبارسنجی استفاده کنید و سپس 2024–2025 را کنار بگذارید. این تاریخ‌ها صرفاً نمونه‌اند: بازار، افق زمانی استراتژی و پوشش داده باید مبنای تعیین بازه‌ها باشند.
دقیقاً بنویسید منظور از «منجمد» چیست: سیگنال، مجموعه دارایی‌ها، اندازه موقعیت، فرض‌های اجرا و هر قاعده‌ای درباره داده‌های مفقود. اگر نتیجه مجموعه کنارگذاشته‌شده ناامیدکننده باشد و استراتژی را با توجه به آن تنظیم کنید، آن دوره به داده اعتبارسنجی تبدیل شده است. ارزیابی صادقانه بعدی به شواهد تازه نیاز دارد.
اینجاست که نمونه‌های کوچک دردسرساز می‌شوند. استراتژی‌ای که در مجموعه کنارگذاشته‌شده 18 بار معامله کرده، هنوز مبنای حکم دقیقی نیست. تعداد معاملات و میزان عدم‌قطعیت را همراه با آمار بازده گزارش کنید؛ یک میانگین تنها می‌تواند نمونه‌ای کم‌حجم را قطعی جلوه دهد.
آیا این یعنی بک‌تست برای انتخاب استراتژی بی‌فایده است؟
نه. منتقدان درست می‌گویند که مجموعه‌های کنارگذاشته‌شده سخت‌گیرانه می‌توانند اتلاف‌آمیز باشند: بازارها تغییر می‌کنند، تاریخچه‌ها کوتاه‌اند و یک دوره دست‌نخورده ممکن است فقط نماینده یک رژیم غیرمعمول باشد. فرایند آزمون پیش‌رونده‌ای که با دقت طراحی شده باشد، می‌تواند نشان دهد استراتژی با پیشروی تاریخچه در دسترس چه رفتاری دارد. با این حال، تنظیم‌های مکرر را رایگان نمی‌کند. اگر هر بخش را بررسی کنید و استراتژی را بازبینی کنید، آن بخش‌ها بر پژوهش اثر گذاشته‌اند.
از بک‌تست برای آشکار کردن حالت‌های شکست، مقایسه تعداد کمی ایده مبتنی بر سازوکار بازار و آزمودن این‌که آیا نتایج در برابر کارمزد، فاندینگ، اثر بازار و تغییرات معقول پارامترها دوام می‌آورند استفاده کنید. دفتر ثبت داشته باشید. یک مجموعه کنارگذاشته‌شده نهایی را حفظ کنید. سپس نسخه امیدوارکننده و منجمدشده را به معامله‌گری کاغذی ببرید تا ناسازگاری‌های اجرایی آشکار شوند.
قوی‌ترین پاسخ یک بک‌تست اغلب این است: «این ایده در شرایطی که همین حالا می‌توانیم ببینیم شکست می‌خورد.» وقتی می‌گوید «این بهترین استراتژی است»، بپرسید چه تعداد پاسخ دیگر از آن خواسته‌اید.
← همهٔ مطالب
