افزودن بازارهای بیشتر به جست‌وجوی استراتژی می‌تواند بهترین بک‌تست را قوی‌تر نشان دهد، در حالی که شواهد را ضعیف‌تر می‌کند. شارپ بالاتر پس از افزودن نمادها اغلب تنوع‌بخشی تلقی می‌شود؛ اما اگر برای پیدا کردن برنده نمادها را جست‌وجو کرده باشید، فرصت‌های خوش‌شانسی را هم بیشتر کرده‌اید.
این تمایز چه زمانی یک agent صدها سیگنال پیشنهاد می‌دهد و چه زمانی یک پژوهشگر چند مورد را دستی می‌آزماید، اهمیت دارد. فضای جست‌وجو شامل هر ترکیبی از بازار، بازه زمانی، ویژگی و پارامتر است که نتیجه‌اش بر انتخاب نهایی اثر گذاشته باشد. «فقط یک استراتژی را عرضه کردیم» نمی‌گوید چند گزینه برای انتخاب بررسی شده‌اند.
چرا یونیورس بزرگ‌تر بازارها می‌تواند شارپ برتر را متورم کند؟
تصور کنید یک قالب استراتژی یکسان را روی 40 بازار نامرتبط آزمایش می‌کنید. برای سادگی فرض کنید شارپ واقعی هر بازار صفر است و خطای استاندارد هر شارپ برآوردشده 0.5 است. برآوردها پیرامون صفر بالا و پایین می‌روند. اما بالاترین مقدار را انتخاب کنید؛ معمولاً مثبت خواهد بود، صرفاً چون یک بیشینه را برگزیده‌اید.
با تقریب نرمال تقریبی، انتظار می‌رود بزرگ‌ترین برآورد از میان 40 برآورد مستقلِ نویزی حدود 1.3 خطای استاندارد بالاتر از صفر باشد: در این مثال تقریباً شارپ 0.65. مقدار دقیق به وابستگی، طول نمونه و توزیع بازده‌ها بستگی دارد. نکته این است که گزینش خوش‌بینی ایجاد می‌کند، حتی وقتی هیچ استراتژی‌ای مزیت ندارد.
گزارش جست‌وجو را نگه دارید. همه بازارها و گزینه‌هایی را که بررسی شده‌اند ثبت کنید؛ از جمله اجراهای ناموفق و نسخه‌هایی که کنار گذاشته شدند. تعداد آزمون‌های استراتژی نهایی به چیزهایی مربوط است که در انتخاب اثر گذاشتند، نه تعداد فایل‌هایی که پس از پاک‌سازی باقی ماندند.
بازارها پرتاب‌های مستقل سکه نیستند. BTC و ETH اغلب هم‌جهت حرکت می‌کنند؛ دو شاخص سهام ممکن است بخش عمده‌ای از ریسکشان مشترک باشد. این موضوع تعداد مؤثر آزمون‌های مستقل را کم می‌کند، اما مسئله را از بین نمی‌برد. بازارهای هم‌بسته همچنان می‌توانند از نظر کارمزد، فاندینگ، نقدشوندگی و ساعت‌هایی که سیگنال در آن‌ها کار می‌کند متفاوت باشند.
آیا آزمایش بازارهای بیشتر، آزمون چندگانه محسوب می‌شود؟
وقتی از نتایج برای تصمیم‌گیری درباره حفظ یا کنار گذاشتن چیزی استفاده می‌کنید، بله. اگر فرضیه اولیه این بوده که «این قاعده اثر فاندینگ را در پرپچوال‌های اصلی ثبت می‌کند»، بررسی بازارهای مختلف بخشی از آزمون همان فرضیه است. اگر 50 بازار را آزمایش کنید، بهترین را پیدا کنید و بعد فرضیه را بر اساس رفتارش بنویسید، انتخاب یونیورس هم بخشی از بهینه‌سازی شده است.
تفاوت مهمی میان گستره‌ای که از پیش انتخاب شده و گستره‌ای که پس از دیدن نتایج انتخاب می‌شود وجود دارد. یک سبد ثابت می‌تواند نشان دهد ایده در دامنه‌ای که مشخص کرده‌اید چقدر پایدار است. سبدی که آن‌قدر گسترش می‌یابد تا یک نماد منحنی سهام چشمگیری بسازد، یک فرایند جست‌وجو است. هر دو می‌توانند پژوهش معتبری باشند، اما به پرسش‌های متفاوتی پاسخ می‌دهند.
| انتخاب پژوهشی | چه چیزی را می‌تواند پشتیبانی کند | به‌تنهایی چه چیزی را ثابت نمی‌کند |
|---|---|---|
| سبد از پیش اعلام‌شده، برخورد یکسان | اینکه قاعده در بازارهای انتخاب‌شده چگونه عمل می‌کند | اینکه سبد نماینده همه بازارهای قابل معامله است |
| انتخاب بازار با بهترین عملکرد پس از آزمون‌ها | اینکه کدام بازارِ آزمایش‌شده بهترین نتیجه تاریخی را داشته است | اینکه شارپ انتخاب‌شده آن، برآوردی بی‌طرفانه است |
| بازارهایی که پیش از جست‌وجو کنار گذاشته شده‌اند | اینکه قاعده ثابت‌شده به بازارهای دست‌نخورده تعمیم می‌یابد یا نه | اینکه شرایط آینده با دوره کنارگذاشته‌شده یکسان خواهد بود |
چطور آزمایش کنم که مزیت به بازارهای جدید تعمیم می‌یابد؟
پیش از باز کردن مجموعه کنارگذاشته‌شده، انتخاب‌های پژوهش را ثابت کنید. یعنی تعریف سیگنال، پارامترها، قواعد یونیورس، برنامه بازتنظیم سبد و فرض‌های اجرا. سپس استراتژیِ بدون تغییر را روی بازارهایی ارزیابی کنید که بر این انتخاب‌ها اثر نگذاشته‌اند.
برای نمونه، فرض کنید یک قاعده مومنتوم رمزارزی را با داده‌های پرپچوال BTC و ETH تا پایان 2023 توسعه می‌دهید. می‌توانید مجموعه‌ای از پرپچوال‌های نقدشونده دیگر را که با قاعده‌ای مبتنی‌بر اطلاعات در دسترس پیش از دوره آزمون انتخاب شده‌اند کنار بگذارید و در هیچ مرحله‌ای از تنظیم پارامترها سراغشان نروید. قاعده ثابت‌شده را در 2024 و 2025 روی آن قراردادها اجرا کنید. کارمزد واقعی هر صرافی، پرداخت‌های فاندینگ، مشخصات قرارداد و فرضی موجه درباره اثر بازار را لحاظ کنید؛ آزمون تعمیمی که هزینه‌های معامله مختص هر بازار را در نظر نگیرد، ممکن است تفاوت هزینه را با شکست سیگنال اشتباه بگیرد یا شکست را پنهان کند.
توزیع نتایج در بازارهای کنارگذاشته‌شده را گزارش کنید، نه فقط شارپ تجمیعی را. یک پرتفوی تجمیعی ممکن است پنهان کند که تقریباً تمام بازده را یک بازار ساخته است. نتیجه خالص، تعداد معاملات، افت سرمایه و سهم بزرگ‌ترین بازار از کل P&L را برای هر بازار نشان دهید. اگر قاعده فقط روی یک قرارداد کار می‌کند، آن را نتیجه‌ای مختص همان قرارداد بنامید.
تفکیک زمانی را هم منصفانه نگه دارید. ممکن است بازاری دست‌نخورده مانده باشد، اما دوره داده‌هایش با همان رژیمی هم‌پوشانی داشته باشد که عملکرد توسعه را رقم زده است. آزمون کنارگذاری بین‌بازاری می‌پرسد آیا قاعده میان ابزارها تعمیم می‌یابد؛ آزمون دوره‌ای متأخر می‌پرسد آیا در گذر زمان تعمیم می‌یابد. این‌ها آزمون‌های جداگانه‌اند و نتیجه قوی در یکی جای دیگری را نمی‌گیرد.
اگر استراتژی واقعاً باید از بازارهای بیشتری استفاده کند چه؟
پس آن‌ها را اضافه کنید، اما روشش را تعریف کنید. قاعده پرتفویی که بر اساس سیگنالی ثابت در هر بازار واجد شرایط معامله می‌کند، با رقابتی فرق دارد که در آن بازارِ دارای بهترین عملکرد تاریخی برنده می‌شود. واجد شرایط بودن باید بدون نگاه به عملکرد آینده تعیین شود؛ مثلاً با آستانه نقدشوندگی در همان مقطع و حداقل سابقه داده. تغییرات عضویت هم باید زمان‌مهر داشته باشند؛ وگرنه فهرست امروزیِ «بازارهای نقدشونده» می‌تواند بازماندگان امروز را به بک‌تست گذشته وارد کند.
منتقدان درست می‌گویند که یونیورس محدود می‌تواند استراتژی شکننده‌ای بسازد و آزمون گسترده، بررسی ارزشمندی برای پایداری است. راه‌حل، پرهیز از آزمایش بازارها نیست. باید بازارهایی را که برای کشف ایده به کار می‌روند از بازارهایی جدا کرد که ایده ثابت‌شده را به چالش می‌کشند، و کار پژوهشیِ کشف را هم جزئی از شواهد به شمار آورد.
یونیورس بزرگ‌تر می‌تواند به استراتژی کمک کند بیرون از آزمایشگاه دوام بیاورد. همچنین می‌تواند به یک بک‌تست خوش‌شانس کمک کند در رقابت انتخابِ آزمایشگاه برنده شود. گزارش جست‌وجو و مجموعه کنارگذاشته‌شده نشان می‌دهند شارپ شما کدام روایت را پشتیبانی می‌کند.
← همهٔ مطالب
