بک‌تست ممکن است زمان‌مهر همه کندل‌ها را درست ثبت کند و بااین‌حال از اطلاعات فردا استفاده کند. این اتفاق زمانی می‌افتد که راهبرد، دارایی‌های باقی‌مانده امروز را در سراسر چندین سال تاریخچه آزمایش می‌کند؛ انگار از پیش می‌دانسته کدام بازارها نقدشونده و فهرست‌شده می‌مانند و ارزش نگه‌داشتن دارند.
ساخت جهان دارایی‌ها بخشی از خود راهبرد است. اگر سامانه زنده فقط می‌توانسته از میان دارایی‌های در دسترس در هر زمان تصمیم‌گیری انتخاب کند، بک‌تست هم باید همین مرز را رعایت کند. سه میان‌بُر رایج این مرز را از بین می‌برند.
اشتباه اول: بک‌تست‌کردن فهرست امروز در سراسر تاریخچه
فرض کنید امروز 50 بازار بزرگ قرارداد دائمی رمزارز را غربال می‌کنید و بعد آن‌ها را از 2021 به بعد بک‌تست می‌کنید. این فهرست قراردادهایی را که ناپدید شده‌اند، نقدشوندگی‌شان را از دست داده‌اند یا از فهرست خارج شده‌اند کنار می‌گذارد. همچنین بازارهایی را در اختیار تاریخ‌های قدیمی‌تر می‌گذارد که شاید آن زمان هنوز وجود نداشته‌اند.
آسیب به‌سادگی از چشم دور می‌ماند: راهبرد باثبات‌تر به نظر می‌رسد، چون دارایی‌های شکست‌خورده از نمونه‌اش ناپدید شده‌اند. برای مثال، ممکن است یک قاعده مومنتوم در 50 بازار امروز عالی به نظر برسد، درحالی‌که نسخه تاریخی آن بارها به نام‌هایی تخصیص می‌داد که بعدها سقوط کردند یا از محل معامله‌شان حذف شدند. شما پرتفویی را آزموده‌اید که با دانستن نتیجه انتخاب شده است.
عضویت در جهان دارایی‌ها را به‌صورت سابقه‌ای تاریخ‌دار ثبت کنید. برای هر دارایی، زمان واجد شرایط شدن، زمان پایان واجد شرایط بودن و دلیل آن را پیگیری کنید. در هر بازتنظیم، قواعد را فقط با اطلاعاتی اعمال کنید که تا همان زمان در دسترس بوده‌اند. ورود یک بازار باید پس از فهرست‌شدن واقعی آن و سپری‌شدن هر دوره گرم‌شدن لازم انجام شود. اگر از فهرست خارج شد، باید برای موقعیت نهایی آن قاعده‌ای روشن برای خروج یا تسویه داشته باشید؛ حذف ردیف‌هایش قاعده خروج نیست.
اشتباه دوم: رتبه‌بندی بر اساس آماری که پس از زمان تصمیم‌گیری اندازه‌گیری شده است
حتی جهان دارایی‌های تاریخی هم ممکن است اطلاعات آینده را نشت دهد، اگر قاعده عضویت آن از پنجره‌ای استفاده کند که داده‌هایش تا پایان دوره کامل شده‌اند. «هر ماه 20 سهام نقدشونده‌تر را معامله کن» معقول به نظر می‌رسد، تا وقتی که نقدشوندگی را با داده‌های کل ماهی رتبه‌بندی کنید که راهبرد قرار است در آن معامله کند.
فرض کنید در نخستین روز معاملاتی بازتنظیم می‌کنید. رتبه‌بندی بر اساس میانگین حجم دلاری همان ماه، بی‌سروصدا از سه هفته بعد استفاده می‌کند تا تعیین کند چه چیزی در روز نخست واجد شرایط بوده است. آسیب اغلب در ظرفیت معاملاتی غیرعادی خوب خود را نشان می‌دهد: راهبرد از دارایی‌هایی که بعدتر در ماه نقدشوندگی‌شان را از دست داده‌اند دوری می‌کند، بااین‌که هنگام ورود نمی‌توانسته این را بداند.
زمان پایان اندازه‌گیری را پیش از زمان انتخاب تعیین کنید. برای بازتنظیم ماهانه در نخستین جلسه معاملاتی، می‌توانید بر اساس 20 جلسه کامل‌شده قبلی رتبه‌بندی کنید که آخرینشان جلسه قبل است. سپس تأخیر اجرا را روشن کنید: اگر رتبه‌بندی از قیمت پایانی دیروز استفاده می‌کند، آیا طبق فرایند کاری فرض‌شده شما می‌توان سفارش را در آغاز معاملات امروز ثبت کرد؟
| قاعده انتخاب | نسخه نقطه‌درزمان | نشت رایج |
|---|---|---|
| 20 مورد برتر بر اساس حجم دلاری | رتبه‌بندی جلسات کامل‌شده‌ای که پیش از بازتنظیم پایان می‌یابند | درنظرگرفتن روز یا ماه بازتنظیم |
| فهرست‌شده در محل معامله | استفاده از زمان‌های مؤثر فهرست‌شدن و خروج از فهرست | استفاده از فهرست نمادهای فعلی برای تاریخ‌های قدیمی |
| حداقل سابقه | شمارش مشاهدات در دسترس تا زمان انتخاب | الزام به بقا در آینده برای عبور از فیلتر |
اشتباه سوم: تلقی تاریخچه ناقص به‌عنوان مدرک واجد شرایط نبودن دارایی
بایگانی فروشنده داده لزوماً سابقه کاملی از بازار تاریخی نیست. نبودن یک نماد ممکن است به این معنا باشد که آن دارایی هرگز وجود نداشته، محل معامله شیوه نام‌گذاری‌اش را عوض کرده، فروشنده ابزارهای خارج‌شده از فهرست را نگه نداشته یا صرفاً در خوراک داده شکافی وجود دارد. هرکدام از این حالت‌ها پیامد متفاوتی دارند.
آسیب اینجا جهان دارایی‌های مرتب‌ونظمی است که حفره‌هایش توضیح داده نشده‌اند. پژوهشگران اغلب به یک پنجره کامل برای نگاه‌به‌عقب نیاز دارند و بعد هر موردی را که چنین سابقه‌ای ندارد بی‌سروصدا کنار می‌گذارند. این می‌تواند قاعده معقولی برای دوره گرم‌شدن باشد، اما عمداً دارایی‌های تازه‌فهرست‌شده را هم حذف می‌کند. بدتر اینکه اگر سابقه ناقص بیشتر مربوط به بازارهای شکست‌خورده باشد، «فقط داده کامل» به فیلتری دیگر برای سوگیری بقا تبدیل می‌شود.
واجد شرایط بودن، در دسترس بودن داده و دوره گرم‌شدن راهبرد را به‌عنوان واقعیت‌هایی جداگانه نگه دارید. دلیل حذف هر دارایی را در هر تاریخ ثبت کنید. داده‌های مفقود را در دفتر ثبت پژوهش حفظ کنید و آن‌ها را به حذف بی‌سروصدا تبدیل نکنید. وقتی منبع نمی‌تواند مشخص کند بازاری فهرست‌شده یا قابل معامله بوده است، این را صریح بگویید و بسنجید نتیجه تا چه اندازه به این عدم‌قطعیت وابسته است.
جهان دارایی‌ها را بازتولیدپذیر کنید
یک ممیزی مفید با یک بازتنظیم تاریخی شروع می‌شود. فهرست نامزدها را با استفاده از فهرست‌شدن‌های تاریخ‌دار و داده‌های در دسترس تا آن زمان بازسازی کنید. ورودی‌های رتبه‌بندی را فقط با مشاهدات کامل‌شده دوباره محاسبه کنید. سپس عضویت به‌دست‌آمده را با فهرستی مقایسه کنید که بک‌تست شما واقعاً استفاده کرده است.
قاعده، زمان پایان داده‌ها، تصمیم‌های عضویت و نسخه منبع را همراه اجرای بک‌تست ذخیره کنید. اگر نمی‌توانید توضیح دهید چرا در تاریخی مشخص یک دارایی وارد شد و دارایی دیگر بیرون ماند، هنوز نمی‌توانید بگویید راهبرد مزیتی را کشف کرده یا نمونه‌ای را به ارث برده که شکلش را آینده تعیین کرده است.
اشتباه‌های ساخت جهان دارایی‌ها به‌ندرت با قیمت‌هایی ناممکن خودشان را نشان می‌دهند. نمودشان راهبردی است که به‌طرزی مصلحتی از بازارهایی دوری کرده که دیگر مصلحتی نبودند.
← همهٔ مطالب
