چهار عدد می‌توانند داستانی ناخوشایند را روایت کنند: شارپ 1.4 در آزمون پیش‌رونده، 312 معامله تاریخی، 46 معامله کاغذی و فاصله 18 واحد پایه‌ای میان قیمت پرشدن سفارش در معامله کاغذی و بک‌تست. شارپ تیتر خبر می‌شود. اما شاید همین 18 واحد پایه توضیح دهد چرا استراتژی متفاوت به نظر می‌رسد، آن هم پیش از آن‌که سابقه معامله کاغذی برای قضاوت درباره عملکردش کافی باشد.
آزمون پیش‌رونده می‌پرسد آیا فرایند پژوهش می‌توانسته با استفاده از داده‌های گذشته استراتژی‌ای را انتخاب کند و آن را روی داده‌های بعدی ارزیابی کند یا نه. معامله کاغذی می‌پرسد آیا یک سیستم در حال اجرا، با داده‌ها، ساعت‌ها، منطق سفارش و قیمت‌های پرشدن فعلی‌اش، مانند همان فرایند آزموده‌شده عمل می‌کند یا نه. این دو پرسش به هم مربوط‌اند، اما پاسخ پرسش دوم خودبه‌خود از اولی به دست نمی‌آید.
اعتبارسنجی پیش‌رونده واقعاً چه چیزی را اثبات می‌کند؟
فرض کنید استراتژی را با 6 ماه داده آموزش می‌دهید یا انتخاب می‌کنید، بعد آن را در ماه بعد ارزیابی می‌کنید. این بازه را جلو ببرید و آزمون را تکرار کنید. اگر هر ماه آزمون از فرایند انتخاب متناظر خودش بیرون بماند، این کار شواهدی درباره عملکرد در مجموعه‌ای از شرایط تاریخی به شما می‌دهد.
اما ثابت نمی‌کند که معامله کاغذی همان تصمیم‌ها یا قیمت‌های پرشدن را بازتولید می‌کند. آزمون تاریخی ممکن است از کندل‌های تکمیل‌شده، برنامه کارمزد ثابت و مدل ساده‌شده‌ای برای سفارش بازار استفاده کند. فرایند کاغذی در حال اجرا داده‌های دریافتی را مصرف می‌کند و سفارش‌های شبیه‌سازی‌شده را از مسیری متفاوت می‌فرستد. ممکن است یکی درست باشد و دیگری ناهماهنگی داشته باشد.
برای همین، 46 معامله کاغذی در برابر 312 معامله در نمونه آزمون پیش‌رونده به‌تنهایی حکم نهایی نیست. بازه مقایسه، بسامد سیگنال، موقعیت‌های باز در ابتدا و انتهای بازه و تعریف یکسان معامله در هر دو شمارش را بررسی کنید. اجرای 6 هفته‌ای معامله کاغذی نمی‌تواند از نظر تعداد معامله با یک سال آزمون‌های غلتان برابری کند.
چرا فاصله قیمت پرشدن این‌قدر گویاست؟
پیش از تفسیر منحنی ارزش حساب معامله کاغذی، باید میانگین فاصله 18 واحد پایه‌ای را به اجزایش تفکیک کرد. آیا آن را از قیمت پرشدن فرضی بک‌تست تا قیمت پرشدن شبیه‌ساز کاغذی اندازه گرفته‌اید، یا از قیمت میانی هنگام تصمیم تا قیمت پرشدن کاغذی؟ این‌ها دو چیز متفاوت را می‌سنجند. قیمت تصمیم، قیمت رسیدن سفارش، قیمت پرشدن شبیه‌سازی‌شده، کارمزدها و هرگونه پرداخت تأمین مالی را جداگانه ثبت کنید.
| تفاوت مشاهده‌شده | بررسی نخست | اهمیت |
|---|---|---|
| معاملات کاغذی کمتر | زمان‌مهر سیگنال‌ها و قواعد واجدشرایط‌بودن | ورودی مفقود یا دیررس می‌تواند مانع تصمیم‌گیری شود |
| معاملات یکسان، قیمت‌های پرشدن بدتر | نوع سفارش، اسپرد، اثر بازار و سطح کارمزد | ممکن است بک‌تست مسیر اجرای ارزان‌تری را فرض کند |
| اندازه موقعیت‌های متفاوت | موجودی نقدی، ضریب قرارداد و گردکردن | ناهماهنگی‌های کوچک در واحدها با هر سفارش روی هم جمع می‌شوند |
| واگرایی پس از راه‌اندازی مجدد | بازیابی موقعیت و سفارش‌های در انتظار | ممکن است فرایند کاغذی از وضعیت متفاوتی از سر گرفته شود |
برای مثال، بک‌تستی که در قیمت بازشدن کندل بعدی خرید می‌کند، ممکن است برای یک دارایی نقدشونده به سفارش بازار کاغذی نزدیک باشد. اما اگر سفارش کاغذی پس از یک حرکت شدید برسد، این فاصله علاوه بر هزینه اجرا، زمان‌بندی و حرکت بازار را هم در بر می‌گیرد. نامیدن همه 18 واحد پایه به‌عنوان «لغزش قیمت» علت را پنهان می‌کند.
چطور معامله کاغذی را با آزمون پیش‌رونده مقایسه کنم؟
از تصمیم‌ها شروع کنید، بعد سراغ سفارش‌ها و سپس قیمت‌های پرشدن بروید. برای هر تصمیم کاغذی، همان نسخه استراتژی را با همان سابقه ورودی بازپخش کنید و ببینید در همان لحظه چه چیزهایی در دسترسش بوده است. یک سابقه مفید برای سنجش هم‌خوانی شامل این موارد است:
- نسخه استراتژی و پارامترها، از جمله پنجره انتخابی که آن‌ها را تعیین کرده است.
- مقادیر ورودی همراه با زمان رویداد و زمان در دسترس‌شدن هر دو.
- سیگنال، موقعیت هدف، موقعیت فعلی و سفارش پیشنهادی.
- محدودیت‌های سفارش، کارمزدها، پرداخت تأمین مالی و جزئیات قیمت پرشدن شبیه‌سازی‌شده.
- وضعیت موجودی نقدی و موقعیت پیش و پس از اجرا.
اگر سیگنال‌ها متفاوت‌اند، زمان‌بندی داده و نسخه‌های کد را بررسی کنید. اگر سیگنال‌ها یکسان‌اند اما سفارش‌ها فرق دارند، اندازه‌گذاری، قواعد صرافی و وضعیت پرتفوی را بررسی کنید. اگر سفارش‌ها یکسان‌اند اما قیمت‌های پرشدن فرق دارند، فرض‌های اجرا را بررسی کنید. این لایه‌ها را جدا نگه دارید؛ وگرنه یک عدد عملکرد شما را به جست‌وجوی علت در جای اشتباه می‌فرستد.
چه زمانی واگرایی نشانه خراب‌بودن استراتژی است؟
بعد از آن‌که خط لوله هم‌خوان شد، پیامدها را در یک بازه مشترکِ معنادار مقایسه کنید و رفتار مورد انتظار از استراتژی را بسنجید. تعداد کمی معامله کاغذی می‌تواند خیلی زود یک زمان‌مهر یا مسیر سفارش معیوب را آشکار کند. اما برای تشخیص تغییر میانگین بازده استراتژی قابل اتکا نیست. چنین قضاوتی به مشاهدات کافی نیاز دارد و تعداد لازم به میزان نوسان و خوشه‌ای‌بودن بازده‌ها بستگی دارد.
شرایط بازار هم ممکن است تغییر کند. گسترش اسپرد یا نامساعدشدن پایدار پرداخت تأمین مالی می‌تواند به استراتژی لطمه بزند، حتی وقتی همه تصمیم‌ها با هم منطبق‌اند. این تغییر واقعی در شرایط معامله است، نه ایرادی در اعتبارسنجی. هزینه‌ها و میزان مواجهه با ریسک را در کنار بازده ثبت کنید تا تفاوت روشن بماند.
اعتبارسنجی پیش‌رونده شواهدی درباره یک فرایند انتخاب در دوره‌های تاریخی فراهم می‌کند. معامله کاغذی شواهدی درباره سیستم در حال اجرا و شرایط مشاهده‌شده به دست می‌دهد. وقتی نتایجشان واگرا می‌شود، نخستین نقطه‌ای را پیدا کنید که سوابقشان از هم فاصله می‌گیرد. عدد غافلگیرکننده اغلب شارپ نیست؛ تفاوت کوچکی در اجرا یا داده است که باعث می‌شود این دو آزمایش به دو پرسش متفاوت پاسخ دهند.
← همهٔ مطالب
