قرار است آزمون Walk-forward به پرسشی عملی پاسخ دهد: اگر بارها و بارها استراتژیای را فقط با استفاده از دادههای گذشته برازش میکردید، در بازه بعدیِ دادههای دیدهنشده چگونه عمل میکرد؟ روش ساده به نظر میرسد. یک پنجره آموزشی انتخاب کنید، استراتژی را برازش دهید، آن را در ادامه بیازمایید، سپس پنجره را جابهجا کنید و این کار را تکرار کنید.
مشکل اینجاست که توالی پنجرهها میتواند منظم به نظر برسد، اما همچنان اطلاعات را از مرزهایشان نشت دهد. من دیدهام که پیامد این مشکل به شکل بازدههای خارج از نمونه بهطرز مشکوکی هموار، تنظیمات پارامتری بهظاهر غیرعادی باثبات، و معاملاتی ظاهر میشود که به دوره آزمونی نسبت داده شدهاند که پیش از امکان ثبت آن معاملات آغاز شده بود.
اشتباه 1: فرض کردن اینکه پنجره آزمون یک لوح سفید است
پنجره آزمون از 1 ژوئن آغاز میشود. سیگنال از میانگین متحرک 50روزه استفاده میکند، بنابراین بکتست برای گرمکردن محاسبه، قیمتهای ماه مه را بارگذاری میکند. این کار منطقی است: استراتژی زنده هم وضعیت اندیکاتورش را حفظ میکند. اما اگر بازده دوره آزمون از 1 مه محاسبه شود، آن روزهای گرمکردن به بخشی از عملکرد تبدیل شدهاند.
همین مشکل مرزی برای موقعیتها هم پیش میآید. فرض کنید استراتژی در 29 مه معاملهای باز میکند و در 3 ژوئن آن را میبندد. آیا سود باید جزو عملکرد دوره آزمون محسوب شود؟ فقط وقتی که شبیهسازی بهروشنی مشخص کند موقعیتهای باز در مرز را چگونه مدیریت میکند. در غیر این صورت، آزمون ممکن است ورودیای را که با دادههای آموزشی انتخاب شده به ارث ببرد و سپس سود حاصل از آن را به آزمون نسبت دهد.
| مورد مرزی | روش ایمن | خطای رایج |
|---|---|---|
| تاریخچه اندیکاتور | بارهای پیشین را برای حفظ وضعیت بارگذاری کنید؛ امتیازدهی را از آغاز آزمون شروع کنید | محاسبه بازده روزهای گرمکردن بهعنوان عملکرد آزمون |
| موقعیتهای باز | طبق قاعدهای مشخص آنها را ببندید، نگه دارید یا کنار بگذارید | نسبتدادن ورودی پیش از آزمون به دوره آزمون |
| سفارشها و اجراها | تصمیم و اجرا باید در دوره آزمون رخ دهند | اجرای سفارشی که پیش از مرز ایجاد شده است |
تقسیمبندی پاک به قاعدهای برای وضعیت نیاز دارد، نه صرفاً یک تاریخ. تاریخچه اندیکاتوری را که یک فرایند زنده در اختیار میداشت حفظ کنید، اما فقط به دورهای امتیاز دهید که قصد ارزیابیاش را دارید. درباره موقعیتها و سفارشهای باز صریح باشید و در هر بار جابهجایی پنجره، همان قاعده را اعمال کنید.
اشتباه 2: اجازه دادن به عبور معاملات از مرز تقسیمبندی، بدون دوره منع
برچسبهای همپوشان منبع نشت دیگری هستند. مدلی را تصور کنید که با سیگنالهایی آموزش دیده که پیامدشان بازده 5 روز معاملاتی بعدی است. یک نمونه آموزشی از آخرین روز ماه مه از قیمتهای ژوئن استفاده میکند تا مشخص کند پیشبینیاش درست بوده یا نه. اگر آزمون از 1 ژوئن شروع شود، دادههای آموزشی پیشاپیش بخشی از پیامد آزمون را مصرف کردهاند.
این ایراد بهسادگی از چشم پنهان میماند، چون تاریخ ردیف ویژگی 31 مه است. برچسب به آینده امتداد دارد. تقسیم زمانی که فقط تاریخ ردیفها را در نظر بگیرد، این همپوشانی را نمیبیند.
نمونههای آموزشیای را حذف کنید که پنجره پیامدشان به دوره آزمون امتداد مییابد. بسته به افق برچسب و نحوه ساخت ویژگیها، بین آموزش و آزمون فاصلهای هم در نظر بگیرید. این فاصله که اغلب دوره منع نامیده میشود، باید با بازهای متناسب باشد که اطلاعات یا پیامدها در آن همپوشانی دارند. برچسب 5روزه، صرفاً به این دلیل که نمودار را تمیزتر نشان میدهد، فاصله 1روزه را توجیه نمیکند.
بازه زمانی کامل مورد استفاده هر نمونه آموزشی را ثبت کنید: بازه نگاه به گذشته ویژگی، زمان تصمیمگیری و پنجره پیامد. بر پایه این بازهها تقسیمبندی کنید، نه صرفاً تاریخی که کنار هر ردیف درج شده است.
اشتباه 3: انتخاب برنده پس از دیدن همه بخشها
این وسوسهانگیزترین خطاست. آزمونهای Walk-forward را با 40 مجموعه پارامتر اجرا میکنید. ترکیبی در چند بخش نتیجه خوبی نشان میدهد، پس آن را انتخاب میکنید و همان بخشها را بهعنوان شاهدی گزارش میکنید که استراتژی تعمیمپذیر است.
ممکن است هر بخش در زمان برازش مدل خودش دیدهنشده بوده باشد. اما طراحی استراتژی پس از بررسی همه بخشها انتخاب شده است. نتایج آزمون حالا مبنای یک تصمیم پژوهشی بودهاند، بنابراین در سطح آزمایش، بخشی از فرایند آموزش به شمار میروند.
ثبت تاریخداری از انتخابهایی نگه دارید که پیش از هر ارزیابی انجام شدهاند. اگر از نتایج Walk-forward برای انتخاب پارامترها، ویژگیها، بازارها یا حتی پنجره آزمون استفاده میکنید، یک دوره نهاییِ دستنخورده برای ارزیابی آخر کنار بگذارید. آن دوره فقط یکبار، پس از نهاییشدن انتخابها، باز میشود. اگر پس از دیدن آن دوباره تنظیمات را تغییر دهید، دیگر آزمون نهایی نیست.
اینجا یک نکته ساده وجود دارد: گزارش آزمایش را پیش از رسیدن نتایج ذخیره کنید. صفحهگستردهای که پس از یک اجرای امیدوارکننده ویرایش شده باشد، سابقه خوبی از کارهایی که واقعاً امتحان کردهاید نیست.
یک گزارش معتبر Walk-forward باید چه چیزهایی را نشان دهد؟
در کنار بازدهها، جزئیات تنظیمات را هم گزارش کنید: تاریخهای آموزش و آزمون، بسامد جابهجایی پنجره، افق برچسب، نحوه گرمکردن، سیاست مدیریت موقعیت در مرزها و تعداد پیکربندیهایی که آزمودهاید. هر بخش و نتیجه تجمیعی را نشان دهید. نتیجه کلی قدرتمندی که از یک پنجره خوششانس به دست آمده، باید متفاوت از نتایج متوسطی ارزیابی شود که در شرایط گوناگون تکرار شدهاند.
آزمون Walk-forward میتواند نظم مفیدی به پژوهش استراتژی بدهد، اما این نظم به قواعد مرزی و ثبت تصمیمها وابسته است. اگر این موارد را درست اجرا کنید، آزمون میتواند درباره اینکه یک فرایند پژوهشی چگونه در گذر زمان عمل خواهد کرد، اطلاعاتی به شما بدهد. اگر آنها را نادیده بگیرید، عنوان Walk-forward فقط آرایشی است بر نتیجهای که از قبل آینده را دیده است.
← همهٔ مطالب


