לאופטימיזציית walk-forward יש מוניטין של הדרך ההוגנת לכוונן אסטרטגיה, והיא ראויה לו — בהשוואה לאופטימיזציה על כל הנתונים והתפעלות מהתוצאה. אבל לטכניקה יש מצבי כשל שקטים, וכל אחד מהם מייצר בדיוק את אותו מוצר לוואי: דוח ולידציה שכתוב בו "עמיד" מהודק לאסטרטגיה שאינה כזו. הנה שלושת אלה שנאלצנו להנדס נגדם, מסודרים לפי ההרס שהם משאירים.
כשל ראשון: החלונות דולפים
הדרך הלא נכונה: מכווננים על ינואר–יוני, מאמתים על יולי, ואז נותנים למשהו מיולי להשפיע על סבב שני — הרצה חוזרת אחרי שראיתם את המספר מחוץ למדגם, "התאמה קטנה" לרשת הפרמטרים, פיצ'ר שמנורמל על פני כל הסדרה. כל אחד מהם נראה תמים. יחד הם הופכים את חלון ה-out-of-sample לנתוני in-sample בהשהיה.
ההרס: Sharpe מחוץ למדגם שעוקב באורח מסתורי אחרי ה-Sharpe שבתוך המדגם. תוצאות OOS אמיתיות רועשות ומאכזבות; יחס IS/OOS חלק בצורה חשודה אומר שמידע זורם אחורה. אנחנו עוקבים אחרי היחס במפורש — IS גדול פי 3 מ-OOS מסמן את ההרצה, ו-OOS ששווה לאפס או נמוך ממנו הורג אותה, לא משנה כמה יפה נראה ה-IS.
כשל שני: ציד מדדים בין החלונות
מריצים שלושה חלונות walk-forward, מקבלים שלוש תוצאות רועשות, ואז מסכמים: Sharpe ממוצע? חציוני? להשמיט את החלון הגרוע ביותר בגלל "שינוי משטר"? כל בחירה כזו היא דרגת חופש, ואופטימייזר נחוש (אנושי או בייסיאני) ימצא את הסיכום שתחתיו האסטרטגיה הזו נראית הכי טוב. שבעים וחמישה ניסויי Optuna לכל חלון הם שבעים וחמישה הזדמנויות להתאים רעש, כפול מספר הסיכומים שאתם מוכנים לשקול.
ההרס: אסטרטגיה שעוברת ולידציה ואז מספקת בחיים את הביצועים של החלון הגרוע ביותר, כי החלון הגרוע היה היחיד הכן. הכלל שלנו: שיטת האגרגציה מקובעת בקונפיג לפני ההרצה, תקציב הניסויים מקובע, והאנליסט קורא תוצאות לכל חלון בנפרד עם הפיזור מוצג. אסטרטגיה שזקוקה לסיכום הידידותי כדי לעבור — לא עוברת.
כשל שלישי: ה-holdout שהפסיק להיות כזה
holdout עובד בדיוק פעם אחת. בפעם השנייה שאסטרטגיה נבחנת מולו — אחרי דחיפה קטנה לפרמטר, שינוי בסיגנל, "בוא רק נבדוק" — הוא כבר לא holdout; הוא סט ולידציה איטי. חמישה־עשר ימים שלא נגעו בהם נשמעים טריוויאליים לשימור, עד שמגיע לחץ האיטרציה ובדיקה חוזרת מרגישה לא מזיקה.
ההרס עדין: תוצאות holdout שמשתפרות לאורך האיטרציות של אותה אסטרטגיה. לנתוני OOS טריים אין שום סיבה לתגמל את איטרציה שלוש על פני איטרציה אחת, וכשזה קורה — ה-holdout נכרה. אנחנו אוכפים חד-פעמיות באופן מכני: ה-holdout מוערך פעם אחת בכל הרצת פייפליין, התוצאה נכתבת לרשומה, ואסטרטגיה שזקוקה לניסיון נוסף חוזרת דרך כל המסלול — כולל חלונות חדשים. עליה לשמר לפחות 70% מה-Sharpe מחוץ למדגם של ה-walk-forward, ואין גלגול שני של הקובייה הזו.
הסימן ששורד את שלושתם
לפני כל זה, אנחנו מריצים סריקת רגישות פשוטה: מזיזים כל פרמטר ב-±20% ומסתכלים על המדדים. יתרון אמיתי נשחק בהדרגה; צירוף מקרים נופל מצוק. זו הבדיקה הזולה ביותר בפייפליין, והיא פוסלת אסטרטגיות שהיו שטות בקלות דרך כל מה שלמעלה — כי צוק בפרמטר הוא איך שהתאמת יתר נראית לפני שנתתם לה הזדמנות להתחבא במנגנוני הוולידציה.
שום דבר מזה לא הופך אופטימיזציה לבטוחה. זה הופך את מצבי הכשל לרועשים — וזה המקסימום שאפשר לבקש בכנות מתהליך ולידציה.
← כל הפוסטים