הבדיקה ההיסטורית שלכם יכולה להיות ניתנת לשחזור מדי

בדיקה היסטורית שניתנת לשחזור מושלם יכולה להיות פחות אמינה מאחת שהתוצאה שלה משתנה מעט. שחזוריות מוכיחה שאפשר לקבל אותה תשובה פעמיים; היא לא אומרת דבר על השאלה אם התשובה תלויה בתמונת מצב שרירותית אחת של הנתונים, במוזרות של ספרייה או בברירת מחדל נסתרת.

זה נשמע כמו טיעון נגד שחזוריות, אבל זה לא. קבעו את הרצת הבדיקה כדי שתוכלו להסביר אותה. ואז שנו במכוון את ההנחות שלא אמורות להכריע את התוצאה. הצעד הראשון מאפשר לבקר את התוצאה; השני מראה אם יש לה משמעות.

מה בעצם מוכיחה בדיקה היסטורית שניתנת לשחזור?

אם אותו קוד, אותם נתונים, אותה תצורה ואותו seed אקראי מפיקים את אותן עסקאות ואת אותם מדדים, הצלחתם לשלוט במקור חשוב של בלבול. אפשר להשוות את ה״שיפור״ של סוכן להרצת האב שלו. אפשר להפריד תיקון באג משינוי בלוח העמלות. עמית יכול לבדוק את אותו ספר עסקאות ולמצוא את אותם ביצועים.

אבל התוצאה מותנית בכל מה שקיבעתם. חשבו על אסטרטגיית קריפטו שקובץ ההיסטוריה שלה מכיל נרות של דקה אחת. אתם שומרים את גיבוב הקובץ, מקבעים את הקוד ומקבלים Sharpe של 1.4 בכל הרצה מחדש. אם ספק הנתונים יתקן בהמשך כמה נרות, השחזוריות הנקייה הזאת עדיין מתארת את הקובץ הישן. היא לא אומרת אם האות שורד את ההיסטוריה המתוקנת, או אם הנרות האלה היו זמינים בצורה הזאת בזמן אמת.

הגיבוב מועיל: הוא חושף את התלות. הוא לא מוכיח שהתלות אינה מזיקה.

קבעו את ההרצה; העמידו את הממצא במבחן

אני מעדיף להפריד בין שתי שאלות. האם אנחנו יכולים לשחזר את ההרצה המדויקת הזאת? והאם מסקנת המחקר שורדת שינויים סבירים? הראשונה דורשת תיעוד בלתי משתנה; השנייה דורשת שינויים מבוקרים, אחד בכל פעם.

לדוגמה, נניח שאסטרטגיית חוזים עתידיים מציגה תשואה עודפת שנתית של 8% בשחזור הבסיס. הריצו אותה מחדש עם עלויות taker גבוהות ב־25%, העבירו את המימון למועד הסליקה הנצפה הבא והסירו בתורן את שתי התרומות הגדולות ביותר. אלה אינן שלוש דרכים לשפר את המודל. אלה בדיקות: כל אחת בוחנת אם פרט סביר הוא שמניע את התוצאה המרכזית.

שמרו על כל בדיקה נפרדת. אם תשנו יחד את הנתונים, את לוח העמלות ואת תזמון הביצוע, תוצאה גרועה לא תגלה לכם הרבה. ואם בדיקה אינה סבירה, תייגו אותה כתרחיש קיצון במקום להציג אותה כתוצאה הצפויה.

אל תבלבלו בין זהות מוחלטת של הבתים לבין אמת נומרית

חישובים מסוימים רגישים לסדר. חיבור בנקודה צפה אינו אסוציאטיבי, ולכן חיבור של ערכי רווח והפסד קטנים רבים בסדר אחר יכול לשנות את הספרות האחרונות. פעולות צמצום מקביליות, חומרה וגרסאות של ספריות יכולות להשפיע על הפלט המדויק. בדרך כלל זה לא מזיק; לפעמים שינוי נומרי זעיר הופך את תוצאת ההשוואה לסף, משנה פוזיציה ושולח את יתרת הסימולציה למסלול אחר.

לכן הייתי שומר גם את התוצרים המדויקים וגם ספי סבילות להשוואה. תעדו את ספר העסקאות, לא רק את ערך Sharpe הסופי. השוו קודם החלטות ותזרימי מזומנים, ואז מדדים בטווח סבילות מוגדר. אם הפרש של סנט אחד משנה את השאלה אם לשלוח פקודה, בדקו במפורש את נקודת הגבול הזאת.

מתי השונות היא רעש, ומתי היא ממצא

לא כל מספר שהשתנה מעיד על משבר. סטייה זעירה במדד עקב סדר צמצום אחר עשויה להשאיר את העסקאות ללא שינוי. שינוי בעסקה סמוך לסף עשוי להצדיק בדיקה. אסטרטגיה שמאבדת את רוב התוצאה שלה כשספק אחד מתקן חלק קטן מההיסטוריה למדה משהו על השבריריות שלה, גם אם ההרצה המקורית עדיין ניתנת לשחזור מושלם.

למבקרים של בדיקות עמידות יש נקודה אחת נכונה: קל להמשיך לשנות הנחות עד שאסטרטגיה מועדפת נראית עמידה, או לדחות תוצאה תקפה כי תרחיש קיצון מכוון שובר אותה. הגדירו מראש את השינויים הסבירים, דווחו על כולם והבחינו בין חלופות שגרתיות לתרחישי קיצון. לאחר מכן שמרו את תרחיש הבסיס כדי שחוקר אחר יוכל לשחזר בדיוק את מה שראיתם.

שחזוריות נותנת לכם נקודת התחלה שאפשר לסמוך עליה. השאלה המועילה מגיעה אחר כך: אילו חלקים בתשובה נשארים יציבים כשהעולם סביב ההרצה משתנה בדרכים שאפשר לצפות להן באופן סביר?