בדקנו 240 קבוצות פרמטרים. התוצאה הטובה ביותר הציגה יחס Sharpe של 2.1; החציון היה 0.1; ורק 17 עברו את 1.0. המספרים האלה נשמעים כמו תגלית, עד שמבינים שגם כשלאף אסטרטגיה אין יתרון אמיתי, חיפוש רחב כל כך יכול להניב במקרה תוצאה מנצחת ומחמיאה.
המספר המפתיע הוא 240. בדוח בדיקת ביצועים מתייחסים בדרך כלל לאסטרטגיה שנבחרה כאילו הופיעה לבדה. כך מחקר לא עובד. כל שינוי בפרמטר, החלפת מאפיין, שינוי של היקום או הרצה חוזרת אחרי תוצאה מכוערת נותנים לרעש הזדמנות נוספת להיראות כמו אות.
למה ניסיון של אסטרטגיות נוספות מגדיל את ה-Sharpe הטוב ביותר?
דמיינו 240 אסטרטגיות בלתי תלויות שאין להן יתרון אמיתי, ואת ערכי ה-Sharpe המשוערים והרועשים שלהן. רוב האומדנים יהיו קרובים לאפס, אבל המקסימום נוטה להיות חיובי. ככל שבוחנים יותר מועמדות, המקסימום יכול להתרחק יותר מהאמת.
להמחשה גסה, נניח שלאומדן ה-Sharpe של כל מועמדת יש שגיאת תקן של 0.5. מתוך 240 דגימות בלתי תלויות, האומדן הגבוה ביותר עשוי להגיע לכ-1.4 סטיות תקן מעל הממוצע, כלומר בערך 0.7 Sharpe, כתוצאה מהבחירה בלבד. מועמדות אמיתיות לאסטרטגיות מתואמות זו עם זו, ולכן אי אפשר להשתמש בחישוב הזה כתיקון ולהכניס אותו לדוח. הוא מראה למה הטענה ״המנצחת עקפה את האפס״ היא ראיה חלשה אחרי חיפוש רחב.
והחיפוש כמעט אף פעם לא מסתכם ברשת הפרמטרים. ייתכן שניסיתם שלוש משפחות אותות, פסלתם שתיים אחרי שראיתם את העקומות שלהן, שיניתם את יקום המסחר ואז הרצתם שוב את זו שנשארה עם לוח איזונים מחדש אחר. אם הביצועים השפיעו על הבחירות האלה, הן חלק מהיסטוריית המחקר.
מה נחשב לניסוי בבדיקת ביצועים היסטורית?
ספרו החלטה כניסוי כשהתוצאה שלה הייתה יכולה להשפיע על בחירת האסטרטגיה. זה כולל הרצות שלא פרסמתם וגרסאות שעצרתם מוקדם כי עקומת ההון נראתה רע. כשל בקומפילציה אינו ניסוי ביצועים; הרצה שהניבה Sharpe מאכזב בדרך כלל כן.
| פעולת מחקר | בדרך כלל סופרים אותה? | למה |
|---|---|---|
| שינוי תקופת ההסתכלות מ-20 ל-30 אחרי בחינת התוצאות | כן | התוצאה הראשונה השפיעה על המועמדת הבאה |
| הרצת אותה אסטרטגיה קבועה על טווח תאריכים חדש שהוגדר מראש | בדרך כלל לא נחשב לניסוי בחירה חדש | הכלל נקבע לפני שנחשפתם לראיות האלה |
| שינוי היקום אחרי שראיתם אילו נכסים ניצחו | כן | בחירת היקום יכולה לשפר את התוצאה לכאורה |
| תיקון שגיאת תחביר והרצה מחדש של הקוד ללא שינויים | לא | שום החלטת מחקר לא התבססה על ביצועים |
קו הגבול הוא השאלה אם השתמשתם בתוצאה כדי לקבל החלטה. קשה לשחזר את זה מהזיכרון, ולכן יומן ניסויים צריך לתעד כל הרצה: את ההשערה, את גרסת הקוד או התצורה, את חלון הנתונים, את הנחות העלויות ואת התוצאה.
אפשר לתקן את ההטיה של בדיקות מרובות?
יש שיטות שמעריכות הטיית בחירה או מתקנות את המובהקות עבור ניסויים רבים. הן עשויות להועיל, אבל הן תלויות בהנחות לגבי הקשר בין המועמדות ולגבי אופן ההתנהגות של התשואות. ערך p נומינלי או אומדן Sharpe מתוקנן יחיד לא יכולים להציל חיפוש שההיסטוריה האמיתית שלו אבדה.
התחילו במה שנמצא בשליטתכם. קבעו מפרט סופי לפני הערכה של תקופה שבאמת לא נגעתם בה. הציגו את כל קבוצת המועמדות. כשבודקים וריאציות רבות שקשורות זו לזו, קבצו אותן לפי ההחלטה שהולידה אותן, במקום להעמיד פנים שכל אחת מהן היא תגלית עצמאית. דווחו על החיפוש לצד המנצחת: מספר הניסויים, כלל הבחירה והאם ההערכה הסופית הובילה לעריכות נוספות.
מבחן שימושי: אם תוצאת תקופת ההחזקה תאכזב, האם תשנו את האסטרטגיה ותכנו שוב את אותה תקופה תקופת החזקה? אם כן, היא כבר חלק מהמחקר. תצטרכו ראיות חדשות להערכה הבאה.
מה סוכן מחקר AI צריך לתעד?
סוכן יכול ליצור מועמדות מהר יותר מכפי שאדם מסוגל לזכור אותן. לכן מעקב אחר ניסויים הוא חלק ממערכת המחקר, ולא מטלת דיווח. שמרו כל מועמדת לפני ההרצה, כולל ניסוי האב שלה והסיבה לקיומה. שמרו גם הרצות שנכשלו ונפסלו. תעדו מתי אדם או סוכן בחנו את הביצועים ואיזו החלטה התקבלה בעקבות זאת.
לאחר מכן הפכו את תהליך הבחירה לניתן לשחזור: בהינתן אותה קבוצת מועמדות ואותו כלל, התהליך צריך לבחור באותה מנצחת. אם סוכן ממשיך לשנות את ההנחיה, היעד או המגבלות שלו אחרי שהוא רואה תוצאות, גם השינויים האלה הם חלק מהחיפוש.
ייתכן שכדאי לבדוק Sharpe של 2.1. המשמעות שלו תלויה במסלול שהוביל אליו. כשיומן המחקר מראה ש-240 מועמדות התחרו על הכותרת, אפשר לשאול את השאלה הנכונה הבאה: אילו ראיות עדיין נותרו, כאלה שאף אחת מהבחירות האלה עוד לא השתמשה בהן?
← כל הפוסטים
