הוספת שווקים לחיפוש אחר אסטרטגיה יכולה לגרום לבק־טסט הטוב ביותר להיראות חזק יותר, ובו בזמן להפוך את הראיות לחלשות יותר. לעיתים קרובות מתייחסים לעלייה ב־Sharpe אחרי הוספת סימולים כאל פיזור סיכונים; אבל אם חיפשתם את המנצחת באותם סימולים, הגדלתם גם את מספר ההזדמנויות להצליח במקרה.
ההבחנה הזאת חשובה בין אם סוכן מציע מאות אותות ובין אם חוקר בודק כמה מהם ידנית. מרחב החיפוש כולל כל שילוב של שוק, מסגרת זמן, מאפיין ופרמטר שתוצאתו השפיעה על הבחירה הסופית. העובדה ש״השקנו רק אסטרטגיה אחת״ לא אומרת כמה מועמדות נבחנו.
איך יקום שווקים גדול יותר יכול לנפח את ה־Sharpe הטוב ביותר?
דמיינו שאתם בודקים את אותה תבנית אסטרטגיה ב־40 שווקים בלתי תלויים. נניח, לשם הפשטות, שה־Sharpe האמיתי בכל שוק הוא אפס, ושגיאת התקן של כל אומדן Sharpe היא 0.5. האומדנים מתנודדים סביב אפס. אבל אם תבחרו את הגבוה ביותר, הוא יהיה בדרך כלל חיובי פשוט משום שבחרתם את הערך המרבי.
בקירוב נורמלי גס, הערך המרבי מבין 40 אומדני רעש בלתי תלויים צפוי להיות בערך 1.3 שגיאות תקן מעל אפס: בערך 0.65 Sharpe בדוגמה הזאת. המספר המדויק תלוי במידת התלות, באורך המדגם ובהתפלגות התשואות. הנקודה היא שהבחירה יוצרת אופטימיות גם כשאין לאף אסטרטגיה יתרון.
תעדו את החיפוש. רשמו כל שוק וכל מועמד שנבדקו, כולל ריצות שנכשלו וגרסאות שנזנחו. מספר הניסיונות של האסטרטגיה הסופית קשור למה שהשפיע על הבחירה, ולא למספר הקבצים שנותרו אחרי הניקוי.
שווקים אינם הטלות מטבע בלתי תלויות. BTC ו־ETH נעים לעיתים קרובות יחד; שני מדדי מניות עשויים לחלוק חלק גדול מהסיכון שלהם. הדבר מקטין את מספר הניסיונות הבלתי תלויים האפקטיבי, אך אינו מעלים את הבעיה. יתרה מזו, גם שווקים מתואמים עשויים להיות שונים בעמלות, במימון, בנזילות ובשעות שבהן האות עובד.
האם בדיקת שווקים רבים יותר נחשבת לבדיקות מרובות?
כן, כשאתם משתמשים בתוצאות כדי להחליט מה להשאיר. אם ההשערה המקורית הייתה ״הכלל הזה לוכד השפעת מימון בחוזים תמידיים מרכזיים״, בדיקת השווקים היא חלק מבדיקת ההשערה. אם בדקתם 50 שווקים, מצאתם את הטוב ביותר ואז ניסחתם את ההשערה סביב ההתנהגות שלו, בחירת היקום הפכה לחלק מהאופטימיזציה.
יש הבדל חשוב בין היקף שנקבע מראש להיקף שנקבע אחרי שראיתם את התוצאות. סל קבוע יכול להראות אם רעיון עמיד בתחום מוגדר. סל שמרחיבים עד שסימול אחד מניב עקומת הון מרשימה הוא הליך חיפוש. שתי הגישות יכולות להיות לגיטימיות מבחינה מחקרית, אבל הן עונות על שאלות שונות.
| בחירה מחקרית | על מה היא יכולה להעיד | מה היא אינה יכולה לבסס לבדה |
|---|---|---|
| סל שהוגדר מראש, יחס שווה לכל השווקים | כיצד הכלל מתנהג בשווקים שנבחרו | שהסל מייצג כל שוק שאפשר לסחור בו |
| בחירת השוק בעל הביצועים הטובים ביותר אחרי הבדיקות | באיזה מהשווקים שנבדקו התקבלה התוצאה ההיסטורית החזקה ביותר | שה־Sharpe שנבחר הוא אומדן בלתי מוטה |
| שווקים שהוחזקו מחוץ לחיפוש מראש | האם כלל שהוקפא עובר לשווקים שלא נבדקו | שהתנאים בעתיד יהיו זהים לתנאי קבוצת הביקורת |
איך בודקים אם יתרון עובר לשווקים חדשים?
הקפיאו את הבחירות המחקריות לפני פתיחת קבוצת הביקורת. כלומר, את הגדרת האות, הפרמטרים, כללי היקום, לוח הזמנים לאיזון מחדש והנחות הביצוע. לאחר מכן העריכו את האסטרטגיה ללא שינוי בשווקים שלא השפיעו על הבחירות האלה.
לדוגמה, נניח שכלל מומנטום בקריפטו פותח על חוזים תמידיים של BTC ו־ETH עד סוף 2023. תוכלו לשמור בצד קבוצה של חוזים תמידיים נזילים אחרים, שנבחרו לפי כלל שמשתמש רק במידע שהיה זמין לפני תקופת הבדיקה, ולהרחיק אותם מכל שלבי הכוונון. החילו את הכלל שהוקפא על החוזים האלה ב־2024 וב־2025. כללו את מדרגת העמלות בפועל בכל זירה, תשלומי המימון, מפרטי החוזה והנחת השפעה סבירה; בדיקת העברה ללא עלויות מסחר ייחודיות לכל שוק עלולה לבלבל בין הבדל בעלויות לכשל של אות — או להסתיר כשל כזה.
דווחו על ההתפלגות בין השווקים שהוחזקו מחוץ לחיפוש, ולא רק על ה־Sharpe המאוחד. תיק מאוחד עלול להסתיר ששוק אחד הניב כמעט את כל התשואה. הציגו את התוצאה נטו, מספר העסקאות, הירידה המרבית ואת החלק ב־P&L הכולל שתרם השוק הגדול ביותר. אם הכלל עובד רק בחוזה אחד, תארו זאת כתוצאה ייחודית לחוזה.
הקפידו גם על חלוקה הוגנת בזמן. ייתכן שלא נגעתם בשוק מסוים, אבל תקופת הנתונים שלו חופפת למשטר השוק שהניע את הביצועים בפיתוח. קבוצת ביקורת בין־שווקית בודקת אם הכלל עובר בין מכשירים; קבוצת ביקורת מתקופה מאוחרת יותר בודקת אם הוא עובר לאורך זמן. אלה בדיקות נפרדות, ותוצאה חזקה באחת אינה תחליף לאחרת.
מה אם האסטרטגיה באמת אמורה להשתמש בשווקים רבים יותר?
אז כללו אותם, אבל הגדירו כיצד. כלל תיק שסוחר בכל שוק שעומד בתנאי הסף לפי אות קבוע שונה מתחרות שבה השוק עם הביצועים ההיסטוריים הטובים ביותר מנצח. יש לקבוע זכאות בלי לבדוק ביצועים עתידיים: למשל, לפי סף נזילות בנקודת הזמן הרלוונטית ודרישת מינימום להיסטוריית נתונים. צריך לתעד גם את מועדי השינויים בחברות ביקום, אחרת רשימה עדכנית של ״שווקים נזילים״ עלולה להכניס לבק־טסט ישן את השווקים ששרדו עד היום.
המבקרים צודקים בכך שיקום צר עלול להניב אסטרטגיה שברירית, ושבדיקות רחבות הן בדיקת עמידות חשובה. הפתרון אינו להימנע מבדיקת שווקים. צריך להפריד בין השווקים ששימשו לגילוי הרעיון לבין אלה ששימשו לאתגר את הרעיון שהוקפא, ולכלול את עבודת הגילוי במכלול הראיות.
יקום גדול יותר יכול לעזור לאסטרטגיה להצליח גם מחוץ למעבדה. הוא יכול גם לעזור לבק־טסט מוצלח במקרה לנצח בתחרות הבחירה של המעבדה. יומן החיפוש וקבוצת הביקורת יראו לכם באיזה מהסיפורים תומך ה־Sharpe שלכם.
← כל הפוסטים
