ביום שני סוכן המחקר שלנו מבוסס ה-AI מצא אסטרטגיית חוזים עתידיים בקריפטו עם יחס Sharpe של 4.1. עד יום חמישי, אחרי שסיכמנו את הניסויים והפסקנו לאפשר לסוכן לכוונן את האסטרטגיה מול אותו חלון אימות, התוצאה הייתה 0.8. האסטרטגיה לא השתנתה. ההערכה שלנו לגבי מה שהחיפוש השיג היא שהשתנתה.
ניהלנו את זה כיומן מחקר קצר, משום שקל לייעץ «לבצע אופטימיזציה בזהירות», אבל קשה להפוך את העצה לנוהל כשסוכן יכול לכתוב קוד, להפעיל בדיקות עבר, לבדוק את הציון ולנסות שוב בתוך דקות. הנה מה שהשתבש, לפי הסדר.
יום שני: מציבים לסוכן שאלה מוגדרת היטב
ביקשנו מהסוכן לבדוק רעיון פשוט למעקב אחר מגמה על בסיס שעה, בשוק נזיל של חוזים עתידיים תמידיים: להיכנס כשממוצע נע קצר חוצה ממוצע ארוך יותר, לקבוע גודל פוזיציה לפי יעד תנודתיות קבוע ולסגור אותה עם האות ההפוך. הגדרנו את המכשיר, התאריכים, לוח העמלות, היסטוריית המימון, הנחת הביצוע וטווחי הפרמטרים שאפשר לחקור.
המדגם ההיסטורי כיסה את השנים 2021 עד 2025. הקצינו את 2021–2023 לפיתוח, את 2024 לאימות, ואת 2025 שמרנו כתקופת בדיקה סופית חסויה. החלוקה הוגדרה בתצורת המשימה, כך שהסוכן יכול היה לקרוא את תוצאות הפיתוח ואת ציוני האימות, אבל לא לשלוף תשואות מתקופת הבדיקה.
הטעות הראשונה שלנו הייתה לאפשר 300 צירופי פרמטרים במשימה אחת בלי לתעד את תקציב החיפוש כתוצאת מחקר. הסוכן החזיר את התוצאה הטובה ביותר: ממוצע מהיר של 9 שעות, ממוצע איטי של 73 שעות ויעד תנודתיות של 0.8%. ה-Sharpe באימות היה 4.1. ידענו שהסוכן ניסה הרבה הגדרות. עדיין לא דאגנו שאי אפשר יהיה לשכוח את העובדה הזאת.
יום שלישי: המנצח התחלף כשהרצנו את הניסוי שוב
הרצנו מחדש את אותה משימה בסביבה נקייה. ההגדרה המובילה השתנתה, וה-Sharpe שלה ירד ל-2.7. מטמון נתוני שוק סיפק סדרת מימון מעודכנת בהרצה הראשונה, ואילו בהרצה החוזרת נעשה שימוש בתמונת מצב מקובעת. שתי המשימות טענו שהשתמשו באותו טווח תאריכים; רק לאחת מהן הייתה גרסת נתונים שניתן לשחזר.
הפסקנו להשוות ציונים והתחלנו לתעד את הניסוי המלא: גרסת הקוד, תמונת מצב של הנתונים, עמלות, מימון, הגדרות ביצוע, ערכי הפרמטרים וכל ניסוי שהסוכן הפעיל. כך התברר שה-4.1 לא היה יתרון שוק מסתורי. הוא התקבל מהגדרה אחת בחיפוש של 300 ניסיונות מול אותה שנת אימות.
יום רביעי: מקפיאים את החיפוש לפני פתיחת תקופת הבדיקה
הרצנו מחדש את הניסוי עם תמונת מצב קבועה של הנתונים ועם רשת קטנה יותר שהוגדרה מראש: 24 צירופים. הסוכן יכול היה לדרג אותם לפי תקופת הפיתוח 2021–2023. אפשרנו לו לראות את 2024 פעם אחת, לצורך הבחירה, ואז נעלנו את ההגדרות שנבחרו ואת הקוד.
האסטרטגיה שנבחרה קיבלה Sharpe של 0.8 באימות. בתקופת הבדיקה החסויה של 2025 היא קיבלה 0.3 אחרי עמלות taker, מימון ואותו עיכוב ביצוע של נר אחד שהוחל לאורך כל המחקר. זו הייתה תשובה מועילה. היא לא הייתה ראיה לכך שהאסטרטגיה תרוויח כסף בחשבון חי.
הערת אגב מהשבוע: הקדשנו יותר זמן להסכמה על המשמעות של «ניסיון אחד» מאשר לכתיבת קוד הממוצעים הנעים. ספרנו כל סט פרמטרים ששונה כניסיון, וגם הרצות שבהן השתנה כלל האיתות או קביעת גודל הפוזיציה. שינוי בתמונת מצב של הנתונים או בהנחת הביצוע תועד כהרצה נפרדת, כי הוא עשוי לשנות את הדירוג באותה מידה.
יום חמישי: על מה היינו מוותרים בפעם הבאה
היינו מוותרים על המשימה הפתוחה מדי של ההתחלה. סוכן מחקר צריך תקציב חיפוש ותיעוד של מה שניסה, במיוחד כשהוא יכול להשתמש בכל תוצאה כדי להחליט מה לנסות בהמשך. צריך גם להגן על תקופת הבדיקה מפני הצצות לא רשמיות: ברגע שמישהו קורא את התוצאה ומשנה את האסטרטגיה, התקופה הזאת הופכת לעוד מערך אימות.
לחיפוש קטן, יומן ניסויים מעשי יכול להיות פשוט ומפורש:
| מה מתעדים | למה זה חשוב |
|---|---|
| גרסאות הקוד והנתונים | כדי שהרצה חוזרת תשתמש באותם נתונים ובאותה לוגיקה |
| כל גרסה שנוסתה | כדי להבין את התוצאה המובילה בהקשר של החיפוש |
| התפקידים של הפיתוח, האימות ותקופת הבדיקה | כדי שלא ייעשה שימוש חוזר בציון הסופי לצורך כוונון |
| עמלות, מימון והנחות ביצוע | כדי שהתוצאה המדווחת תתאר סימולציה שאפשר לבדוק |
אחרי פתיחת תקופת הבדיקה, חוזרים לפיתוח עם שאלת מחקר חדשה ושומרים את התוצאה הישנה כראיה היסטורית. אל תמשיכו לשפר את אותה אסטרטגיה מול תקופה שהיא כבר נחשפה אליה.
הסוכן עשה את עבודתו: הוא חיפש במהירות ומצא תצורה שכדאי לבחון. התפקיד שלנו היה להפוך את החיפוש לברור, לשמור על בדיקה שלא נגעה בה ולראות בציון מדידה שיש לה היסטוריה. התוצאה המעניינת לא הייתה 4.1 או 0.3. היא הייתה לראות בדיוק איך נוצר המספר הראשון.
← כל הפוסטים
