เราให้ AI research agent ปรับกลยุทธ์ให้เหมาะที่สุด บันทึกการทดลองกลับไม่น่าประทับใจเท่าไร

วันจันทร์ AI research agent ของเราพบกลยุทธ์คริปโตฟิวเจอร์สที่มี Sharpe ratio 4.1 พอถึงวันพฤหัสบดี หลังจากเรานับจำนวนการทดลองและหยุดให้ agent ปรับค่ากับช่วงตรวจสอบเดิมซ้ำ ๆ ผลลัพธ์ก็เหลือ 0.8 กลยุทธ์ไม่ได้เปลี่ยนไป สิ่งที่เปลี่ยนคือการประเมินของเราว่าการค้นหานั้นทำอะไรสำเร็จไปบ้าง

เราทำบันทึกการวิจัยสั้น ๆ นี้ เพราะคำแนะนำว่า “ปรับให้เหมาะสมอย่างรอบคอบ” นั้นพูดง่าย แต่ทำให้เป็นขั้นตอนปฏิบัติจริงได้ยาก เมื่อ agent เขียนโค้ด เปิด backtest ตรวจคะแนน แล้วลองใหม่ได้ภายในไม่กี่นาที นี่คือสิ่งที่ผิดพลาด ตามลำดับ

วันจันทร์: ตั้งโจทย์ให้ agent อย่างมีขอบเขต

เราขอให้ agent ทดสอบแนวคิดตามเทรนด์แบบรายชั่วโมงที่เรียบง่ายในตลาด perpetual futures ที่มีสภาพคล่องสูง: เข้าเมื่อค่าเฉลี่ยเคลื่อนที่ระยะสั้นตัดผ่านค่าเฉลี่ยระยะยาว กำหนดขนาดสถานะตามเป้าหมายความผันผวนคงที่ และปิดสถานะเมื่อเกิดสัญญาณกลับทิศ เราระบุสินทรัพย์ วันที่ ตารางค่าธรรมเนียม ประวัติ funding สมมติฐานการส่งคำสั่ง และช่วงพารามิเตอร์ที่อนุญาตให้ค้นหาไว้ชัดเจน

ข้อมูลย้อนหลังครอบคลุมปี 2021 ถึง 2025 เราแบ่งปี 2021–2023 เป็นช่วงพัฒนา ใช้ปี 2024 สำหรับตรวจสอบ และเก็บปี 2025 ไว้เป็นชุดทดสอบสุดท้ายที่ปิดผนึกไว้ การแบ่งนี้ถูกกำหนดไว้ใน job configuration ดังนั้น agent จึงอ่านผลช่วงพัฒนาและคะแนนช่วงตรวจสอบได้ แต่ดึงผลตอบแทนจากชุดทดสอบไม่ได้

ความผิดพลาดแรกของเราคือการปล่อยให้ค้นหาชุดพารามิเตอร์ 300 แบบในงานเดียว โดยไม่ได้บันทึกงบการค้นหาไว้เป็นผลการวิจัย agent ส่งค่าที่ทำผลงานดีที่สุดกลับมา ได้แก่ ค่าเฉลี่ยเร็ว 9 ชั่วโมง ค่าเฉลี่ยช้า 73 ชั่วโมง และเป้าหมายความผันผวน 0.8% ค่า Sharpe ในช่วงตรวจสอบคือ 4.1 เรารู้ว่า agent ลองตั้งค่ามาหลายแบบ แต่ตอนนั้นเรายังไม่ได้ทำให้ข้อเท็จจริงนี้เป็นสิ่งที่ลืมไม่ได้

วันอังคาร: ค่าที่ชนะเปลี่ยนไปเมื่อเรารันทดสอบซ้ำ

เรารันงานเดิมซ้ำจากสภาพแวดล้อมใหม่ทั้งหมด ค่าที่ทำผลงานดีที่สุดเปลี่ยนไป และ Sharpe ลดลงเหลือ 2.7 แคชข้อมูลตลาดส่งชุดข้อมูล funding ที่อัปเดตแล้วมาให้ในการรันครั้งแรก ส่วนการรันซ้ำใช้ snapshot ที่ตรึงเวอร์ชันไว้ ทั้งสองงานระบุว่าใช้ช่วงวันที่เดียวกัน แต่มีเพียงงานเดียวที่ใช้ข้อมูลเวอร์ชันที่ทำซ้ำได้

เราหยุดเปรียบเทียบคะแนน แล้วเริ่มบันทึกการทดลองทั้งหมด ได้แก่ revision ของโค้ด snapshot ข้อมูล ค่าธรรมเนียม funding การตั้งค่าการส่งคำสั่ง ค่าพารามิเตอร์ และทุกครั้งที่ agent เปิดการทดลอง บันทึกนั้นแสดงให้เห็นว่า 4.1 ไม่ใช่ความได้เปรียบลึกลับจากตลาด แต่เป็นผลของการตั้งค่าแบบหนึ่งจากการค้นหา 300 ครั้งบนปีตรวจสอบเดียวกัน

วันพุธ: ตรึงการค้นหาก่อนเปิดชุดทดสอบ

เรารันการทดลองใหม่ด้วย snapshot ข้อมูลที่กำหนดตายตัว และกริดขนาดเล็กกว่าที่ประกาศไว้ล่วงหน้า คือ 24 ชุด agent จัดอันดับชุดเหล่านี้จากช่วงพัฒนาปี 2021–2023 ได้ เราให้ดูปี 2024 เพียงครั้งเดียวเพื่อเลือก จากนั้นล็อกค่าที่เลือกและโค้ดไว้

กลยุทธ์ที่เลือกได้ Sharpe 0.8 ในช่วงตรวจสอบ ส่วนชุดทดสอบปี 2025 ที่ปิดผนึกไว้ได้ 0.3 หลังหัก taker fees, funding และใช้ความล่าช้าในการส่งคำสั่ง 1 แท่งเหมือนกันตลอดการศึกษา นี่เป็นคำตอบที่มีประโยชน์ แต่ไม่ได้เป็นหลักฐานว่ากลยุทธ์จะทำกำไรได้ในบัญชีเงินจริง

เกร็ดหนึ่งจากสัปดาห์นี้: เราใช้เวลาตกลงกันว่า “การทดลอง 1 ครั้ง” หมายถึงอะไร มากกว่าที่ใช้เขียนโค้ดค่าเฉลี่ยเคลื่อนที่ เรานับการเปลี่ยนชุดพารามิเตอร์เป็นการทดลอง และนับการรันที่เปลี่ยนสัญญาณหรือกฎกำหนดขนาดสถานะด้วย การใช้ snapshot ข้อมูลใหม่หรือสมมติฐานการส่งคำสั่งแบบใหม่จะมีบันทึกการรันแยกต่างหาก เพราะสิ่งเหล่านี้อาจเปลี่ยนอันดับผลลัพธ์ได้พอ ๆ กัน

วันพฤหัสบดี: สิ่งที่เราจะข้ามไปในครั้งหน้า

เราจะข้ามงานแรกที่ปล่อยให้ค้นหาได้ไม่จำกัด agent วิจัยต้องมีงบการค้นหาและบันทึกสิ่งที่ได้ลอง โดยเฉพาะเมื่อ agent ใช้ผลแต่ละครั้งตัดสินใจได้ว่าจะลองอะไรต่อ ชุดทดสอบก็ต้องได้รับการปกป้องจากการแอบดูผลอย่างไม่เป็นทางการเช่นกัน เมื่อมีคนอ่านผลแล้วเปลี่ยนกลยุทธ์ ชุดนั้นก็กลายเป็นชุดตรวจสอบอีกชุดหนึ่ง

สำหรับการค้นหาขนาดเล็ก บันทึกการทดลองที่ใช้งานได้จริงอาจทำให้ง่ายและชัดเจนได้ดังนี้:

หลังเปิดชุดทดสอบแล้ว ให้กลับไปตั้งคำถามวิจัยใหม่ในช่วงพัฒนา และเก็บผลเดิมไว้เป็นหลักฐานในอดีต อย่าคอยขัดเกลากลยุทธ์เดิมโดยอิงกับช่วงเวลาที่มันเคยเห็นผลมาแล้ว

agent ทำหน้าที่ของมันได้ดี: ค้นหาได้รวดเร็วและพบการตั้งค่าที่ควรตรวจสอบต่อ ส่วนหน้าที่ของเราคือทำให้การค้นหาตรวจสอบย้อนหลังได้ เก็บชุดทดสอบที่ยังไม่ถูกแตะต้องไว้ และมองคะแนนเป็นค่าที่วัดได้พร้อมประวัติของมัน ผลที่น่าสนใจไม่ใช่ 4.1 หรือ 0.3 แต่คือการได้เห็นชัด ๆ ว่าตัวเลขแรกเกิดขึ้นมาได้อย่างไร