กลยุทธ์ของคุณผ่านการทดลอง 240 ครั้ง คุณทำแบ็กเทสต์ไปจริง ๆ กี่ครั้ง?

เราทดสอบพารามิเตอร์ 240 ชุด ชุดที่ดีที่สุดมีค่า Sharpe 2.1 ค่ามัธยฐานอยู่ที่ 0.1 และมีเพียง 17 ชุดที่เกิน 1.0 ตัวเลขเหล่านี้ฟังดูเหมือนการค้นพบ จนกว่าคุณจะรู้ว่าแม้ทุกกลยุทธ์จะไม่มีความได้เปรียบจริง การค้นหาที่กว้างขนาดนี้ก็อาจทำให้ได้ผู้ชนะที่ดูดีเกินจริง

ตัวเลขที่น่าประหลาดใจคือ 240 โดยทั่วไปรายงานแบ็กเทสต์มักนำเสนอกลยุทธ์ที่ถูกเลือกเสมือนว่ามันเกิดขึ้นมาเพียงลำพัง แต่งานวิจัยไม่ได้เป็นเช่นนั้น การปรับพารามิเตอร์ทุกครั้ง การเปลี่ยนฟีเจอร์ การเปลี่ยนชุดสินทรัพย์ และการรันใหม่หลังผลออกมาไม่น่าพอใจ ล้วนเปิดโอกาสให้สัญญาณรบกวนดูเหมือนสัญญาณจริงอีกครั้ง

ทำไมการลองกลยุทธ์มากขึ้นถึงทำให้ค่า Sharpe ที่ดีที่สุดสูงเกินจริง?

ลองนึกถึงกลยุทธ์อิสระ 240 แบบที่ไม่มีความได้เปรียบจริงและมีค่า Sharpe ประมาณการที่ผันผวน ค่าส่วนใหญ่จะอยู่ใกล้ศูนย์ แต่ค่าสูงสุดมักเป็นบวก ยิ่งคุณตรวจดูตัวเลือกมาก ค่าสูงสุดก็ยิ่งมีโอกาสห่างจากค่าจริงมากขึ้น

ลองดูตัวอย่างคร่าว ๆ สมมติว่าค่า Sharpe ประมาณการของแต่ละตัวเลือกมีค่าคลาดเคลื่อนมาตรฐาน 0.5 เมื่อสุ่มตัวเลือกอิสระ 240 ครั้ง ค่าประมาณที่สูงที่สุดอาจอยู่เหนือค่าเฉลี่ยราว 1.4 เท่าของค่าคลาดเคลื่อนมาตรฐาน หรือประมาณ 0.7 หน่วย Sharpe เพียงเพราะการคัดเลือก ตัวเลือกกลยุทธ์จริงมีความสัมพันธ์กัน ดังนั้นการคำนวณนี้จึงไม่ใช่ค่าปรับที่นำไปใส่ในรายงานได้โดยตรง แต่ช่วยให้เห็นว่าเหตุใด “ผู้ชนะมีผลดีกว่าศูนย์” จึงเป็นหลักฐานที่อ่อน หลังจากค้นหาในวงกว้าง

และการค้นหาก็มักไม่ได้จำกัดอยู่แค่กริดพารามิเตอร์ คุณอาจลองสัญญาณ 3 กลุ่ม ตัดทิ้ง 2 กลุ่มหลังเห็นกราฟ เปลี่ยนชุดสินทรัพย์ที่ซื้อขาย แล้วรันตัวที่เหลือใหม่ด้วยตารางปรับสมดุลพอร์ตแบบอื่น หากผลการดำเนินงานมีอิทธิพลต่อการตัดสินใจเหล่านั้น ก็ควรบันทึกไว้ในประวัติการวิจัย

อะไรบ้างที่นับเป็นการทดลองแบ็กเทสต์?

ให้นับการตัดสินใจเป็นการทดลอง หากผลลัพธ์อาจมีผลต่อการเลือกกลยุทธ์ของคุณ ซึ่งรวมถึงรันที่คุณไม่เผยแพร่ และรูปแบบที่คุณหยุดก่อนกำหนดเพราะกราฟมูลค่าพอร์ตดูแย่ ข้อผิดพลาดในการคอมไพล์ไม่นับเป็นการทดลองด้านผลการดำเนินงาน แต่การรันที่ได้ค่า Sharpe น่าผิดหวังมักนับ

เส้นแบ่งอยู่ที่ว่าคุณใช้ผลลัพธ์มาตัดสินใจหรือไม่ เรื่องนี้อาจย้อนดูจากความทรงจำได้ยาก นั่นจึงเป็นเหตุผลที่บันทึกการทดลองควรระบุสมมติฐาน เวอร์ชันโค้ดหรือการตั้งค่า ช่วงข้อมูล สมมติฐานด้านต้นทุน และผลลัพธ์ของทุกรัน

ปรับแก้ผลจากการทดสอบหลายสมมติฐานได้ไหม?

มีวิธีประเมินอคติจากการคัดเลือกหรือปรับนัยสำคัญทางสถิติเมื่อมีการทดลองหลายครั้ง วิธีเหล่านี้มีประโยชน์ได้ แต่ต้องอาศัยสมมติฐานเกี่ยวกับความสัมพันธ์ระหว่างตัวเลือกและลักษณะของผลตอบแทน ค่า p-value ตามเกณฑ์ทั่วไปหรือค่าประมาณ Sharpe ที่ปรับลดอคติเพียงค่าเดียว ไม่อาจกู้การค้นหาที่คุณทำประวัติจริงสูญหายไปแล้วได้

เริ่มจากสิ่งที่คุณควบคุมได้ กำหนดรายละเอียดขั้นสุดท้ายให้ตายตัวก่อนประเมินช่วงเวลาที่ยังไม่เคยแตะต้องจริง เก็บตัวเลือกทั้งหมดไว้ให้ตรวจดูได้ เมื่อทดสอบรูปแบบที่เกี่ยวข้องกันหลายแบบ ให้จัดกลุ่มตามการตัดสินใจที่ทำให้เกิดรูปแบบเหล่านั้น แทนที่จะแสร้งว่าแต่ละแบบเป็นการค้นพบที่เป็นอิสระต่อกัน รายงานการค้นหาควบคู่กับผู้ชนะด้วย โดยระบุจำนวนการทดลอง กฎการคัดเลือก และผลการประเมินขั้นสุดท้ายมีอิทธิพลต่อการแก้ไขเพิ่มเติมหรือไม่

เอเจนต์วิจัย AI ควรบันทึกอะไรบ้าง?

เอเจนต์สร้างตัวเลือกได้เร็วกว่าที่คนจะจดจำไว้ในความคิด การนับการทดลองจึงเป็นส่วนหนึ่งของระบบวิจัย ไม่ใช่งานเอกสารเพื่อรายงานผล ให้บันทึกตัวเลือกแต่ละรายการก่อนเริ่มรัน รวมถึงการทดลองต้นทางและเหตุผลที่สร้างตัวเลือกนั้น เก็บรันที่ล้มเหลวและถูกคัดทิ้งไว้ด้วย บันทึกเวลาที่คนหรือเอเจนต์ตรวจดูผลการดำเนินงาน และการตัดสินใจที่ตามมา

จากนั้นทำให้กระบวนการคัดเลือกทำซ้ำได้ โดยใช้ชุดตัวเลือกและกฎเดียวกันแล้วต้องเลือกผู้ชนะคนเดิม หากเอเจนต์เปลี่ยนพรอมป์ต์ วัตถุประสงค์ หรือข้อจำกัดไปเรื่อย ๆ หลังเห็นผล การเปลี่ยนแปลงเหล่านั้นก็เป็นส่วนหนึ่งของการค้นหาเช่นกัน

ค่า Sharpe 2.1 อาจคุ้มค่าที่จะตรวจสอบต่อ ความหมายของมันขึ้นอยู่กับเส้นทางที่ทำให้ได้ค่านั้น เมื่อบันทึกการวิจัยระบุว่ามีตัวเลือก 240 แบบแข่งขันกันเพื่อชิงตำแหน่งตัวเลขเด่น คุณก็ถามคำถามถัดไปได้ตรงจุดว่า ยังมีหลักฐานอะไรเหลืออยู่บ้างที่การตัดสินใจเหล่านั้นยังไม่ได้ใช้ไปแล้ว?