การเพิ่มตลาดเข้าไปในการค้นหากลยุทธ์อาจทำให้ Backtest ที่ดีที่สุดดูแข็งแกร่งขึ้น ทั้งที่หลักฐานกลับอ่อนลง Sharpe ที่สูงขึ้นหลังเพิ่มสัญลักษณ์มักถูกมองว่าเป็นการกระจายความเสี่ยง แต่ถ้าคุณค้นหาผู้ชนะจากสัญลักษณ์เหล่านั้นด้วย ก็เท่ากับเพิ่มโอกาสที่จะได้ผลดีเพราะโชคช่วย
ความแตกต่างนี้สำคัญ ไม่ว่า agent จะเสนอ signal หลายร้อยรายการ หรือนักวิจัยจะทดสอบด้วยตนเองเพียงไม่กี่รายการ พื้นที่การค้นหาครอบคลุมทุกชุดผสมของตลาด กรอบเวลา feature และพารามิเตอร์ที่ผลลัพธ์มีอิทธิพลต่อการเลือกขั้นสุดท้าย การบอกว่า “เราเปิดใช้กลยุทธ์แค่หนึ่งแบบ” ไม่ได้บอกว่ามีผู้สมัครกี่รายที่เข้ารอบคัดเลือก
ทำไม universe ของตลาดที่ใหญ่ขึ้นจึงทำให้ Sharpe ที่ดีที่สุดสูงเกินจริงได้?
ลองนึกภาพว่าทดสอบ template กลยุทธ์เดียวกันกับตลาดที่ไม่เกี่ยวข้องกัน 40 แห่ง สมมติให้ง่ายว่า Sharpe จริงของทุกตลาดเป็นศูนย์ และ Sharpe ที่ประมาณได้แต่ละค่ามีค่าคลาดเคลื่อนมาตรฐาน 0.5 ค่าประมาณเหล่านี้จะแกว่งอยู่รอบศูนย์ แต่ถ้าเลือกค่าที่สูงที่สุด ค่านั้นก็มักจะเป็นบวกเพียงเพราะคุณเลือกค่าสูงสุด
ภายใต้การประมาณแบบปกติอย่างคร่าว ๆ ค่าความผันผวนที่สูงที่สุดจาก 40 ค่า ซึ่งเป็นอิสระต่อกัน คาดว่าจะอยู่ราว 1.3 เท่าของค่าคลาดเคลื่อนมาตรฐานเหนือศูนย์ หรือประมาณ Sharpe 0.65 ในตัวอย่างนี้ ตัวเลขที่แน่นอนขึ้นอยู่กับความสัมพันธ์กัน ความยาวของตัวอย่าง และการกระจายของผลตอบแทน ประเด็นคือการคัดเลือกทำให้มองโลกในแง่ดีเกินจริง แม้ไม่มีกลยุทธ์ใดมี edge
เก็บบันทึกการค้นหาไว้ บันทึกทุกตลาดและผู้สมัครที่ตรวจสอบ รวมถึงรอบที่ไม่ผ่านและรูปแบบที่เลิกใช้ไปแล้ว จำนวนการทดลองของกลยุทธ์สุดท้ายควรนับจากสิ่งที่มีอิทธิพลต่อการเลือก ไม่ใช่นับจากจำนวนไฟล์ที่เหลือหลังจัดระเบียบ
ตลาดไม่ได้เป็นการโยนเหรียญที่เป็นอิสระต่อกัน BTC และ ETH มักเคลื่อนไหวไปด้วยกัน ส่วนดัชนีหุ้นสองตัวอาจมีความเสี่ยงส่วนใหญ่ร่วมกัน สิ่งนี้ลดจำนวนการทดลองอิสระที่แท้จริง แต่ไม่ได้ทำให้ปัญหาหายไป และตลาดที่มีความสัมพันธ์กันก็ยังแตกต่างกันได้ทั้งค่าธรรมเนียม funding สภาพคล่อง และช่วงเวลาที่ signal ใช้ได้ผล
การทดสอบตลาดมากขึ้นนับเป็นการทดสอบหลายครั้งหรือไม่?
นับ เมื่อคุณใช้ผลลัพธ์เพื่อตัดสินใจว่าจะเก็บอะไรไว้ หากสมมติฐานตั้งต้นคือ “กฎนี้จับผลกระทบจาก funding ใน perpetuals หลักได้” การดูผลจากหลายตลาดก็เป็นส่วนหนึ่งของการทดสอบสมมติฐานนั้น หากทดสอบ 50 ตลาด เลือกตลาดที่ดีที่สุด แล้วค่อยเขียนสมมติฐานให้สอดคล้องกับพฤติกรรมของตลาดนั้น การเลือก universe ก็กลายเป็นส่วนหนึ่งของการปรับแต่งแล้ว
การกำหนดขอบเขตตลาดไว้ล่วงหน้าต่างจากการเลือกขอบเขตหลังเห็นผลลัพธ์อย่างชัดเจน ตะกร้าตลาดที่กำหนดตายตัวช่วยให้เห็นได้ว่าแนวคิดหนึ่งทนทานทั่วขอบเขตที่ระบุไว้หรือไม่ ส่วนการขยายตะกร้าไปเรื่อย ๆ จนกว่าสัญลักษณ์หนึ่งจะให้เส้น equity ที่สะดุดตา คือกระบวนการค้นหา ทั้งสองแบบเป็นงานวิจัยที่ถูกต้องได้ แต่ตอบคำถามคนละข้อ
| ทางเลือกในการวิจัย | สิ่งที่ใช้สนับสนุนได้ | สิ่งที่ยังสรุปไม่ได้ด้วยตัวเลือกนี้เพียงอย่างเดียว |
|---|---|---|
| ตะกร้าที่กำหนดไว้ล่วงหน้าและปฏิบัติต่อตลาดเท่าเทียมกัน | กฎทำงานอย่างไรในตลาดที่เลือกไว้ | ตะกร้านั้นเป็นตัวแทนของทุกตลาดที่ซื้อขายได้ |
| เลือกตลาดที่ผลงานดีที่สุดหลังทดสอบแล้ว | ตลาดที่ทดสอบแห่งใดให้ผลย้อนหลังแข็งแกร่งที่สุด | Sharpe ที่เลือกมานั้นเป็นค่าประมาณที่ไม่เอนเอียง |
| ตลาดที่กันไว้ก่อนเริ่มค้นหา | กฎที่ตรึงไว้ใช้ได้กับตลาดที่ไม่ได้แตะต้องหรือไม่ | สภาวะในอนาคตจะเหมือนกับชุดที่กันไว้ |
จะทดสอบได้อย่างไรว่า edge ใช้ได้กับตลาดใหม่?
ตรึงทางเลือกในการวิจัยทั้งหมดก่อนเปิดดูชุด holdout ซึ่งหมายถึงนิยาม signal พารามิเตอร์ กฎของ universe ตารางการปรับสมดุลพอร์ต และสมมติฐานด้านการส่งคำสั่ง จากนั้นประเมินกลยุทธ์ที่ไม่มีการเปลี่ยนแปลงกับตลาดที่ไม่ได้มีอิทธิพลต่อทางเลือกเหล่านั้น
ตัวอย่างเช่น สมมติว่าพัฒนากฎ momentum สำหรับคริปโตบน perpetuals ของ BTC และ ETH จนถึงปี 2023 คุณอาจกัน perpetuals สภาพคล่องสูงอื่น ๆ ไว้ชุดหนึ่ง โดยเลือกด้วยกฎที่ใช้เฉพาะข้อมูลซึ่งมีอยู่ก่อนช่วงทดสอบ และไม่นำตลาดเหล่านั้นไปปรับแต่งเลย จากนั้นใช้กฎที่ตรึงไว้กับสัญญาเหล่านั้นในปี 2024 และ 2025 รวมระดับค่าธรรมเนียมจริงของแต่ละ venue การจ่าย funding รายละเอียดสัญญา และสมมติฐานด้าน market impact ที่มีเหตุผล การทดสอบการถ่ายโอนที่ไม่คิดต้นทุนการซื้อขายเฉพาะตลาดอาจเข้าใจผิดว่าความแตกต่างด้านต้นทุนคือความล้มเหลวของ signal หรืออาจกลบความล้มเหลวนั้นไว้
รายงานการกระจายของผลลัพธ์ในตลาด holdout ไม่ใช่แค่ Sharpe รวมของพอร์ต พอร์ตที่รวมทุกตลาดอาจซ่อนความจริงที่ว่าตลาดเดียวสร้างผลตอบแทนเกือบทั้งหมด แสดงผลสุทธิ จำนวนการเทรด drawdown และสัดส่วน P&L ทั้งหมดที่มาจากตลาดที่มีสัดส่วนสูงสุดของแต่ละตลาด หากกฎใช้ได้ผลกับสัญญาเดียวเท่านั้น ให้เรียกผลนี้ว่าผลเฉพาะสัญญา
แบ่งช่วงเวลาอย่างตรงไปตรงมาด้วย ตลาดอาจไม่เคยถูกแตะต้อง แต่ช่วงข้อมูลของตลาดนั้นอาจทับซ้อนกับ regime เดียวกับที่ขับเคลื่อนผลงานระหว่างการพัฒนา holdout ข้ามตลาดถามว่ากฎใช้ได้กับตราสารอื่นหรือไม่ ส่วน holdout ในช่วงเวลาถัดมาถามว่ากฎใช้ได้ข้ามช่วงเวลาหรือไม่ นี่คือการทดสอบคนละแบบ และผลที่แข็งแกร่งจากแบบหนึ่งใช้แทนอีกแบบไม่ได้
ถ้ากลยุทธ์ควรใช้ตลาดมากขึ้นจริง ๆ ล่ะ?
ก็รวมตลาดเหล่านั้นเข้าไป แต่ต้องกำหนดวิธีให้ชัด กฎพอร์ตที่ซื้อขายทุกตลาดซึ่งเข้าเกณฑ์ตาม signal ที่กำหนดตายตัว แตกต่างจากการแข่งขันที่ตลาดซึ่งเคยทำผลงานดีที่สุดเป็นผู้ชนะ ควรกำหนดคุณสมบัติโดยไม่ดูผลงานในอนาคต เช่น ใช้เกณฑ์สภาพคล่อง ณ เวลานั้นและข้อกำหนดประวัติขั้นต่ำ การเปลี่ยนแปลงสมาชิกใน universe ต้องมี timestamp ด้วย มิฉะนั้นรายชื่อตลาดสภาพคล่องในปัจจุบันอาจแอบนำผู้รอดจากวันนี้เข้าไปใน Backtest ย้อนหลัง
ผู้วิจารณ์พูดถูกที่ว่า universe แคบอาจทำให้กลยุทธ์เปราะบาง และการทดสอบในวงกว้างเป็นการตรวจสอบความทนทานที่มีประโยชน์ คำตอบไม่ใช่การเลี่ยงทดสอบตลาด แต่คือการแยกตลาดที่ใช้ค้นพบแนวคิดออกจากตลาดที่ใช้ท้าทายแนวคิดซึ่งตรึงไว้ แล้วนับงานค้นหานั้นเป็นส่วนหนึ่งของหลักฐาน
universe ที่ใหญ่ขึ้นอาจช่วยให้กลยุทธ์อยู่รอดนอกห้องทดลองได้ และยังอาจช่วยให้ Backtest ที่ได้ผลดีเพราะโชคชนะการแข่งขันคัดเลือกของห้องทดลองด้วย บันทึกการค้นหาและชุด holdout จะบอกได้ว่า Sharpe ของคุณสนับสนุนเรื่องใด
← บทความทั้งหมด
