การทดสอบย้อนหลังอาจดูน่าเชื่อถือขึ้นหลังจากที่คุณทำให้ข้อมูลแย่ลง ลบรายการราคาที่ดูไม่สวย เติมช่องว่างด้วยราคาที่เรียบร้อย แล้วค่า Sharpe อาจสูงขึ้น การปรับปรุงนั้นอาจเป็นสัญญาณเตือนว่า กฎการทำความสะอาดลบสภาวะตลาดที่กลยุทธ์ของคุณจำเป็นต้องรับมือให้อยู่รอดออกไปพอดี
คุณภาพข้อมูลสำคัญ ราคาเสนอซื้อที่สูงกว่าราคาเสนอขาย หรือรายการซื้อขายที่ซ้ำกัน อาจทำให้เกิดการจับคู่คำสั่งที่ไม่มีใครได้รับจริง แต่ตัวกรองที่ทำให้ข้อมูลที่ไม่พึงประสงค์หายไปก็เป็นการเลือกแบบจำลองอย่างหนึ่งเช่นกัน จงตั้งข้อสงสัยกับมันเช่นเดียวกับที่คุณจะสงสัยฟีเจอร์สัญญาณใหม่
ราคาแบบไหนจึงจะถือว่าเป็นข้อมูลเสียจริง ๆ?
เริ่มจากถามว่าข้อมูลจุดนั้นแทนอะไร ราคาซื้อขายที่ห่างจากตลาดในขณะนั้นมากอาจเป็นระเบียนที่เสียหาย การกวาดสภาพคล่องที่เบาบางจริง ๆ หรือเหตุการณ์เฉพาะของแพลตฟอร์มซื้อขาย แต่ละกรณีควรจัดการต่างกัน แท่งราคา 1 นาทีที่มีปริมาณซื้อขายเป็นศูนย์อาจหมายถึงไม่มีการซื้อขายเกิดขึ้น ขณะที่แท่งราคาที่หายไปอาจหมายถึงฟีดข้อมูลขัดข้อง
ลองพิจารณากลยุทธ์กลับสู่ค่าเฉลี่ยแบบง่าย ๆ ที่ซื้อเมื่อราคาลดลง 1% ต่ำกว่าค่าเฉลี่ยเคลื่อนที่ระยะสั้น และขายเมื่อราคากลับถึงค่าเฉลี่ย ในช่วงข้ามคืนที่สภาพคล่องเบาบาง มีรายการซื้อขายหนึ่งรายการเกิดขึ้นที่ราคาต่ำกว่าราคาก่อนหน้า 1.2% แล้วตลาดก็ดีดกลับ หากราคานั้นเป็นราคาจริง กลยุทธ์ที่ตั้งคำสั่งลิมิตรอไว้อาจจับคู่ได้ แต่หากเป็นราคาผิดพลาดที่ไม่มีราคาเสนอซื้อขายที่ดำเนินการได้รองรับ การนับว่าคำสั่งจับคู่ได้ก็เท่ากับสร้างผลตอบแทนส่วนเกินขึ้นมาเอง
การลบแท่งราคาออกไม่ได้ปลอดภัยกว่าโดยอัตโนมัติ กลยุทธ์อาจยังมีคำสั่งค้างอยู่ในตลาด และรายการซื้อขายจริงถัดไปอาจจับคู่คำสั่งนั้นได้ การจำลองย้อนหลังที่สมเหตุสมผลต้องจำลองสิ่งที่กลยุทธ์สังเกตเห็นได้ และสิ่งที่คำสั่งของกลยุทธ์มีโอกาสจับคู่ด้วยได้จริง
กฎการทำความสะอาดส่งผลต่อผลลัพธ์อย่างไร?
รันกลยุทธ์โดยใช้วิธีจัดการข้อมูลที่ระบุไว้อย่างชัดเจนหลายแบบ แล้วเปรียบเทียบผลที่เปลี่ยนไป เก็บข้อมูลต้นฉบับไว้และบันทึกเหตุผลของการตัดข้อมูลหรือแก้ไขแต่ละครั้ง จากนั้นรายงานว่าผลลัพธ์ขึ้นอยู่กับการตัดสินใจเหล่านั้นมากแค่ไหน
| วิธีจัดการข้อมูล | ประโยชน์ที่อาจได้รับ | ความเสี่ยงต่อการทดสอบย้อนหลัง |
|---|---|---|
| ลบรายการราคาที่อยู่นอกช่วงข้อผิดพลาดของตลาดซื้อขายที่มีเอกสารระบุไว้ | ป้องกันไม่ให้ระเบียนที่ทราบว่าใช้ไม่ได้ทำให้เกิดค่าสุดโต่ง | กฎนี้อาจจัดประเภทรายการซื้อขายจริงผิดพลาดในช่วงที่ตลาดเคลื่อนไหวเร็ว |
| ใช้ราคาล่าสุดต่อเนื่องตลอดช่วงเวลาที่ข้อมูลขาดหาย | ช่วยให้ตัวชี้วัดไม่หยุดทำงานเมื่อข้อมูลขาดช่วง | สร้างราคาที่อาจไม่มีการซื้อขายเกิดขึ้นจริง |
| ใช้ราคาเสนอซื้อขายที่รวมจากหลายแหล่งแทนราคาซื้อขายล่าสุด | ช่วยให้เห็นราคาดำเนินการที่แสดงอยู่ได้ดีขึ้น | ขนาดคำสั่ง การเข้าถึงแพลตฟอร์มซื้อขาย และลำดับในคิวก็ยังสำคัญ |
| ตัดแท่งราคาที่เป็นค่าผิดปกติทั้งหมดตามเกณฑ์ทางสถิติ | ลดความอ่อนไหวต่อค่าสุดโต่ง | อาจลบช่วงตลาดตึงเครียดจริงที่กลยุทธ์ขาดทุนมากที่สุด |
สมมติว่าการรันโดยไม่กรองข้อมูลมีค่า Sharpe 0.9 ขณะที่การรันซึ่งตัดแท่งราคาออก 0.8% มีค่า Sharpe เพิ่มเป็น 1.4 นั่นยังไม่ใช่ชัยชนะด้านคุณภาพข้อมูลด้วยตัวมันเอง ตรวจดูว่าแท่งราคาที่ถูกลบกระจุกตัวอยู่ในช่วงที่ความผันผวนพุ่งสูงหรือไม่ คิดเป็นสัดส่วนที่มีนัยสำคัญของ P&L หรือไม่ และคุณกำหนดกฎการตัดข้อมูลไว้ก่อนเห็นผลลัพธ์หรือไม่
จัดทำบัญชีข้อยกเว้นของข้อมูล โดยบันทึกแหล่งที่มา เวลา ฟิลด์ที่ได้รับผลกระทบ เหตุผลของการดำเนินการ และตัดสินใจก่อนหรือหลังตรวจดูผลการดำเนินงานของกลยุทธ์
จะทดสอบอย่างไรว่าการทำความสะอาดเปลี่ยนผลตอบแทนส่วนเกินของกลยุทธ์หรือไม่?
ตรึงกลยุทธ์ไว้ แล้วเปรียบเทียบวิธีจัดการข้อมูลที่เป็นไปได้หลายแบบโดยใช้ช่วงวันที่เดียวกัน หากทำได้ ให้รวมการจำลองย้อนหลังจากข้อมูลดิบ ชุดการแก้ไขที่มีเอกสารระบุไว้ และกรณีการดำเนินคำสั่งแบบระมัดระวังสำหรับข้อมูลที่ยังคลุมเครือ ในแต่ละรอบ ให้รายงานจำนวนรายการซื้อขาย มูลค่าการซื้อขาย การขาดทุนสูงสุดจากจุดสูงสุดถึงจุดต่ำสุด และส่วนสนับสนุน P&L จากช่วงเวลาที่ได้รับผลกระทบ ควบคู่ไปกับค่า Sharpe
จากนั้นตรวจดูรายการซื้อขายที่เปลี่ยนไป หากผู้ชนะรายใหญ่ที่สุดของกลยุทธ์หายไปเมื่อยกเว้นรายการราคาที่น่าสงสัยเพียงกลุ่มเล็ก ๆ ให้อ่านระเบียนเหล่านั้นทีละรายการ หากรายการขาดทุนหายไป ก็ตรวจสอบด้วยความละเอียดรอบคอบแบบเดียวกัน กฎที่ได้รับการพิจารณาอย่างถี่ถ้วนเฉพาะตอนที่ทำให้ผลการทดสอบย้อนหลังแย่ลง ย่อมกำลังมีอิทธิพลต่อการวิจัยอยู่แล้ว
เพื่อให้การศึกษาทำซ้ำได้ ให้กำหนดเวอร์ชันของไฟล์จากผู้ให้บริการหรือค่า checksum ของไฟล์เหล่านั้น โค้ดทำความสะอาด และรายการข้อยกเว้น ผู้ให้บริการอาจแก้ไขข้อมูลย้อนหลังได้ การรันครั้งต่อไปจึงควรทำให้ตรวจสอบได้ว่ากลยุทธ์เปลี่ยนไป หรือข้อมูลที่ใช้เปลี่ยนไป
แต่การทำความสะอาดข้อมูลก็จำเป็นไม่ใช่หรือ?
ใช่ การเก็บระเบียนที่เห็นชัดว่าเสียหายไว้อาจสร้างรายการซื้อขายขึ้นมาเอง บิดเบือนความผันผวน หรือทำให้ตัวชี้วัดทำงานผิดพลาด และไม่มีใครควรแสร้งทำเป็นว่าฟีดข้อมูลดิบคือความจริงทั้งหมด ประเด็นในทางปฏิบัตินั้นแคบกว่านั้น: การทำความสะอาดต้องมีหลักฐาน มีกฎที่ตรึงไว้ และมีการตรวจสอบความอ่อนไหว เพราะอาจเปลี่ยนว่าสภาวะตลาดแบบใดที่การทดสอบย้อนหลังอ้างว่าเป็นตัวแทน
เมื่อการแก้ไขข้อมูลทำให้ผลการดำเนินงานดีขึ้น ให้ถามว่าข้อมูลจุดใดถูกลบออก และคุณจะตัดสินใจแบบเดียวกันหรือไม่หากยังไม่เห็นเส้นทุน หากยังไม่แน่ใจ ให้เก็บทั้งสองเวอร์ชันไว้ในบันทึกการวิจัย ความแตกต่างระหว่างเวอร์ชันเป็นส่วนหนึ่งของผลลัพธ์
← บทความทั้งหมด
