แบ็กเทสต์อาจระบุเวลาของแท่งราคาได้ถูกต้องทุกแท่ง แต่ยังใช้ข้อมูลจากวันพรุ่งนี้ได้ เรื่องนี้เกิดขึ้นเมื่อกลยุทธ์ทดสอบสินทรัพย์ที่ยังอยู่รอดในวันนี้ย้อนหลังไปหลายปี ราวกับว่ารู้อยู่แล้วว่าตลาดใดจะยังมีสภาพคล่อง ยังจดทะเบียนอยู่ และคุ้มค่าแก่การเก็บไว้
การสร้างจักรวาลสินทรัพย์เป็นส่วนหนึ่งของกลยุทธ์ หากระบบที่ใช้งานจริงเลือกได้เฉพาะสินทรัพย์ที่มีอยู่ ณ เวลาตัดสินใจแต่ละครั้ง แบ็กเทสต์ก็ต้องยึดขอบเขตเดียวกัน ทางลัด 3 แบบที่พบได้บ่อยทำให้ขอบเขตนี้หายไป
ข้อผิดพลาดข้อแรก: ใช้รายชื่อสินทรัพย์วันนี้ทดสอบย้อนหลังตลอดช่วงข้อมูล
สมมติว่าคุณคัดเลือกตลาดคริปโต perpetual ที่มีขนาดใหญ่ที่สุด 50 แห่งในวันนี้ แล้วนำไปแบ็กเทสต์ตั้งแต่ปี 2021 รายชื่อนี้จะตัดสัญญาที่หายไป สภาพคล่องลดลง หรือถูกเพิกถอนออกไป และยังทำให้วันที่ในอดีตเข้าถึงตลาดที่อาจยังไม่เกิดขึ้นในตอนนั้น
ร่องรอยความเสียหายมองข้ามได้ง่าย: กลยุทธ์ดูมีเสถียรภาพมากขึ้น เพราะสินทรัพย์ที่ล้มเหลวหายไปจากชุดข้อมูล ตัวอย่างเช่น กฎโมเมนตัมอาจดูยอดเยี่ยมเมื่อทดสอบกับตลาด 50 แห่งที่ยังอยู่ในวันนี้ ทั้งที่เมื่อนำไปใช้ตามข้อมูลในอดีต กลยุทธ์อาจจัดสรรเงินให้สินทรัพย์ที่ภายหลังราคาทรุดหนักหรือถูกถอดออกจากแพลตฟอร์มอยู่ซ้ำแล้วซ้ำเล่า คุณกำลังทดสอบพอร์ตที่คัดเลือกโดยรู้ผลลัพธ์ล่วงหน้า
สร้างบันทึกการเป็นสมาชิกพร้อมวันที่กำกับ สำหรับสินทรัพย์แต่ละรายการ ให้ติดตามว่าเริ่มมีสิทธิ์เข้าร่วมเมื่อใด สิ้นสุดสิทธิ์เมื่อใด และเพราะเหตุใด ในการปรับพอร์ตแต่ละครั้ง ให้ใช้กฎจากข้อมูลที่มีอยู่ ณ เวลานั้นเท่านั้น ตลาดควรถูกเพิ่มเข้ามาหลังจากจดทะเบียนจริงและผ่านช่วงวอร์มอัปที่กำหนด หากถูกเพิกถอน ต้องกำหนดวิธีปิดสถานะสุดท้ายหรือจัดการการชำระราคาให้ชัดเจน การลบแถวข้อมูลออกไม่ใช่กฎการออกจากสถานะ
ข้อผิดพลาดข้อสอง: จัดอันดับด้วยสถิติที่วัดหลังเวลาตัดสินใจ
แม้จักรวาลสินทรัพย์ย้อนหลังที่สร้างจากข้อมูลในอดีตก็ยังมีข้อมูลรั่วไหลได้ หากกฎการคัดเลือกใช้ช่วงข้อมูลที่ครอบคลุมอนาคต “เทรดหุ้นที่มีสภาพคล่องสูงสุด 20 อันดับในแต่ละเดือน” ฟังดูสมเหตุสมผล จนกว่าจะพบว่าจัดอันดับสภาพคล่องโดยใช้ข้อมูลทั้งเดือนที่กลยุทธ์ควรจะเทรด
ลองนึกภาพว่าปรับพอร์ตในวันซื้อขายวันแรก การจัดอันดับด้วยมูลค่าการซื้อขายเฉลี่ยของเดือนนั้นแอบใช้ข้อมูลจากอีก 3 สัปดาห์ถัดไปมาตัดสินว่าวันแรกสินทรัพย์ใดผ่านเกณฑ์ ร่องรอยความเสียหายมักปรากฏเป็นความสามารถรองรับขนาดคำสั่งซื้อขายที่ดีผิดปกติ: กลยุทธ์หลีกเลี่ยงสินทรัพย์ที่สภาพคล่องลดลงในช่วงปลายเดือน ทั้งที่ตอนเข้าซื้อไม่อาจรู้ล่วงหน้าได้
กำหนดเวลาสิ้นสุดการวัดให้มาก่อนเวลาคัดเลือก สำหรับการปรับพอร์ตประจำเดือนในรอบซื้อขายแรก คุณอาจจัดอันดับจาก 20 รอบซื้อขายที่เสร็จสมบูรณ์ก่อนหน้านั้น โดยสิ้นสุดที่รอบก่อนหน้า จากนั้นระบุความล่าช้าในการส่งคำสั่งให้ชัดเจน: หากการจัดอันดับใช้ราคาปิดเมื่อวาน จะส่งคำสั่งได้ที่ราคาเปิดวันนี้ตามขั้นตอนการทำงานที่สมมติไว้หรือไม่?
| กฎการคัดเลือก | เวอร์ชัน ณ เวลานั้น | ข้อมูลรั่วไหลที่พบบ่อย |
|---|---|---|
| 20 อันดับแรกตามมูลค่าการซื้อขาย | จัดอันดับจากรอบซื้อขายที่เสร็จสมบูรณ์ก่อนการปรับพอร์ต | รวมวันหรือเดือนที่ปรับพอร์ต |
| จดทะเบียนบนแพลตฟอร์ม | ใช้เวลาที่การจดทะเบียนและเพิกถอนมีผลจริง | ใช้ API รายชื่อสัญลักษณ์ปัจจุบันกับวันที่ในอดีต |
| ประวัติข้อมูลขั้นต่ำ | นับข้อมูลสังเกตการณ์ที่มีอยู่ ณ เวลาคัดเลือก | กำหนดให้ต้องอยู่รอดในอนาคตจึงจะผ่านตัวกรอง |
ข้อผิดพลาดข้อสาม: มองว่าประวัติข้อมูลที่ขาดหายเป็นหลักฐานว่าสินทรัพย์ไม่มีสิทธิ์เข้าร่วม
คลังข้อมูลของผู้ให้บริการข้อมูลไม่ได้เป็นบันทึกตลาดย้อนหลังที่ครบถ้วนเสมอไป สัญลักษณ์ที่หายไปอาจหมายถึงสินทรัพย์นั้นไม่เคยมีอยู่ แพลตฟอร์มเปลี่ยนหลักเกณฑ์การตั้งชื่อ ผู้ให้บริการไม่ได้เก็บข้อมูลตราสารที่ถูกเพิกถอน หรือฟีดข้อมูลมีช่องว่าง กรณีเหล่านี้มีนัยต่างกัน
ร่องรอยความเสียหายคือจักรวาลสินทรัพย์ที่ดูเรียบร้อยแต่มีช่องโหว่ที่อธิบายไม่ได้ นักวิจัยมักกำหนดให้มีข้อมูลย้อนหลังครบทั้งช่วง แล้วตัดทุกอย่างที่ข้อมูลไม่ครบออกไปโดยไม่แจ้งให้ทราบ กฎวอร์มอัปเช่นนี้อาจสมเหตุสมผล แต่ก็จงใจตัดสินทรัพย์ที่เพิ่งจดทะเบียนออกไปด้วย ที่แย่กว่านั้น หากข้อมูลที่ขาดหายกระจุกตัวอยู่ในตลาดที่ล้มเหลว การใช้ “เฉพาะข้อมูลที่ครบถ้วน” ก็กลายเป็นตัวกรองผู้รอดอีกแบบหนึ่ง
แยกข้อเท็จจริงเรื่องสิทธิ์เข้าร่วม ความพร้อมของข้อมูล และช่วงวอร์มอัปของกลยุทธ์ออกจากกัน บันทึกเหตุผลที่ตัดสินทรัพย์ออกในแต่ละวัน เก็บสถานะข้อมูลที่ขาดหายไว้ในบันทึกการวิจัย แทนที่จะแปลงให้กลายเป็นการลบข้อมูลเงียบๆ เมื่อแหล่งข้อมูลยืนยันไม่ได้ว่าตลาดจดทะเบียนหรือซื้อขายได้หรือไม่ ให้ระบุความไม่แน่นอนนั้นและวัดว่าผลลัพธ์ขึ้นอยู่กับเรื่องนี้มากเพียงใด
ทำให้สร้างจักรวาลสินทรัพย์ซ้ำได้
การตรวจสอบที่เป็นประโยชน์เริ่มจากการปรับพอร์ตย้อนหลัง 1 ครั้ง สร้างรายชื่อสินทรัพย์ที่เข้าเกณฑ์ขึ้นใหม่จากข้อมูลการจดทะเบียนที่ระบุวันที่และข้อมูลที่มีอยู่ ณ เวลาตัดยอด คำนวณตัวแปรสำหรับจัดอันดับใหม่โดยใช้เฉพาะข้อมูลสังเกตการณ์ที่เสร็จสมบูรณ์แล้ว จากนั้นเปรียบเทียบสมาชิกที่ได้กับรายชื่อที่แบ็กเทสต์ของคุณใช้จริง
บันทึกกฎ เวลาตัดยอด การตัดสินใจเรื่องสมาชิก และเวอร์ชันของแหล่งข้อมูลไว้คู่กับการรัน หากคุณอธิบายไม่ได้ว่าเหตุใดสินทรัพย์หนึ่งจึงถูกเพิ่มเข้ามา ขณะที่อีกสินทรัพย์ถูกตัดออกในวันที่กำหนด คุณก็ยังบอกไม่ได้ว่ากลยุทธ์ค้นพบข้อได้เปรียบ หรือได้ชุดข้อมูลที่ถูกกำหนดจากอนาคตมาตั้งแต่ต้น
ข้อผิดพลาดในการสร้างจักรวาลสินทรัพย์แทบไม่แสดงตัวเป็นราคาที่เป็นไปไม่ได้ แต่มักเผยให้เห็นผ่านกลยุทธ์ที่บังเอิญหลีกเลี่ยงตลาดที่เลิกเอื้อประโยชน์ต่อกลยุทธ์พอดี
← บทความทั้งหมด
