ตัวเลข 4 ค่าเล่าเรื่องที่ชวนอึดอัดได้: Sharpe จาก Walk-Forward ที่ 1.4, การซื้อขายย้อนหลัง 312 ครั้ง, การซื้อขายแบบ Paper 46 ครั้ง และส่วนต่างราคา Fill ระหว่าง Paper กับ Backtest ที่ 18 basis points ตัวเลข Sharpe เป็นพาดหัว แต่ส่วนต่าง 18 basis points อาจอธิบายได้ว่าทำไมกลยุทธ์จึงให้ความรู้สึกต่างออกไป ทั้งที่ยังมีประวัติ Paper ไม่มากพอจะประเมินผลการดำเนินงาน
การทดสอบ Walk-Forward ถามว่ากระบวนการวิจัยสามารถเลือกกลยุทธ์จากข้อมูลในอดีต แล้วประเมินกับข้อมูลช่วงหลังได้หรือไม่ ส่วน Paper Trading ถามว่าระบบที่กำลังทำงาน ซึ่งใช้ข้อมูล เวลา ตรรกะการส่งคำสั่ง และการจับคู่คำสั่งในปัจจุบัน มีพฤติกรรมเหมือนกระบวนการที่ทดสอบไว้หรือไม่ ทั้งสองคำถามเกี่ยวข้องกัน แต่คำตอบของข้อแรกไม่ได้ยืนยันคำตอบของข้อที่สองโดยอัตโนมัติ
การตรวจสอบด้วย Walk-Forward บอกอะไรได้จริง?
สมมติว่าคุณฝึกหรือเลือกกลยุทธ์จากข้อมูล 6 เดือน แล้วประเมินผลในเดือนถัดไป จากนั้นเลื่อนช่วงเวลาไปข้างหน้าและทำซ้ำ หากข้อมูลของแต่ละเดือนที่ใช้ทดสอบไม่ถูกนำไปใช้ในกระบวนการเลือกกลยุทธ์ที่เกี่ยวข้อง การทดสอบนี้ก็เป็นหลักฐานว่ากลยุทธ์ทำงานอย่างไรภายใต้สภาพตลาดในอดีตหลายช่วง
แต่การทดสอบนี้ไม่ได้ยืนยันว่า Paper Trading จะสร้างการตัดสินใจหรือการจับคู่คำสั่งแบบเดียวกันได้ การทดสอบย้อนหลังอาจใช้แท่งราคาที่สมบูรณ์แล้ว ตารางค่าธรรมเนียมคงที่ และแบบจำลองคำสั่งตลาดอย่างง่าย ขณะที่กระบวนการ Paper ที่กำลังทำงานรับข้อมูลเมื่อข้อมูลเข้ามา แล้วส่งคำสั่งจำลองผ่านเส้นทางอีกแบบหนึ่ง ฝั่งหนึ่งอาจทำงานถูกต้อง แต่อีกฝั่งก็ยังมีจุดไม่ตรงกันได้
เพราะฉะนั้น การมีรายการซื้อขายแบบ Paper 46 ครั้ง เทียบกับ 312 ครั้งในชุดข้อมูล Walk-Forward ไม่ใช่ข้อสรุปในตัวเอง ให้ตรวจสอบช่วงเวลาที่นำมาเปรียบเทียบ ความถี่ของสัญญาณ สถานะที่ยังเปิดอยู่ ณ จุดเริ่มต้นและสิ้นสุดของช่วง รวมถึงนิยามการซื้อขายที่ใช้ว่าตรงกันหรือไม่ การรัน Paper 6 สัปดาห์ย่อมมีจำนวนรายการซื้อขายไม่เท่ากับการทดสอบแบบเลื่อนหน้าต่างตลอด 1 ปี
ทำไมส่วนต่างของราคา Fill จึงบอกอะไรได้มาก?
ควรแยกวิเคราะห์ส่วนต่างเฉลี่ย 18 basis points ก่อนตีความเส้นทุนของ Paper ว่าวัดจากราคา Fill ที่ Backtest สมมติไว้ เทียบกับราคา Fill ของตัวจำลอง Paper หรือวัดจากราคากลาง ณ เวลาตัดสินใจ เทียบกับราคา Fill ของ Paper? ทั้งสองแบบวัดคนละเรื่อง ให้บันทึกราคา ณ เวลาตัดสินใจ ราคาเมื่อคำสั่งมาถึง ราคา Fill จำลอง ค่าธรรมเนียม และ Funding แยกจากกัน
| ความแตกต่างที่พบ | สิ่งแรกที่ควรตรวจ | เหตุผลที่สำคัญ |
|---|---|---|
| รายการซื้อขายแบบ Paper น้อยกว่า | เวลาของสัญญาณและเงื่อนไขการเข้าเกณฑ์ | ข้อมูลที่ขาดหรือล่าช้าอาจทำให้ไม่มีการตัดสินใจ |
| รายการซื้อขายเหมือนกัน แต่ราคา Fill แย่กว่า | ประเภทคำสั่ง Spread ผลกระทบต่อราคา และระดับค่าธรรมเนียม | Backtest อาจสมมติว่าเส้นทางการส่งคำสั่งมีต้นทุนต่ำกว่า |
| ขนาดสถานะต่างกัน | เงินสด ตัวคูณสัญญา และการปัดเศษ | ความคลาดเคลื่อนเล็กน้อยของหน่วยอาจสะสมเมื่อส่งคำสั่งหลายครั้ง |
| ความคลาดเคลื่อนหลังเริ่มระบบใหม่ | สถานะที่กู้คืนและคำสั่งที่ยังค้างอยู่ | กระบวนการ Paper อาจกลับมาทำงานจากสถานะที่ต่างออกไป |
ตัวอย่างเช่น Backtest ที่ซื้อ ณ ราคาเปิดของแท่งถัดไปอาจให้ผลใกล้เคียงกับคำสั่งตลาดแบบ Paper ในสินทรัพย์ที่มีสภาพคล่องสูง แต่หากคำสั่ง Paper ไปถึงหลังจากราคาเคลื่อนไหวอย่างรวดเร็ว ส่วนต่างนั้นก็รวมทั้งเรื่องเวลาและการเคลื่อนไหวของตลาด ตลอดจนต้นทุนการส่งคำสั่ง การเรียกส่วนต่างทั้งหมด 18 basis points ว่า “Slippage” จะบดบังสาเหตุที่แท้จริง
ฉันจะเปรียบเทียบ Paper Trading กับการทดสอบ Walk-Forward ได้อย่างไร?
เริ่มจากการตัดสินใจ ต่อด้วยคำสั่ง แล้วจึงดูราคา Fill สำหรับการตัดสินใจแต่ละครั้งใน Paper ให้รันกลยุทธ์เวอร์ชันเดียวกันซ้ำบนประวัติข้อมูลชุดเดียวกัน แล้วเปรียบเทียบว่ากลยุทธ์รับรู้อะไรได้บ้าง ณ ขณะนั้น บันทึกข้อมูลเพื่อเทียบความสอดคล้องที่เป็นประโยชน์ควรมี:
- เวอร์ชันและพารามิเตอร์ของกลยุทธ์ รวมถึงช่วงเวลาที่ใช้เลือกพารามิเตอร์เหล่านั้น
- ค่าข้อมูลพร้อมทั้งเวลาที่เกิดเหตุการณ์และเวลาที่ข้อมูลพร้อมใช้งาน
- สัญญาณ สถานะเป้าหมาย สถานะปัจจุบัน และคำสั่งที่เสนอ
- ข้อจำกัดของคำสั่ง ค่าธรรมเนียม Funding และรายละเอียดราคา Fill จำลอง
- สถานะเงินสดและสถานะการถือครองก่อนและหลังส่งคำสั่ง
หากสัญญาณต่างกัน ให้ตรวจสอบเวลาของข้อมูลและเวอร์ชันของโค้ด หากสัญญาณตรงกันแต่คำสั่งต่างกัน ให้ตรวจสอบการกำหนดขนาด กฎของแพลตฟอร์ม และสถานะพอร์ต หากคำสั่งตรงกันแต่ราคา Fill ต่างกัน ให้ตรวจสอบสมมติฐานด้านการส่งคำสั่ง แยกตรวจสอบแต่ละชั้นให้ชัดเจน มิฉะนั้น ตัวเลขผลการดำเนินงานเพียงค่าเดียวอาจทำให้คุณไปค้นหาสาเหตุผิดจุด
ความคลาดเคลื่อนแบบไหนจึงเป็นหลักฐานว่ากลยุทธ์มีปัญหา?
เมื่อระบบแต่ละขั้นทำงานสอดคล้องกันแล้ว ให้เปรียบเทียบผลลัพธ์ในช่วงเวลาร่วมกันที่ยาวพอ และตรวจสอบพฤติกรรมที่กลยุทธ์ควรแสดง การซื้อขายแบบ Paper เพียงไม่กี่ครั้งอาจเผยปัญหาเรื่องเวลาอ้างอิงหรือเส้นทางคำสั่งได้อย่างรวดเร็ว แต่ยังใช้บอกอย่างน่าเชื่อถือไม่ได้ว่าผลตอบแทนเฉลี่ยของกลยุทธ์เปลี่ยนไปแล้ว การจะรู้เช่นนั้นต้องมีข้อมูลสังเกตการณ์มากพอ โดยจำนวนที่ต้องใช้ขึ้นอยู่กับความผันผวนและการกระจุกตัวของผลตอบแทน
ภาวะตลาดก็เปลี่ยนแปลงได้เช่นกัน Spread ที่กว้างขึ้นหรือ Funding ที่เป็นลบต่อกลยุทธ์อย่างต่อเนื่องอาจส่งผลเสีย แม้การตัดสินใจทุกครั้งจะตรงกันก็ตาม นี่คือการเปลี่ยนแปลงของสภาพการซื้อขายจริง ไม่ใช่ข้อผิดพลาดในการตรวจสอบ บันทึกต้นทุนและความเสี่ยงที่ถืออยู่ควบคู่กับผลตอบแทน เพื่อให้มองเห็นความแตกต่างนี้ได้ชัดเจน
การตรวจสอบด้วย Walk-Forward เป็นหลักฐานเกี่ยวกับกระบวนการเลือกกลยุทธ์ในช่วงเวลาในอดีต ส่วน Paper Trading เป็นหลักฐานเกี่ยวกับระบบที่กำลังทำงานภายใต้สภาพที่สังเกตได้ เมื่อผลทั้งสองต่างกัน ให้หาจุดแรกที่บันทึกของทั้งสองฝ่ายไม่ตรงกัน ตัวเลขที่ชวนแปลกใจอาจไม่ใช่ Sharpe แต่อาจเป็นความแตกต่างเล็กน้อยของการส่งคำสั่งหรือข้อมูล ที่ทำให้การทดลองทั้งสองตอบคำถามคนละข้อ
← บทความทั้งหมด
