Backtest phù hợp để loại bỏ một chiến lược hơn là chọn ra chiến lược. Ngay khi dùng hiệu suất lịch sử để lựa chọn giữa nhiều biến thể, backtest trở thành một phần của thí nghiệm, và người thắng cuộc tưởng như vượt trội bắt đầu phải gánh một cái giá tiềm ẩn: thiên lệch chọn lọc.
Nghe có vẻ ngược đời. Chúng ta backtest vì muốn biết chiến lược nào hiệu quả. Nhưng mỗi lựa chọn dựa trên cùng một dữ liệu lịch sử lại làm hao hụt phần nào bằng chứng của nó. Thay đổi khoảng thời gian nhìn lại, ngưỡng, tập tài sản, ngày tái cân bằng hay quy tắc dừng sau khi xem kết quả nghĩa là bạn vừa đặt thêm một câu hỏi cho dữ liệu. Rồi đến lúc dữ liệu đã nghe đủ câu hỏi để tình cờ đưa ra một câu trả lời có vẻ rất thuyết phục.
Vì sao thử nghiệm càng nhiều chiến lược thì kết quả tốt nhất lại càng kém đáng tin?
Hãy tưởng tượng bạn thử nghiệm 100 chiến lược không có lợi thế thực sự. Dù vậy, lợi nhuận của chúng vẫn sẽ khác nhau. Nếu các ước tính hiệu suất gần như độc lập và nhiễu có phân phối chuẩn, Sharpe cao nhất trong số đó sẽ dương, dù Sharpe thực của mọi chiến lược đều bằng 0.
Một phép gần đúng sơ bộ cho giá trị lớn nhất kỳ vọng của 100 lần lấy mẫu chuẩn tắc độc lập là cao hơn trung bình 2.5 độ lệch chuẩn. Hãy xem đây là minh họa, không phải phép hiệu chỉnh có thể chép thẳng vào báo cáo: các biến thể chiến lược thực tế có tương quan với nhau, ước tính Sharpe có sai số lấy mẫu riêng, và lợi nhuận hiếm khi tuân theo phân phối chuẩn hoàn hảo. Dù có những điểm cần lưu ý đó, ý chính vẫn đúng. Bạn càng xem xét nhiều ứng viên, điểm số cao nhất càng có khả năng phản ánh nhiễu thuận lợi.
Và “ứng viên” không chỉ là một bản backtest đã lưu. Đó còn là mọi lựa chọn được đưa ra sau khi xem kết quả: mở rộng tập tài sản vì biểu đồ trông nhiễu, loại bỏ một năm gây bất lợi, hoặc thay đổi giả định phí cho đến khi đường cong phục hồi. Những quyết định ấy vẫn được tính, kể cả khi không ai gán số phiên bản cho chúng.
Lập sổ theo dõi nghiên cứu trước khi chạy biến thể tiếp theo
Ghi lại toàn bộ quá trình tìm kiếm, kể cả những ý tưởng bị loại và lý do cho mỗi lần thay đổi. Nhờ vậy, bạn có được bản ghi trung thực hơn về mức độ kết quả bị chi phối bởi việc lựa chọn, đồng thời khó có thể chỉ nhớ đến những lần thử hấp dẫn.
| Nội dung ghi lại | Ví dụ | Vì sao cần ghi |
|---|---|---|
| Giả thuyết | Đảo chiều ngắn hạn mạnh hơn sau những biến động BTC perp lớn bất thường | Tách biệt ý tưởng ban đầu với các mức tham số được chọn sau đó |
| Biến thể và dấu thời gian | Tín hiệu 48 giờ, 2026-10-09, lần chạy 014 | Đếm số lần tìm kiếm và liên kết kết quả với mã cùng dữ liệu |
| Quy tắc lựa chọn | Chọn theo Sharpe ròng; tối thiểu 100 giao dịch | Cho biết tiêu chí “tốt nhất” được xác định thế nào trước khi so sánh |
| Các biến thể bị loại | Cửa sổ 12, 24, 72 giờ; giữ lại tất cả | Ngăn người thắng dễ thấy xóa nhòa các phương án cạnh tranh |
Sổ theo dõi không thể xóa bỏ quá trình tìm kiếm. Nó giúp quá trình ấy trở nên rõ ràng, là bước đầu để đánh giá người thắng cuộc xứng đáng được tin tưởng đến mức nào.
Dành riêng dữ liệu mà quá trình nghiên cứu không thể liên tục xem lại
Chia dữ liệu theo thời gian, rồi bảo vệ giai đoạn cuối. Phát triển chiến lược trên một khoảng thời gian, đưa ra quyết định dựa trên một khoảng xác thực, rồi chỉ đánh giá chiến lược đã cố định một lần trên tập dữ liệu giữ lại ở giai đoạn sau. Ví dụ, bạn có thể dùng 2018–2022 để phát triển, năm 2023 để xác thực, rồi dành riêng 2024–2025. Các mốc thời gian này chỉ để minh họa: thị trường, khung thời gian của chiến lược và phạm vi dữ liệu cần quyết định cách chia.
Hãy ghi rõ “cố định” nghĩa là gì: tín hiệu, tập tài sản, quy mô vị thế, giả định khớp lệnh và mọi quy tắc xử lý dữ liệu thiếu. Nếu kết quả trên tập giữ lại gây thất vọng và bạn tinh chỉnh chiến lược dựa trên tập đó, giai đoạn ấy đã trở thành dữ liệu xác thực. Đánh giá trung thực tiếp theo cần bằng chứng mới.
Đây cũng là lúc cỡ mẫu nhỏ gây rắc rối. Một chiến lược chỉ giao dịch 18 lần trong tập giữ lại chưa đủ cơ sở để đưa ra kết luận chính xác. Hãy báo cáo số lượng giao dịch và mức độ bất định bên cạnh các thống kê lợi nhuận; chỉ đưa ra một giá trị trung bình có thể khiến một mẫu nhỏ trông như đã có kết luận chắc chắn.
Điều này có nghĩa là backtest vô dụng khi chọn chiến lược sao?
Không. Những người phản biện có lý khi cho rằng tập dữ liệu giữ lại nghiêm ngặt có thể gây lãng phí: thị trường thay đổi, lịch sử dữ liệu ngắn, và một giai đoạn chưa từng được đụng đến có thể chỉ đại diện cho một chế độ thị trường bất thường. Quy trình walk-forward được thiết kế cẩn thận có thể cho thấy chiến lược hoạt động ra sao khi lịch sử khả dụng liên tục tiến về phía trước. Nhưng điều đó vẫn không khiến việc tinh chỉnh lặp đi lặp lại trở nên miễn phí. Nếu bạn xem xét từng phân đoạn rồi điều chỉnh chiến lược, các phân đoạn ấy đã tác động đến quá trình nghiên cứu.
Hãy dùng backtest để phát hiện các kiểu thất bại, so sánh một số ít ý tưởng dựa trên cơ chế thị trường, và kiểm tra xem kết quả có trụ vững trước những thay đổi hợp lý về phí, funding, tác động giá và tham số hay không. Ghi lại quá trình tìm kiếm. Giữ lại một tập dữ liệu cuối cùng chưa dùng. Sau đó đưa một phiên bản có triển vọng đã được cố định vào giao dịch giấy, nơi có thể phát hiện những khác biệt trong vận hành thực tế.
Câu trả lời có giá trị nhất của backtest thường là: “Ý tưởng này thất bại trong những điều kiện mà chúng ta đã có thể nhận ra.” Khi nó nói: “Đây là chiến lược tốt nhất,” hãy hỏi nó đã được yêu cầu đưa ra bao nhiêu câu trả lời khác.
← Tất cả bài viết
