Empat angka bisa mengungkap kisah yang tak nyaman: Sharpe walk-forward sebesar 1.4, 312 transaksi historis, 46 transaksi paper trading, dan selisih harga fill paper trading terhadap backtest sebesar 18 basis poin. Sharpe menjadi sorotan utama. Selisih 18 basis poin mungkin menjelaskan mengapa strategi terasa berbeda, sebelum tersedia cukup riwayat paper trading untuk menilai kinerjanya.
Uji walk-forward menanyakan apakah suatu proses riset dapat memilih strategi menggunakan data masa lalu, lalu mengevaluasinya pada data setelahnya. Paper trading menanyakan apakah sistem yang berjalan, dengan data, jam, logika order, dan fill saat ini, berperilaku seperti proses yang diuji tersebut. Kedua pertanyaan ini berkaitan, tetapi pertanyaan kedua tidak otomatis terjawab oleh yang pertama.
Apa sebenarnya yang dibuktikan oleh validasi walk-forward?
Misalnya, Anda melatih atau memilih strategi menggunakan data selama enam bulan, lalu mengevaluasinya pada bulan berikutnya. Geser jendela itu ke depan dan ulangi. Jika setiap bulan pengujian tidak disertakan dalam proses pemilihan yang terkait, latihan ini memberi bukti tentang kinerja dalam serangkaian kondisi historis.
Namun, uji tersebut tidak membuktikan bahwa paper trading akan menghasilkan keputusan atau fill yang sama. Uji historis mungkin menggunakan candle yang sudah selesai, jadwal biaya tetap, dan model order pasar yang disederhanakan. Proses paper trading yang berjalan menerima data saat data itu tiba dan mengirim order simulasi melalui jalur berbeda. Salah satunya bisa benar, sementara yang lain tidak selaras.
Karena itu, 46 transaksi paper trading dibandingkan 312 transaksi dalam sampel walk-forward bukanlah vonis dengan sendirinya. Periksa periode perbandingan, frekuensi sinyal, posisi terbuka pada batas periode, serta apakah kedua hitungan menggunakan definisi transaksi yang sama. Uji paper trading selama enam minggu tidak mungkin menyamai jumlah transaksi dari pengujian bergulir selama setahun.
Mengapa selisih fill begitu mengungkap banyak hal?
Rata-rata selisih sebesar 18 basis poin perlu diurai sebelum Anda menafsirkan kurva ekuitas paper trading. Apakah selisih itu diukur dari asumsi fill backtest ke fill simulator paper trading, atau dari harga tengah saat keputusan dibuat ke fill paper trading? Keduanya mengukur hal yang berbeda. Catat harga saat keputusan, harga saat order tiba, fill simulasi, biaya, dan funding secara terpisah.
| Perbedaan yang diamati | Pemeriksaan pertama | Mengapa ini penting |
|---|---|---|
| Transaksi paper trading lebih sedikit | Timestamp sinyal dan aturan kelayakan | Input yang hilang atau terlambat dapat membuat keputusan tidak terjadi |
| Transaksi sama, fill lebih buruk | Jenis order, spread, dampak pasar, dan tingkat biaya | Backtest mungkin mengasumsikan jalur eksekusi yang lebih murah |
| Ukuran posisi berbeda | Kas, pengali kontrak, dan pembulatan | Ketidakcocokan kecil pada satuan menumpuk di banyak order |
| Penyimpangan setelah sistem dimulai ulang | Posisi dan order tertunda yang dipulihkan | Proses paper trading mungkin dilanjutkan dari kondisi yang berbeda |
Sebagai contoh, backtest yang membeli pada harga pembukaan candle berikutnya mungkin tampak mirip dengan order pasar paper trading pada instrumen yang likuid. Namun, jika order paper trading tiba setelah pergerakan tajam, selisihnya mencakup faktor waktu dan pergerakan pasar, selain biaya eksekusi. Menyebut seluruh 18 basis poin sebagai “slippage” menyamarkan penyebabnya.
Bagaimana cara membandingkan paper trading dengan uji walk-forward?
Mulailah dari keputusan, lalu order, kemudian fill. Untuk setiap keputusan dalam paper trading, jalankan ulang strategi versi yang sama dengan riwayat input yang sama, lalu bandingkan informasi yang tersedia baginya saat itu. Catatan paritas yang berguna mencakup:
- Versi strategi dan parameternya, termasuk jendela pemilihan yang menghasilkan parameter tersebut.
- Nilai input beserta waktu kejadian dan waktu ketersediaannya.
- Sinyal, posisi target, posisi saat ini, dan order yang diusulkan.
- Batasan order, biaya, funding, dan detail fill simulasi.
- Kondisi kas dan posisi sebelum dan sesudah eksekusi.
Jika sinyal berbeda, periksa waktu data dan versi kode. Jika sinyal sama tetapi order berbeda, periksa ukuran posisi, aturan bursa, dan kondisi portofolio. Jika order sama tetapi fill berbeda, periksa asumsi eksekusi. Pisahkan lapisan-lapisan ini; jika tidak, satu angka kinerja saja bisa membuat Anda menyelidiki bagian yang keliru.
Kapan penyimpangan menjadi bukti bahwa strategi rusak?
Setelah alurnya selaras, bandingkan hasil pada periode bersama yang bermakna dan periksa perilaku yang memang dirancang untuk ditunjukkan strategi. Beberapa transaksi paper trading saja dapat dengan cepat mengungkap timestamp atau jalur order yang rusak. Namun, jumlah itu tidak cukup untuk memastikan bahwa rata-rata imbal hasil strategi telah berubah. Kesimpulan itu memerlukan observasi yang cukup, dan jumlah yang dibutuhkan bergantung pada tingkat gejolak serta pengelompokan imbal hasilnya.
Kondisi pasar juga bisa berubah. Spread yang melebar atau funding yang terus-menerus merugikan dapat menekan strategi, sekalipun setiap keputusan cocok. Itu perubahan nyata dalam kondisi perdagangan, bukan bug validasi. Catat biaya dan eksposur bersama imbal hasil agar perbedaannya terlihat.
Validasi walk-forward memberi bukti tentang proses pemilihan pada periode historis. Paper trading memberi bukti tentang sistem yang berjalan dalam kondisi yang diamati. Saat hasil keduanya menyimpang, temukan lebih dulu titik paling awal ketika catatannya tidak lagi cocok. Angka yang mengejutkan sering kali bukan Sharpe. Penyebabnya adalah perbedaan kecil dalam eksekusi atau data yang membuat kedua eksperimen menjawab pertanyaan berbeda.
← Semua artikel
