Backtest lebih baik untuk menolak sesuatu strategi daripada memilihnya. Sebaik sahaja kita menggunakan prestasi sejarah untuk memilih antara banyak varian, backtest menjadi sebahagian daripada eksperimen, dan pemenang yang kelihatan mula membawa kos tersembunyi: bias pemilihan.
Ini kedengaran seperti terbalik. Kita membuat backtest kerana mahu tahu strategi mana yang berkesan. Tetapi setiap pilihan yang dipandu oleh sejarah yang sama menggunakan sebahagian daripada bukti yang ada. Ubah tempoh tinjauan, ambang, set aset, hari pengimbangan semula, atau peraturan henti selepas melihat hasilnya, dan kita telah mengajukan satu lagi soalan kepada data. Lama-kelamaan, data menerima begitu banyak soalan sehingga boleh memberikan jawapan yang meyakinkan secara kebetulan.
Mengapa menguji lebih banyak strategi menjadikan hasil terbaik kurang boleh dipercayai?
Bayangkan kita menguji 100 strategi yang tiada kelebihan sebenar. Pulangannya tetap akan berbeza-beza. Jika anggaran prestasi lebih kurang bebas antara satu sama lain dan hingar bertaburan normal, Sharpe terbaik antara strategi itu akan positif walaupun Sharpe sebenar setiap strategi ialah sifar.
Anggaran kasar bagi nilai maksimum yang dijangka daripada 100 cabutan normal piawai yang bebas ialah 2.5 sisihan piawai melebihi min. Anggap ini sebagai gambaran, bukan pembetulan yang boleh terus dimasukkan ke dalam laporan: varian strategi sebenar saling berkorelasi, anggaran Sharpe mempunyai ralat persampelan tersendiri, dan pulangan jarang berkelakuan seperti cabutan normal yang kemas. Inti praktikalnya tetap sama walaupun dengan batasan ini. Lebih banyak calon yang kita teliti, lebih besar kemungkinan skor tertinggi itu mencerminkan hingar yang memihak.
Dan “calon” bukan sekadar backtest yang disimpan. Ia merangkumi setiap pilihan yang dibuat selepas melihat hasil: meluaskan set aset kerana carta nampak tidak menentu, menggugurkan tahun yang menjejaskan prestasi, atau mengubah andaian yuran sehingga lengkung pulih. Keputusan itu tetap dikira walaupun tiada siapa memberikan nombor versi kepadanya.
Sediakan lejar penyelidikan sebelum menjalankan varian seterusnya
Rekodkan keseluruhan proses carian, termasuk idea yang ditolak dan sebab setiap perubahan dibuat. Ini memberi kita catatan yang lebih jujur tentang sejauh mana hasil itu dipilih, serta menyukarkan kita daripada hanya mengingati percubaan yang menarik.
| Rekod | Contoh | Mengapa penting |
|---|---|---|
| Hipotesis | Pembalikan jangka pendek lebih kuat selepas pergerakan luar biasa besar pada BTC perp | Memisahkan idea daripada tetapan parameternya kemudian |
| Varian dan cap masa | Isyarat 48 jam, 2026-10-09, larian 014 | Mengira carian dan memautkan hasil kepada kod dan data |
| Peraturan pemilihan | Pilih berdasarkan Sharpe bersih; minimum 100 dagangan | Menunjukkan maksud “terbaik” sebelum perbandingan dibuat |
| Varian yang ditolak | Tempoh 12, 24, 72 jam; semuanya dikekalkan | Menghalang pemenang yang kelihatan daripada memadamkan pesaingnya |
Lejar tidak akan membatalkan proses carian. Ia menjadikan proses itu jelas, iaitu langkah pertama untuk menilai tahap keyakinan yang wajar diberikan kepada pemenang.
Asingkan data yang tidak boleh digunakan berulang kali dalam proses penyelidikan
Bahagikan data mengikut masa, kemudian lindungi tempoh akhir. Bangunkan strategi menggunakan satu julat masa, buat keputusan berdasarkan julat pengesahan, kemudian nilai strategi yang telah dibekukan sekali sahaja pada set data pegangan daripada tempoh yang lebih lewat. Contohnya, kita boleh menggunakan 2018–2022 untuk pembangunan, 2023 untuk pengesahan, kemudian mengetepikan 2024–2025. Tarikh ini sekadar gambaran: pasaran, jangka masa strategi dan liputan data harus menentukan pembahagian tersebut.
Catatkan maksud “dibekukan”: isyarat, set aset, saiz posisi, andaian pelaksanaan dan apa-apa peraturan untuk data yang hilang. Jika hasil set data pegangan mengecewakan lalu kita melaras strategi berdasarkan data itu, tempoh tersebut sudah menjadi data pengesahan. Penilaian jujur yang seterusnya memerlukan bukti baharu.
Di sinilah sampel kecil boleh membawa masalah. Strategi yang membuat dagangan sebanyak 18 kali dalam tempoh pegangan belum memberikan asas untuk keputusan yang tepat. Laporkan bilangan dagangan dan ketidakpastian bersama statistik pulangan; satu nilai purata sahaja boleh membuat sampel yang kecil kelihatan seolah-olah muktamad.
Adakah ini bermakna backtest tidak berguna untuk memilih strategi?
Tidak. Pengkritik betul bahawa set data pegangan yang ketat boleh membazirkan data: pasaran berubah, sejarahnya singkat, dan tempoh yang tidak disentuh mungkin hanya mewakili satu rejim luar biasa. Proses walk-forward yang dirancang dengan teliti boleh menunjukkan gelagat strategi apabila sejarah yang tersedia bergerak ke hadapan. Namun, proses itu tidak menjadikan pelarasan berulang percuma. Jika kita meneliti setiap lipatan data lalu menyemak strategi, lipatan itu telah mempengaruhi penyelidikan.
Gunakan backtest untuk mendedahkan mod kegagalan, membandingkan sebilangan kecil idea yang berasaskan mekanisme pasaran, dan menguji sama ada hasilnya kekal kukuh apabila yuran, funding, impak dan parameter berubah dalam julat yang munasabah. Kekalkan lejar. Lindungi set data pegangan akhir. Kemudian bawa versi yang menjanjikan dan telah dibekukan ke paper trading, supaya ketidakpadanan operasi boleh muncul.
Jawapan paling kukuh daripada backtest selalunya berbunyi, “Idea ini gagal dalam keadaan yang sudah boleh kita lihat.” Apabila ia berkata, “Inilah strategi terbaik,” tanyakan berapa banyak jawapan lain yang telah diminta daripadanya.
← Semua catatan
