Sharpe Backtest Anda Bisa Naik Saat Menambah Lebih Banyak Pasar

Menambahkan lebih banyak pasar ke pencarian strategi dapat membuat backtest terbaik tampak lebih kuat, sekaligus membuat buktinya lebih lemah. Sharpe yang lebih tinggi setelah menambahkan simbol sering dianggap sebagai diversifikasi; jika kita mencari pemenang di antara simbol-simbol itu, kita juga menambah peluang untuk beruntung.

Perbedaan ini penting, baik saat agen mengusulkan ratusan sinyal maupun saat peneliti menguji beberapa sinyal secara manual. Ruang pencarian mencakup setiap kombinasi pasar, timeframe, fitur, dan parameter yang hasilnya memengaruhi pilihan akhir. “Kita hanya meluncurkan satu strategi” tidak memberi tahu berapa banyak kandidat yang ikut seleksi.

Mengapa universe pasar yang lebih besar bisa mendongkrak Sharpe terbaik?

Bayangkan kita menguji templat strategi yang sama di 40 pasar yang tidak berkaitan. Untuk memudahkan, anggap Sharpe sebenarnya di setiap pasar adalah nol dan setiap estimasi Sharpe memiliki standard error 0.5. Estimasi berfluktuasi di sekitar nol. Namun, jika kita memilih yang tertinggi, nilainya biasanya positif hanya karena kita memilih nilai maksimum.

Dengan pendekatan normal kasar, nilai terbesar dari 40 estimasi noise independen diperkirakan berada sekitar 1.3 standard error di atas nol: kira-kira Sharpe 0.65 dalam contoh ini. Angka pastinya bergantung pada ketergantungan, panjang sampel, dan distribusi imbal hasil. Intinya, seleksi menciptakan optimisme meskipun tak ada strategi yang punya keunggulan.

Pasar bukan lemparan koin yang independen. BTC dan ETH sering bergerak bersama; dua indeks saham bisa memiliki sebagian besar risiko yang sama. Ini mengurangi jumlah efektif uji coba independen, tetapi masalahnya tidak hilang. Pasar yang berkorelasi pun bisa berbeda dalam biaya, funding, likuiditas, dan jam ketika sinyal bekerja.

Apakah menguji lebih banyak pasar termasuk pengujian berganda?

Ya, jika hasilnya digunakan untuk memutuskan apa yang dipertahankan. Jika hipotesis awalnya adalah “aturan ini menangkap efek funding di berbagai perpetual utama,” meninjau pasar satu per satu merupakan bagian dari pengujian hipotesis tersebut. Jika kita menguji 50 pasar, menemukan yang terbaik, lalu menyusun hipotesis berdasarkan perilakunya, pemilihan universe sudah menjadi bagian dari optimasi.

Ada perbedaan penting antara cakupan yang ditetapkan sebelumnya dan cakupan yang dipilih setelah melihat hasil. Keranjang tetap dapat menunjukkan apakah sebuah gagasan tangguh di seluruh domain yang dinyatakan. Keranjang yang terus diperluas sampai satu simbol menghasilkan kurva ekuitas yang mencolok adalah prosedur pencarian. Keduanya bisa menjadi riset yang sah, tetapi menjawab pertanyaan yang berbeda.

Bagaimana cara menguji apakah keunggulan berlaku di pasar baru?

Tetapkan pilihan riset sebelum membuka holdout. Ini mencakup definisi sinyal, parameter, aturan universe, jadwal rebalance, dan asumsi eksekusi. Lalu evaluasi strategi yang tidak berubah di pasar yang tidak memengaruhi pilihan-pilihan tersebut.

Contohnya, anggap aturan momentum kripto dikembangkan menggunakan perpetual BTC dan ETH hingga 2023. Kita dapat menyisihkan sejumlah perpetual lain yang likuid, dipilih dengan aturan yang hanya menggunakan informasi yang tersedia sebelum periode pengujian, dan tidak melibatkan pasar tersebut dalam proses tuning. Terapkan aturan yang dibekukan ke kontrak-kontrak itu pada 2024 dan 2025. Sertakan tingkat biaya aktual setiap venue, pembayaran funding, spesifikasi kontrak, dan asumsi dampak pasar yang dapat dipertanggungjawabkan; pengujian transfer tanpa biaya transaksi spesifik pasar bisa keliru menganggap perbedaan biaya sebagai kegagalan sinyal—atau justru menyembunyikannya.

Laporkan distribusi hasil di pasar holdout, bukan hanya Sharpe gabungan. Portofolio gabungan dapat menyembunyikan fakta bahwa hampir semua imbal hasil berasal dari satu pasar. Tampilkan hasil bersih, jumlah transaksi, drawdown, dan porsi total P&L yang disumbangkan pasar terbesar untuk setiap pasar. Jika aturan hanya bekerja pada satu kontrak, sebut itu hasil khusus kontrak.

Jaga agar pemisahan waktu tetap valid. Sebuah pasar bisa tidak disentuh, sementara periode datanya tumpang tindih dengan rezim yang sama yang mendorong kinerja selama pengembangan. Holdout lintas pasar menguji apakah aturan berlaku di berbagai instrumen; holdout periode yang lebih baru menguji apakah aturan berlaku sepanjang waktu. Itu dua pengujian terpisah, dan hasil kuat pada satu pengujian tidak menggantikan yang lain.

Bagaimana jika strategi memang seharusnya menggunakan lebih banyak pasar?

Kalau begitu, sertakan pasar-pasar itu, tetapi tentukan caranya. Aturan portofolio yang memperdagangkan setiap pasar yang memenuhi syarat berdasarkan sinyal tetap berbeda dari kontes yang memilih pasar dengan kinerja historis terbaik. Kelayakan harus ditentukan tanpa melihat kinerja masa depan, misalnya dengan ambang likuiditas berdasarkan data pada saat itu dan persyaratan riwayat minimum. Perubahan keanggotaan juga perlu diberi timestamp, agar daftar “pasar likuid” saat ini tidak memasukkan pasar yang bertahan hingga sekarang ke dalam backtest historis.

Kritik bahwa universe yang sempit dapat menghasilkan strategi rapuh dan bahwa pengujian luas merupakan pemeriksaan ketangguhan yang berharga memang benar. Jawabannya bukan menghindari pengujian pasar. Kita perlu memisahkan pasar yang digunakan untuk menemukan gagasan dari pasar yang digunakan untuk menguji gagasan yang telah dibekukan, serta menghitung proses penemuan itu sebagai bagian dari bukti.

Universe yang lebih besar dapat membantu strategi bertahan di luar lingkungan riset. Universe itu juga dapat membantu backtest beruntung menang dalam seleksi di lingkungan riset. Log pencarian dan holdout menunjukkan cerita mana yang didukung oleh Sharpe Anda.