Pada Senin, agen riset AI kami menemukan strategi futures kripto dengan rasio Sharpe 4.1. Pada Kamis, setelah kami menghitung eksperimennya dan berhenti membiarkan agen menyetel parameter berdasarkan jendela validasi yang sama, hasilnya menjadi 0.8. Strateginya tidak berubah. Perkiraan kami tentang apa yang telah dicapai oleh pencarian itu yang berubah.
Kami mencatat proses ini sebagai jurnal riset singkat karena nasihat “lakukan optimasi dengan cermat” mudah diucapkan, tetapi sulit diterapkan ketika agen bisa menulis kode, menjalankan backtest, memeriksa skor, lalu mencoba lagi dalam hitungan menit. Berikut hal-hal yang bermasalah, secara berurutan.
Senin: Beri agen pertanyaan dengan batasan jelas
Kami meminta agen menguji ide tren per jam yang sederhana pada pasar futures perpetual yang likuid: masuk saat moving average jangka pendek melintasi moving average yang lebih panjang, tentukan ukuran posisi berdasarkan target volatilitas tetap, lalu tutup posisi saat sinyal berbalik. Kami menetapkan instrumen, tanggal, struktur biaya, riwayat funding, asumsi eksekusi, dan rentang parameter yang boleh dijelajahi.
Sampel historis mencakup 2021 hingga 2025. Kami menetapkan 2021–2023 sebagai data pengembangan, 2024 sebagai validasi, dan menyimpan 2025 sebagai holdout final yang tersegel. Pembagian ini ditetapkan dalam konfigurasi tugas, sehingga agen bisa membaca hasil pengembangan dan skor validasi, tetapi tidak bisa mengakses imbal hasil holdout.
Kesalahan pertama kami adalah mengizinkan 300 kombinasi parameter dalam satu tugas tanpa mencatat anggaran pencarian sebagai hasil riset. Agen mengembalikan konfigurasi dengan performa terbaik: moving average cepat 9 jam, moving average lambat 73 jam, dan target volatilitas 0.8%. Sharpe validasinya 4.1. Kami tahu agen telah mencoba banyak setelan. Namun, kami belum mencatat fakta itu dengan cara yang membuatnya mustahil dilupakan.
Selasa: Pemenangnya berubah saat kami menjalankan ulang
Kami menjalankan ulang tugas yang sama dari lingkungan bersih. Setelan terbaik berubah, dan Sharpe-nya turun menjadi 2.7. Cache data pasar menyajikan seri funding yang telah diperbarui pada proses pertama, sementara proses ulang menggunakan snapshot yang dipatok. Kedua tugas mengklaim memakai rentang tanggal yang sama; hanya satu yang memiliki versi data yang bisa direproduksi.
Kami berhenti membandingkan skor dan mulai mencatat eksperimen secara lengkap: revisi kode, snapshot data, biaya, funding, setelan eksekusi, nilai parameter, dan setiap percobaan yang dijalankan agen. Catatan itu menunjukkan bahwa angka 4.1 bukan keunggulan pasar yang misterius. Angka itu berasal dari satu setelan dalam pencarian atas 300 percobaan pada tahun validasi yang sama.
Rabu: Bekukan pencarian sebelum membuka holdout
Kami menjalankan ulang eksperimen dengan snapshot data tetap dan kisi yang lebih kecil, ditetapkan sebelumnya: 24 kombinasi. Agen bisa memberi peringkat pada kombinasi itu berdasarkan periode pengembangan 2021–2023. Kami mengizinkannya melihat data 2024 satu kali untuk memilih strategi, lalu mengunci setelan pilihan dan kodenya.
Strategi terpilih mencatat Sharpe 0.8 pada validasi. Pada holdout 2025 yang tersegel, skornya 0.3 setelah biaya taker, funding, dan jeda eksekusi satu bar yang sama diterapkan sepanjang studi. Itu jawaban yang berguna. Namun, itu bukan bukti bahwa strategi tersebut akan menghasilkan uang di akun live.
Catatan tambahan dari pekan ini: kami menghabiskan lebih banyak waktu untuk menyepakati arti “satu percobaan” daripada menulis kode moving average. Kami menghitung setiap perubahan set parameter sebagai satu percobaan, begitu juga perubahan pada sinyal atau aturan ukuran posisi. Snapshot data atau asumsi eksekusi baru dicatat sebagai proses terpisah, karena hal itu juga bisa mengubah peringkat.
Kamis: Hal yang akan kami lewatkan lain kali
Kami akan melewatkan tugas pertama yang pencariannya tanpa batas. Agen riset membutuhkan anggaran pencarian dan catatan tentang apa saja yang telah dicobanya, terutama ketika agen bisa menggunakan setiap hasil untuk menentukan percobaan berikutnya. Holdout juga harus dilindungi dari pengintipan informal: begitu seseorang membaca hasilnya lalu mengubah strategi, holdout itu menjadi set validasi lain.
Untuk pencarian kecil, catatan eksperimen yang praktis bisa dibuat sederhana dan jelas:
| Catat | Alasannya |
|---|---|
| Versi kode dan data | Agar proses ulang memakai masukan dan logika yang sama |
| Setiap varian yang dicoba | Agar pemenang bisa dipahami dalam konteks pencariannya |
| Peran pengembangan, validasi, dan holdout | Agar skor final tidak diam-diam dipakai lagi untuk penyetelan |
| Asumsi biaya, funding, dan eksekusi | Agar hasil yang dilaporkan menggambarkan simulasi yang dapat diuji |
Setelah holdout dibuka, kembali ke tahap pengembangan dengan pertanyaan riset baru dan simpan hasil lama sebagai bukti historis. Jangan terus menyempurnakan strategi yang sama berdasarkan periode yang sudah pernah dilihatnya.
Agen menjalankan tugasnya: menelusuri dengan cepat dan menemukan konfigurasi yang layak diperiksa. Tugas kami adalah membuat proses pencarian itu mudah ditelusuri, menjaga pengujian tetap tanpa sentuhan, dan memperlakukan skor sebagai pengukuran yang memiliki riwayat. Hasil yang menarik bukan 4.1 atau 0.3. Yang menarik adalah melihat dengan tepat bagaimana angka pertama itu dihasilkan.
← Semua artikel
