Pada hari Isnin, ejen penyelidikan AI kami menemui strategi niaga hadapan kripto dengan nisbah Sharpe 4.1. Menjelang hari Khamis, selepas kami mengira eksperimen dan menghentikan ejen daripada melaras strategi berdasarkan tetingkap pengesahan yang sama, hasilnya menjadi 0.8. Strateginya tidak berubah. Anggaran kami tentang pencapaian carian itu yang berubah.
Kami mencatatkan diari penyelidikan ringkas ini kerana nasihat “optimumkan dengan cermat” mudah diberi tetapi sukar dilaksanakan apabila ejen boleh menulis kod, menjalankan ujian semula, memeriksa skor dan mencuba lagi dalam beberapa minit. Inilah yang tidak menjadi, mengikut urutan.
Isnin: Berikan ejen soalan yang terhad
Kami meminta ejen menguji idea trend setiap jam yang ringkas dalam pasaran niaga hadapan perpetual yang cair: masuk apabila purata bergerak jangka pendek melintasi purata jangka panjang, tetapkan saiz berdasarkan sasaran kemeruapan tetap, dan tutup posisi apabila isyarat berbalik. Kami menetapkan instrumen, tarikh, jadual yuran, sejarah pendanaan, andaian pelaksanaan dan julat parameter yang boleh diterokainya.
Sampel sejarah meliputi 2021 hingga 2025. Kami menetapkan 2021–2023 untuk pembangunan, 2024 untuk pengesahan, dan menyimpan 2025 sebagai set ujian akhir yang dirahsiakan. Pembahagian itu ditetapkan dalam konfigurasi tugas, jadi ejen boleh membaca hasil pembangunan dan skor pengesahan tetapi tidak boleh mendapatkan pulangan set ujian akhir.
Kesilapan pertama kami ialah membenarkan 300 gabungan parameter dalam satu tugas tanpa merekodkan bajet carian itu sebagai hasil penyelidikan. Ejen memberikan konfigurasi terbaik: purata pantas 9 jam, purata perlahan 73 jam dan sasaran kemeruapan 0.8%. Sharpe pengesahannya ialah 4.1. Kami tahu ejen telah mencuba banyak tetapan. Namun, kami belum memastikan fakta itu mustahil dilupakan.
Selasa: Pemenang berubah apabila kami menjalankan semula
Kami menjalankan semula tugas yang sama dalam persekitaran bersih. Tetapan teratas berubah dan nilai Sharpe-nya turun kepada 2.7. Cache data pasaran telah membekalkan siri pendanaan yang dikemas kini dalam larian pertama, manakala larian semula menggunakan petikan data yang ditetapkan. Kedua-dua tugas mendakwa menggunakan julat tarikh yang sama; hanya satu mempunyai versi data yang boleh dihasilkan semula.
Kami berhenti membandingkan skor lalu mula merekodkan keseluruhan eksperimen: semakan kod, petikan data, yuran, pendanaan, tetapan pelaksanaan, nilai parameter dan setiap percubaan yang dilancarkan ejen. Ini menunjukkan bahawa nilai 4.1 itu bukan kelebihan pasaran misteri. Nilai itu datang daripada satu tetapan dalam carian yang melibatkan 300 percubaan pada tahun pengesahan yang sama.
Rabu: Bekukan carian sebelum membuka set ujian akhir
Kami menjalankan semula eksperimen dengan petikan data tetap dan grid yang lebih kecil serta ditetapkan lebih awal: 24 gabungan. Ejen boleh menyusunnya mengikut prestasi dalam tempoh pembangunan 2021–2023. Kami membenarkannya melihat data 2024 sekali untuk pemilihan, kemudian mengunci tetapan dan kod yang dipilih.
Strategi yang dipilih mendapat Sharpe 0.8 dalam pengesahan. Dalam set ujian akhir 2025 yang dirahsiakan, skornya 0.3 selepas yuran taker, pendanaan dan kelewatan pelaksanaan satu bar yang sama digunakan sepanjang kajian. Itu jawapan yang berguna. Namun, ia bukan bukti bahawa strategi itu akan menjana wang dalam akaun langsung.
Satu perkara sampingan daripada minggu ini: kami meluangkan lebih banyak masa untuk bersetuju tentang maksud “satu percubaan” berbanding masa menulis kod purata bergerak. Kami mengira set parameter yang diubah sebagai satu percubaan, dan turut mengira larian yang mengubah isyarat atau peraturan penetapan saiz. Petikan data atau andaian pelaksanaan baharu mendapat rekod larian berasingan kerana kedua-duanya boleh mengubah kedudukan sama banyak.
Khamis: Perkara yang akan kami elakkan lain kali
Kami akan mengelakkan tugas pertama yang tiada had. Ejen penyelidikan memerlukan bajet carian dan rekod tentang perkara yang telah dicubanya, khususnya apabila ia boleh menggunakan setiap hasil untuk menentukan percubaan seterusnya. Set ujian akhir juga perlu dilindungi daripada pemeriksaan tidak formal: sebaik sahaja seseorang membaca hasilnya lalu mengubah strategi, set itu menjadi satu lagi set pengesahan.
Untuk carian kecil, lejar eksperimen yang praktikal boleh dibuat ringkas dan jelas:
| Rekod | Sebab penting |
|---|---|
| Versi kod dan data | Supaya larian semula menggunakan input dan logik yang sama |
| Setiap varian yang dicuba | Supaya pemenang dapat difahami berdasarkan keseluruhan carian |
| Peranan pembangunan, pengesahan dan set ujian akhir | Supaya skor akhir tidak digunakan semula secara senyap untuk pelarasan |
| Andaian yuran, pendanaan dan pelaksanaan | Supaya hasil yang dilaporkan menggambarkan simulasi yang boleh diuji |
Selepas set ujian akhir dibuka, kembali kepada pembangunan dengan soalan penyelidikan baharu dan simpan hasil lama sebagai bukti sejarah. Jangan terus memperhalus strategi yang sama berdasarkan tempoh yang sudah pernah dilihatnya.
Ejen itu menjalankan tugasnya: ia mencari dengan pantas dan menemui konfigurasi yang wajar diperiksa. Tugas kami ialah menjadikan proses carian itu jelas, mengekalkan ujian yang belum disentuh, dan menganggap skor sebagai ukuran yang mempunyai sejarah. Hasil yang menarik bukan 4.1 atau 0.3. Yang menarik ialah melihat dengan tepat bagaimana angka pertama itu terhasil.
← Semua catatan
