Agen Penyelidikan AI Anda Sudah Melihat Set Ujian: 3 Cara Skor Tercemar

Agen strategi boleh mencemarkan set ujian tanpa memasukkan satu baris data ujian pun dalam tugasan latihan. Jika agen melihat skor ujian, mengubah parameter dan menjalankan ujian sekali lagi, skor itu sudah mempengaruhi strategi. Kod mungkin melabelkan tempoh itu sebagai “di luar sampel”. Namun, proses penyelidikan telah menjadikannya sebahagian daripada carian.

Saya pernah melihat perkara ini berlaku kerana kemudahan: agen menjalankan sekumpulan ujian, membaca jadual ringkasan, kemudian mencadangkan penambahbaikan kecil. Tiada siapa menyuruhnya memadankan model pada data pegangan. Namun, gelung maklum balas itu tetap melakukan pemadanan tersebut.

Kesilapan 1: Membiarkan agen mengintai selepas setiap ujian

Kesan buruknya biasanya kelihatan pada Sharpe ujian yang meningkat sedikit demi sedikit dengan teratur. Agen mencuba 30 variasi, memilih yang terbaik, kemudian mencuba 30 variasi lagi di sekitarnya. Setiap perubahan nampak munasabah jika dilihat satu demi satu. Jika digabungkan, perubahan itu menjadikan tempoh ujian sasaran pengoptimuman.

Berikut contoh ringkas. Katakan strategi itu tiada kelebihan sebenar dan anda menguji 100 variasi bebas pada data pegangan. Jika anda memilih Sharpe tertinggi, anda mungkin mendapat hasil yang nampak mengagumkan secara kebetulan. Dalam kebanyakan carian strategi, variasi itu tidak benar-benar bebas. Namun, hal itu tidak menyelamatkan prosesnya: maklum balas berulang tetap mengutamakan tetapan yang kebetulan sesuai dengan keunikan data pegangan.

Lindungi data pegangan dengan sempadan akses hasil. Agen boleh membangunkan strategi menggunakan tempoh latihan dan pengesahan; ia tidak boleh mendapatkan metrik atau carta data pegangan. Jalankan penilaian akhir dalam tugasan berasingan, sekali sahaja selepas pilihan penyelidikan dimuktamadkan, dan rekodkan versi strategi serta petikan data bersama hasilnya.

Kesilapan 2: Menganggap setiap tempoh selepasnya “baharu”

Julat tarikh tidak dianggap baharu hanya kerana ia datang selepas tempoh latihan. Jika agen telah melihat skor daripada julat itu, atau seseorang menggunakan susut nilai maksimumnya untuk memilih ciri yang berbeza, julat itu sudah menjadi sebahagian daripada gelung maklum balas.

Penilaian walk-forward bergulir boleh membantu menganggarkan prestasi proses penyelidikan tetap merentas masa. Namun, kaedah ini tidak membenarkan anda mengintai setiap lipatan tanpa had. Jika agen melihat hasil lipatan lalu menyesuaikan carian, hasil itu juga menjadi maklum balas. Kekalkan satu tempoh akhir yang tidak disentuh untuk keputusan yang benar-benar ingin anda buat.

Kesilapan 3: Membekukan kod sambil mengubah soalan

Kadangkala kod strategi kekal sama, tetapi penyelidik mengubah penilaian selepas melihat hasilnya: menukar penanda aras, mengecualikan bulan yang buruk, melaporkan alam semesta yang berbeza atau menumpukan pada metrik yang nampak paling kuat. Set ujian telah mempengaruhi cara hasil itu diceritakan, walaupun parameternya tidak berubah.

Kesannya kelihatan pada laporan yang kemas dengan satu tajuk utama yang meyakinkan, tanpa rekod paparan lain yang pernah dicuba. Strategi ekuiti mungkin nampak lemah berbanding indeks pasaran luas tetapi kuat berbanding tunai; strategi kripto mungkin menyerlah di satu platform selepas beberapa platform diperiksa. Perbandingan itu boleh berguna, tetapi memilih antara perbandingan tersebut selepas melihat data pegangan ialah satu lagi langkah pemilihan.

Simpan lejar penyelidikan. Bagi setiap ujian, simpan hipotesis, versi kod, petikan data, carian parameter, tetingkap penilaian, metrik yang diminta dan sama ada agen atau penyelidik melihat hasilnya. Log ringkas lebih berguna daripada label “di luar sampel” yang kedengaran sempurna.

Kemudian, tetapkan soalan akhir dengan jelas sebelum penilaian: calon yang mana, alam semesta pasaran yang mana, penanda aras yang mana, kos yang mana dan metrik yang mana? Jika jawapannya berubah selepas hasil diterima, anggap ujian seterusnya sebagai penyelidikan dan simpan data baharu untuk pemeriksaan akhir yang berikutnya.

Apakah yang masih boleh saya pelajari daripada data pegangan yang tercemar?

Data itu masih berguna. Ia boleh menunjukkan prestasi strategi sepanjang tempoh tersebut dan membantu mendiagnosis kegagalan. Cuma jangan lagi bentangkan skornya sebagai pengesahan bebas. Gunakannya sebagai bukti pembangunan, bekukan calon seterusnya, kemudian nilai calon itu pada tempoh dagangan kertas masa hadapan yang benar-benar baharu, dengan andaian perakaunan dan pelaksanaan yang sama.

Dalam aliran kerja berasaskan agen, bilangan eksperimen mudah terlepas pandang: satu arahan boleh menghasilkan berpuluh-puluh ujian sebelum sesiapa menyedarinya. Perlindungannya bergantung pada tatacara. Hadkan perkara yang boleh diperiksa oleh agen, log setiap eksperimen dan kekalkan satu penilaian yang hasilnya tidak boleh mempengaruhi calon yang sedang dinilai.