Kami menguji 240 set parameter. Prestasi terbaik menunjukkan nisbah Sharpe 2.1; median ialah 0.1; dan hanya 17 melepasi 1.0. Angka-angka itu kedengaran seperti penemuan sehinggalah anda tahu bahawa, walaupun setiap strategi langsung tiada kelebihan sebenar, carian seluas ini boleh menghasilkan pemenang yang kelihatan mengagumkan.
Angka yang mengejutkan ialah 240. Laporan ujian balik biasanya menganggap strategi yang dipilih seolah-olah ia muncul sendirian. Penyelidikan tidak berlaku begitu. Setiap pelarasan parameter, pertukaran ciri, perubahan alam aset dan ujian semula selepas keputusan yang buruk memberi hingar satu lagi peluang untuk kelihatan seperti isyarat.
Mengapa mencuba lebih banyak strategi menaikkan Sharpe terbaik?
Bayangkan 240 strategi bebas tanpa kelebihan sebenar, dengan anggaran Sharpe yang bising. Kebanyakan anggaran berada hampir sifar, tetapi nilai maksimum lazimnya positif. Semakin banyak calon yang anda periksa, semakin jauh nilai maksimum itu boleh menyimpang daripada nilai sebenar.
Sebagai gambaran kasar, katakan ralat piawai anggaran Sharpe setiap calon ialah 0.5. Dengan 240 cabutan bebas, anggaran tertinggi boleh mencapai kira-kira 1.4 ralat piawai melebihi min, atau lebih kurang 0.7 Sharpe, hanya kerana pemilihan. Calon strategi sebenar saling berkorelasi, jadi pengiraan ini bukan pembetulan yang boleh terus anda masukkan ke dalam laporan. Ia menunjukkan sebab “pemenang mengatasi sifar” ialah bukti yang lemah selepas carian yang meluas.
Dan carian itu jarang terhad kepada grid parameter. Anda mungkin telah mencuba 3 keluarga isyarat, menggugurkan 2 daripadanya selepas melihat lengkung prestasinya, mengubah alam dagangan, kemudian menguji semula strategi yang dikekalkan dengan jadual pengimbangan semula yang berbeza. Jika prestasi mempengaruhi pilihan-pilihan itu, semuanya perlu dimasukkan dalam sejarah penyelidikan.
Apakah yang dikira sebagai percubaan ujian balik?
Kira sesuatu keputusan sebagai percubaan apabila hasilnya boleh mempengaruhi strategi yang anda pilih. Ini termasuk larian yang tidak anda terbitkan dan varian yang anda hentikan awal kerana lengkung ekuitinya kelihatan buruk. Kegagalan kompilasi bukan percubaan prestasi; larian yang menghasilkan Sharpe yang mengecewakan biasanya dikira.
| Tindakan penyelidikan | Biasanya dikira? | Sebab |
|---|---|---|
| Ubah tempoh imbas kembali daripada 20 kepada 30 selepas menyemak keputusan | Ya | Keputusan pertama mempengaruhi calon seterusnya |
| Jalankan strategi tetap yang sama pada julat tarikh baharu yang ditetapkan lebih awal | Biasanya bukan percubaan pemilihan baharu | Peraturan itu ditetapkan sebelum bukti tersebut dilihat |
| Ubah alam aset selepas melihat aset mana yang mencatat keputusan terbaik | Ya | Pemilihan alam aset boleh memperbaik keputusan yang kelihatan |
| Betulkan ralat sintaks dan jalankan semula kod yang tidak berubah | Tidak | Tiada pilihan penyelidikan bergantung pada prestasi |
Penentunya ialah sama ada anda menggunakan sesuatu hasil untuk membuat pilihan. Perkara ini mungkin sukar dibina semula daripada ingatan, jadi log eksperimen patut merekodkan hipotesis, versi kod atau konfigurasi, tetingkap data, andaian kos dan hasil bagi setiap larian.
Bolehkah saya membuat pelarasan untuk ujian berbilang?
Terdapat kaedah untuk menganggarkan bias pemilihan atau melaraskan keertian statistik bagi banyak percubaan. Kaedah ini boleh berguna, tetapi memerlukan andaian tentang hubungan antara calon dan taburan pulangan. Nilai p nominal atau satu anggaran Sharpe terlaras tidak dapat menyelamatkan carian yang sejarah sebenarnya sudah hilang.
Mulakan dengan perkara yang boleh anda kawal. Tetapkan spesifikasi akhir sebelum menilai tempoh yang benar-benar belum disentuh. Pastikan keseluruhan set calon dapat dilihat. Apabila menguji banyak varian yang berkaitan, kumpulkan varian itu mengikut keputusan yang menghasilkannya dan bukannya berpura-pura bahawa setiap satunya ialah penemuan bebas. Laporkan juga carian di sebalik pemenang: bilangan percubaan, peraturan pemilihan dan sama ada penilaian akhir mempengaruhi suntingan seterusnya.
Ujian yang berguna: Jika keputusan set tahan mengecewakan, adakah anda akan mengubah strategi lalu menganggap tempoh yang sama sebagai set tahan sekali lagi? Jika ya, tempoh itu kini sebahagian daripada penyelidikan. Anda memerlukan bukti baharu untuk penilaian seterusnya.
Apakah yang patut direkodkan oleh ejen penyelidikan AI?
Ejen boleh menjana calon dengan lebih pantas daripada kemampuan seseorang mengingatinya. Oleh itu, pengiraan percubaan perlu menjadi sebahagian daripada sistem penyelidikan, bukan sekadar kerja pelaporan. Simpan setiap calon sebelum ia dijalankan, termasuk eksperimen induknya dan sebab calon itu diwujudkan. Kekalkan rekod larian yang gagal dan digugurkan. Catat bila manusia atau ejen menyemak prestasi dan keputusan yang dibuat selepas itu.
Kemudian jadikan proses pemilihan boleh diulang: dengan set calon dan peraturan yang sama, proses itu patut memilih pemenang yang sama. Jika ejen terus mengubah prompt, objektif atau kekangannya selepas melihat keputusan, perubahan itu juga sebahagian daripada carian.
Sharpe 2.1 mungkin berbaloi untuk disiasat. Maknanya bergantung pada proses yang menghasilkannya. Apabila log penyelidikan menunjukkan 240 calon bersaing untuk mendapat perhatian utama, anda boleh mengemukakan soalan susulan yang tepat: apakah bukti yang masih ada dan belum digunakan oleh pilihan-pilihan itu?
← Semua catatan
