Bagaimanakah kita menghalang ejen strategi AI daripada membocorkan maklumat esok ke hari ini?

Ejen strategi AI boleh menghasilkan ujian semula yang sah sambil menggunakan maklumat yang belum wujud ketika dagangannya sepatutnya berlaku. Kodnya berjalan. Lengkung ekuiti kelihatan munasabah. Isyaratnya mungkin juga masuk akal. Namun, cap masa, cantuman data atau medan data yang telah disemak semula mungkin secara senyap-senyap memberikan jawapan esok kepadanya.

Penyelesaiannya ialah menjadikan masa ketersediaan sebahagian daripada kontrak penyelidikan. Setiap input perlu menjawab dengan jelas dua soalan: nilai ini merujuk kepada masa bila, dan bilakah strategi boleh mengetahuinya buat kali pertama?

Bagaimanakah rupa bias pandang ke hadapan dalam strategi yang dijana AI?

Contoh yang jelas ialah isyarat yang dikira daripada harga tutup bar yang sama, kemudian pesanan diisi pada harga tutup itu. Jika strategi memerlukan harga tutup untuk membuat keputusan, strategi itu tidak boleh berdagang pada harga tersebut juga. Namun, ejen sering menghasilkan contoh yang lebih terselindung ketika mencantumkan sumber data atau memilih nilai lalai yang mudah.

Katakan model mengira purata bergerak 20 bar pada penutupan setiap minit, lalu mengambil posisi apabila harga tutup melintasinya. Jika ujian semula mengisi pesanan pada harga tutup yang sama, ia telah menggunakan dagangan terakhir bar itu sebelum harga tersebut tersedia kepada strategi. Mengalihkan pesanan ke pembukaan bar seterusnya mungkin anggaran yang munasabah, walaupun pesanan pasaran tetap perlu mengambil kira yuran dan kesan pasaran.

Sekarang jadikan ciri itu data asas ekuiti harian atau snapshot kepentingan terbuka kripto. Tarikh pada baris mungkin menunjukkan hari Isnin, tetapi nilainya mungkin diterbitkan selepas penutupan hari Isnin atau dibetulkan kemudian. Tarikh bukan cap masa ketersediaan.

Bagaimanakah saya patut meletakkan cap masa pada input strategi?

Simpan sekurang-kurangnya tiga jenis masa jika sumber membenarkannya: tempoh yang dirujuk oleh sesuatu nilai, masa penerbit mengeluarkannya dan masa sistem anda menerimanya. Set maklumat strategi pada waktu membuat keputusan hanya boleh merangkumi nilai yang telah tersedia pada waktu itu.

Bagi strategi 1 minit, kelewatan satu saat tidak semestinya tidak memudaratkan. Kesannya bergantung pada waktu keputusan dibuat dan perkara yang digunakan oleh isyarat. Jika inputnya statistik sejam yang telah lengkap, kesannya mungkin hampir tiada. Jika inputnya ketidakseimbangan buku pesanan yang disampel hampir dengan waktu pesanan, kelewatan itu boleh membalikkan dagangan.

Bolehkah stor data mengikut titik masa mencegah kebocoran?

Ia membantu jika maksud “mengikut titik masa” ialah anda boleh mendapatkan semula nilai yang diketahui pada waktu keputusan lampau, termasuk versi yang berkuat kuasa ketika itu. Jadual yang sekadar mempunyai tarikh sejarah masih boleh mengandungi nilai yang telah dibetulkan hari ini untuk tarikh tersebut.

Bagi setiap rekod, simpan selang masa berkuat kuasa dan cap masa ketersediaan, serta kekalkan setiap semakan dan bukannya menimpanya. Kemudian, nyatakan pertanyaan sejarah dengan jelas: pulangkan versi terkini yang tersedia setakat waktu keputusan simulasi. Ini amat penting bagi data asas, keahlian indeks, keluaran ekonomi dan set data yang dibersihkan vendor.

Ada satu kerumitan operasi yang kurang menarik: cap masa penerbitan yang sempurna tidak berguna jika tugas pengingesan berjalan lewat 20 minit. Jika stor sejarah tidak merekodkan masa pengingesan, gunakan kelewatan konservatif dan nyatakannya. Ketepatan yang tidak pernah direkodkan oleh sumber hanyalah hiasan.

Apakah semakan yang mengesan bias pandang ke hadapan sebelum dagangan kertas?

Minta ejen penyelidikan menghasilkan garis masa ciri dan pesanan bersama ujian semula. Bagi setiap keputusan, rekodkan masa ketersediaan sumber terkini bagi setiap ciri, masa keputusan, masa pesanan dan masa pengisian yang dimodelkan. Tolak mana-mana baris yang inputnya tiba selepas keputusan dibuat.

• Anjakkan isyarat ke hadapan sebanyak 1 bar dan bandingkan hasilnya. Kejatuhan besar boleh mendedahkan kebergantungan pada pemasaan harga tutup ke harga tutup, tetapi ini sekadar diagnostik dan bukan bukti kebocoran.
• Hadkan setiap sumber kepada data sebelum tarikh potong sejarah, jalankan semula saluran pemprosesan dan bandingkan ciri yang terhasil dengan ciri sejarah yang disimpan.
• Gantikan ciri yang disyaki dengan nilai tetap. Jika prestasi hampir tidak berubah, periksa sama ada kod benar-benar menggunakan siri yang dimaksudkan.
• Jalankan ciri masa hadapan yang sengaja mustahil melalui saluran pemprosesan. Pengesahan sepatutnya gagal dengan jelas apabila masa ketersediaannya melebihi masa keputusan.

Semakan ini tidak mengesahkan sesuatu strategi. Semakan ini menjadikan andaian pemasaan tertentu lebih jelas dan mengesan cara lazim andaian tersebut dilanggar.

Adakah dagangan kertas membuktikan bahawa ujian semula tiada kebocoran?

Tidak. Dagangan kertas boleh mendedahkan saluran data langsung yang lewat, tiada atau sejajar secara berbeza daripada saluran sejarah. Ia tidak dapat membuktikan bahawa ciri latihan lama mencerminkan maklumat yang diketahui pada waktu itu. Model juga mungkin tidak lagi mendapat manfaat daripada kebocoran semata-mata kerana masa hadapan yang dilihatnya secara tidak sengaja kini sudah menjadi masa kini.

Gunakan dagangan kertas sebagai semakan keselarasan: bandingkan nilai ciri langsung, cap masa keputusan, penjanaan pesanan dan pengisian yang dimodelkan dengan takrifan dalam ujian semula. Apabila semuanya berbeza, jejak input dan jam yang tepat. Pasukan ejen yang dapat menerangkan set maklumat bagi setiap keputusan sedang menjalankan penyelidikan yang berguna. Pasukan ejen yang hanya mampu menunjukkan lengkung yang licin telah melangkaui audit paling sukar.