Ujian Balik Anda Menemui Kelebihan 20%. Berapa Banyak Berpunca daripada Satu Cap Masa yang Salah?

Ujian balik mencatat pulangan tahunan 20%. Ia menggunakan data 8 tahun, 1,640 dagangan dan pemisahan walk-forward yang kemas. Kemudian kami menggantikan sejarah semasa vendor dengan nilai yang direkodkan pada waktu itu, lalu kelebihannya merosot kepada 3%.

Angka yang mengejutkan bukanlah pulangan asal. Sebaliknya, 17 mata peratusan itu bergantung pada data yang telah disemak semula. Maklumat hindsight seperti ini boleh tersembunyi dalam keluaran ekonomi, asas kewangan syarikat, keahlian indeks, malah medan pasaran yang kononnya ringkas. Data sejarah menunjukkan perkara yang dinyatakan oleh sumber sekarang. Set data point-in-time pula menunjukkan perkara yang mungkin diketahui oleh strategi anda pada waktu itu.

Mengapa data sejarah boleh berubah selepas sesuatu peristiwa?

Sesetengah nilai bermula sebagai anggaran, kemudian dibetulkan. Statistik ekonomi yang dikeluarkan pada hari Jumaat mungkin disemak semula pada bulan berikutnya. Syarikat boleh menyatakan semula angka pendapatannya. Vendor data boleh membetulkan cetakan yang salah, mengisi sela masa yang hilang atau menggantikan nilai awal dengan nilai muktamad. Pangkalan data yang hanya menyimpan nilai terkini membuat semua perubahan itu kelihatan seolah-olah memang sentiasa benar.

Perkara ini penting apabila strategi menyusun kedudukan syarikat berdasarkan hasil yang dilaporkan atau berdagang dalam pasaran selepas keluaran data berjadual. Jika strategi melihat angka yang telah dibetulkan beberapa bulan lebih awal, ujian balik telah memberikan maklumat yang belum ada dalam pasaran pada waktu keputusan dibuat. Pengiraan isyarat mungkin sempurna; inputnya tetap datang daripada versi sejarah yang salah.

Ada perangkap mudah di sini: medan bernama date selalunya menerangkan tempoh yang diliputi oleh sesuatu nilai, bukannya masa nilai itu tersedia. Baris hasil suku tahunan bertarikh 31 Mac mungkin hanya diterbitkan pada bulan Mei. Label itu merujuk kepada tempoh perniagaan, bukan set maklumat yang tersedia kepada strategi.

Cap masa yang mana patut digunakan oleh ujian balik?

Jejaki tempoh berkuat kuasa nilai dan masa ketersediaannya secara berasingan. Jika boleh, simpan juga masa penerbitan dan masa kemasukan ke sistem. Strategi hanya boleh menggunakan nilai selepas nilai itu diterbitkan dan diterima oleh sistem; jika masa tersebut berbeza, gunakan masa yang lebih lewat untuk simulasi semula yang lebih konservatif.

Sebagai contoh, katakan jualan suku tahunan syarikat meliputi Januari hingga Mac, dilaporkan pada 8 Mei pukul 16:15 waktu Timur, dan tiba di stor penyelidikan anda pada 16:17. Strategi yang membuat keputusan pada penutupan pasaran 8 Mei tidak boleh menggunakan laporan itu jika keputusannya pada waktu penutupan dibuat pada 16:00. Strategi yang membuat keputusan pada pagi berikutnya boleh menggunakannya. Tarikh akhir suku tahun sahaja tidak dapat menjawab kedua-dua soalan itu.

Bagaimana saya menguji sama ada semakan data yang mendorong keputusan?

Jalankan strategi yang sama sebanyak 2 kali: sekali menggunakan versi data yang tersedia pada setiap waktu keputusan sejarah, dan sekali lagi menggunakan sejarah terkini yang telah disemak. Kekalkan andaian pelaksanaan, alam semesta dagangan dan kod yang sama. Perbezaannya ialah hasil sensitiviti semakan, bukannya perbandingan strategi baharu.

Kemudian teliti punca jurangnya. Adakah prestasi berubah pada hari keluaran? Adakah perbezaan terbesar tertumpu pada beberapa syarikat yang menyatakan semula angka atau pemerhatian yang dibetulkan? Adakah strategi berdagang sebelum masa penerbitan yang berkaitan? Audit pada peringkat peristiwa yang kecil sering menjelaskan lebih banyak daripada satu lagi carta pulangan terkumpul.

Angka tersebut sekadar ilustrasi, bukannya penalti sejagat. Hasil yang berguna ialah keputusan berpasangan untuk strategi anda sendiri, dengan dagangan dan kos yang sama setakat yang mungkin. Jika versi yang disemak menunjukkan prestasi jauh lebih baik, kenal pasti medan dan tarikh yang menyebabkan perbezaan itu sebelum mempercayai angka utama ujian balik.

Apakah yang patut direkodkan dalam audit data point-in-time?

Mulakan dengan medan yang benar-benar digunakan oleh strategi anda. Bagi setiap medan, kenal pasti sumber, maksud cap masa, dasar semakan dan sama ada versi terdahulu boleh diperoleh. Tanya vendor bagaimana pembetulan direkodkan: baris ditulis ganti, baris versi baharu atau log audit berasingan. Label “sejarah” pada halaman produk tidak menjelaskan perkara ini.

• Simpan setiap versi bersama cap masa penerbitan atau masa mula tersedia.
• Padankan ciri dengan keputusan menggunakan masa ketersediaan, bukan label tempoh.
• Simpan snapshot beku atau versi sumber supaya larian boleh dihasilkan semula.
• Tandakan nilai yang tiba lewat, disemak semula atau tiada sejarah yang boleh dipercayai.

Pastikan skopnya praktikal. Jika strategi anda hanya menggunakan dagangan dan bar bursa, semakan data ekonomi mungkin tidak berkaitan. Namun, pembetulan bar dan pengisian semula data oleh vendor masih boleh memberi kesan, terutamanya apabila isyarat bergantung pada pasaran yang tidak cair atau tetingkap peristiwa yang tepat.

Apabila sejarah point-in-time tidak tersedia

Jangan diam-diam menganggap nilai hari ini sebagai nilai semalam. Tandakan medan itu sebagai batasan, kecualikannya daripada dakwaan yang bergantung pada ketersediaan sejarah, atau gunakan kelewatan konservatif dan tunjukkan sejauh mana keputusan berubah. Nilai proksi yang dilewatkan boleh berguna untuk penyelidikan, asalkan kelewatannya dinyatakan dengan jelas dan batasan itu sentiasa disertakan bersama hasilnya.

Tugas ujian balik ialah membina semula keputusan menggunakan set maklumat yang tersedia pada waktu itu. Jika data anda hanya menunjukkan versi terkini, hasil yang jujur mempunyai batasan: ia boleh menguji strategi terhadap sejarah yang dibina semula hari ini, tetapi tidak dapat memastikan dengan tepat perkara yang mungkin dilihat oleh ejen sejarah.