240 parametre kümesini test ettik. En iyi sonuçta Sharpe oranı 2.1, medyan 0.1 idi; yalnızca 17 tanesi 1.0'ı geçti. Bu sayılar bir keşif yaptığımızı düşündürüyor; ta ki her stratejinin gerçek avantajı sıfır olsa bile bu kadar geniş bir aramanın göz alıcı bir kazanan çıkarabileceğini öğrenene kadar.
Şaşırtıcı olan sayı 240. Bir geriye dönük test raporu genellikle seçilen stratejiyi sanki tek başına ortaya çıkmış gibi ele alır. Araştırma böyle yürümüyor. Her parametre değişikliği, özellik değişimi, evren değişikliği ve kötü bir sonuçtan sonra yapılan yeniden çalıştırma, gürültüye sinyal gibi görünmesi için bir fırsat daha verir.
Daha fazla strateji denemek en iyi Sharpe oranını neden yükseltir?
Gerçek bir avantajı olmayan, tahmini Sharpe oranları gürültülü 240 bağımsız strateji düşünün. Tahminlerin çoğu sıfıra yakın çıkar, ancak en yüksek değer pozitif olma eğilimindedir. İncelediğiniz aday sayısı arttıkça bu en yüksek değer gerçek değerden daha da uzaklaşabilir.
Kabaca açıklamak gerekirse, her adayın tahmini Sharpe oranının standart hatasının 0.5 olduğunu varsayalım. 240 bağımsız çekilişte, yalnızca seçim etkisiyle en yüksek tahmin ortalamanın yaklaşık 1.4 standart hata, yani yaklaşık 0.7 Sharpe üzerinde olabilir. Gerçek strateji adayları birbiriyle ilişkili olduğundan, bu hesaplama rapora doğrudan uygulayabileceğiniz bir düzeltme değildir. Geniş bir aramanın ardından “kazanan sıfırı geçti” ifadesinin neden zayıf kanıt olduğunu gösterir.
Üstelik arama nadiren yalnızca parametre ızgarasından ibarettir. Üç sinyal ailesi denemiş, eğrilerini gördükten sonra ikisini elemiş, işlem evrenini değiştirmiş ve ardından kalan stratejiyi farklı bir yeniden dengeleme takvimiyle tekrar çalıştırmış olabilirsiniz. Performans bu seçimleri etkilediyse, bunlar araştırma geçmişine dahildir.
Bir geriye dönük test denemesi neleri kapsar?
Sonucu hangi stratejiyi seçeceğinizi etkilemiş olabilecek bir kararı deneme olarak sayın. Buna yayımlamadığınız çalıştırmalar ve özsermaye eğrisi kötü göründüğü için erken durdurduğunuz varyasyonlar da dahildir. Derleme hatası bir performans denemesi değildir; hayal kırıklığı yaratan Sharpe oranı üreten bir çalıştırma genellikle denemedir.
| Araştırma eylemi | Genellikle sayılır mı? | Neden |
|---|---|---|
| Sonuçları inceledikten sonra geriye bakış süresini 20'den 30'a değiştirmek | Evet | İlk sonuç, sonraki adayı etkiledi |
| Aynı sabit stratejiyi önceden belirlenmiş yeni bir tarih aralığında çalıştırmak | Genellikle yeni bir seçim denemesi sayılmaz | Bu kanıt görülmeden önce kural sabitlenmişti |
| Hangi varlıkların kazandığını gördükten sonra evreni değiştirmek | Evet | Evren seçimi, görünen sonucu iyileştirebilir |
| Sözdizimi hatasını düzeltip kodu değiştirmeden yeniden çalıştırmak | Hayır | Performansa bağlı bir araştırma kararı alınmadı |
Ayırıcı nokta, bir sonucu kullanarak seçim yapıp yapmadığınızdır. Bunu hafızadan yeniden kurmak zor olabilir; bu nedenle deney günlüğü her çalıştırma için hipotezi, kod veya yapılandırma sürümünü, veri aralığını, maliyet varsayımlarını ve sonucu kaydetmelidir.
Çoklu test için düzeltme yapabilir miyim?
Seçim yanlılığını tahmin eden veya çok sayıda deneme için anlamlılık düzeyini ayarlayan yöntemler vardır. Yararlı olabilirler, ancak adayların birbiriyle nasıl ilişkili olduğu ve getirilerin nasıl davrandığı hakkında varsayımlar gerektirirler. Araştırmanın gerçek geçmişini kaybettiyseniz, nominal bir p-değeri veya tek bir deflate edilmiş Sharpe tahmini bunu telafi edemez.
Kontrol edebileceğiniz noktalardan başlayın. Gerçekten hiç dokunulmamış bir dönemi değerlendirmeden önce nihai tanımı sabitleyin. Aday kümesinin tamamını görünür tutun. Birbiriyle ilişkili çok sayıda varyasyonu test ederken, her birini bağımsız bir keşifmiş gibi göstermek yerine onları ortaya çıkaran karara göre gruplayın. Kazananla birlikte arama sürecini de raporlayın: deneme sayısı, seçim kuralı ve nihai değerlendirmenin sonraki düzenlemeleri etkileyip etkilemediği.
Yararlı bir test: Bekletilen dönem sonucu hayal kırıklığı yaratırsa stratejiyi değiştirip aynı dönemi yeniden bekletilen dönem olarak adlandıracak mısınız? Yanıt evetse, bu dönem artık araştırmanın parçasıdır. Bir sonraki değerlendirme için yeni kanıta ihtiyacınız var.
Bir AI araştırma ajanı neleri kaydetmeli?
Bir ajan, kişinin çalışma belleğinde tutabileceğinden daha hızlı aday üretebilir. Bu nedenle deneme takibi, raporlama işi değil araştırma sisteminin bir parçasıdır. Her adayı çalıştırılmadan önce, hangi ana deneyden türediği ve hangi gerekçeyle oluşturulduğu dahil olmak üzere kaydedin. Başarısız ve elenen çalıştırmaları da saklayın. Bir insanın veya ajanın performansı ne zaman incelediğini ve ardından hangi kararın alındığını kaydedin.
Ardından seçim sürecini tekrarlanabilir hâle getirin: aynı aday kümesi ve kural verildiğinde aynı kazananı seçmelidir. Bir ajan sonuçları gördükten sonra istemini, hedefini veya kısıtlarını değiştirmeye devam ediyorsa, bu değişiklikler de aramanın parçasıdır.
2.1 Sharpe oranı araştırmaya değer olabilir. Ne ifade ettiği, onu ortaya çıkaran sürece bağlıdır. Araştırma günlüğü manşet olmak için 240 adayın yarıştığını gösterdiğinde, doğru sonraki soruyu sorabilirsiniz: Bu seçimlerin hiçbirinin tüketmediği ne tür bir kanıt kaldı?
← Tüm yazılar
