Backtest, strateji seçmekten çok onu elemekte işe yarar. Geçmiş performansı birçok varyant arasında seçim yapmak için kullandığınız anda backtest deneyin bir parçası olur ve görünürdeki kazanan gizli bir bedel taşımaya başlar: seçim yanlılığı.
Bu kulağa ters geliyor. Hangi stratejinin işe yaradığını öğrenmek istediğimiz için backtest yapıyoruz. Ancak aynı geçmişin yönlendirdiği her seçim, kanıtın bir kısmını tüketir. Sonuçları gördükten sonra geriye bakış süresini, eşiği, varlık evrenini, yeniden dengeleme gününü veya stop kuralını değiştirirseniz veriye yeni bir soru sormuş olursunuz. Eninde sonunda veriye, şans eseri ikna edici bir yanıt verecek kadar çok soru sormuş olursunuz.
Daha fazla stratejiyi test etmek, en iyi sonucu neden daha az güvenilir kılar?
Gerçek bir avantajı olmayan 100 stratejiyi test ettiğinizi düşünün. Getirileri yine de birbirinden farklı olacaktır. Performans tahminleri kabaca bağımsızsa ve gürültü normal dağılıyorsa, her stratejinin gerçek Sharpe değeri sıfır olsa bile bunların arasındaki en iyi Sharpe pozitif çıkar.
Bağımsız standart normal dağılımlı 100 örneğin beklenen maksimumu için kaba bir tahmin, ortalamanın 2.5 standart sapma üzeridir. Bunu bir örnek olarak görün; rapora doğrudan ekleyebileceğiniz bir düzeltme formülü olarak değil: gerçek strateji varyantları birbiriyle ilişkilidir, Sharpe tahminlerinin örnekleme hatası vardır ve getiriler nadiren kusursuz normal dağılımlı örnekler gibi davranır. Bu çekincelere rağmen pratik sonuç değişmez. Ne kadar çok adayı incelerseniz en yüksek puanın elverişli gürültüyü yansıtma olasılığı o kadar artar.
Üstelik “aday” yalnızca kaydedilmiş bir backtest değildir. Bir sonucu gördükten sonra yaptığınız her seçimdir: grafik dalgalı göründüğü için varlık evrenini genişletmek, kötü geçen bir yılı çıkarmak veya eğri toparlanana kadar ücret varsayımını değiştirmek. Kimse bu seçimlere bir sürüm numarası vermese bile hepsi hesaba katılır.
Bir sonraki varyantı çalıştırmadan önce araştırma kaydı tutun
Elenen fikirler ve her değişikliğin yapılma nedeni dâhil, arama sürecinin tamamını kaydedin. Böylece sonucun ne ölçüde seçimlerden etkilendiğini daha dürüstçe anlatabilir ve yalnızca cazip denemeleri hatırlama ihtimalini azaltabilirsiniz.
| Kayıt | Örnek | Neden önemli |
|---|---|---|
| Hipotez | BTC sürekli vadeli işlemlerinde olağan dışı büyüklükteki hareketlerin ardından kısa vadeli tersine dönüş daha güçlüdür | Fikri, sonradan belirlenen parametre ayarlarından ayırır |
| Varyant ve zaman damgası | 48 saatlik sinyal, 2026-10-09, çalışma 014 | Arama kapsamını sayar ve sonuçları kodla veriye bağlar |
| Seçim kuralı | Net Sharpe değerine göre seç; en az 100 işlem | Karşılaştırma öncesinde “en iyi”nin ne anlama geldiğini gösterir |
| Reddedilen varyantlar | 12, 24, 72 saatlik pencereler; hepsi kaydedildi | Görünürdeki kazananın rakiplerini silmesini önler |
Araştırma kaydı aramayı geri alamaz. Aramayı görünür kılar; bu da kazananın ne kadar güveni hak ettiğini değerlendirmeye yönelik ilk adımdır.
Araştırma sürecinin tekrar tekrar inceleyemeyeceği verileri ayırın
Veriyi zamana göre bölün, ardından son dönemi koruyun. Stratejiyi bir zaman aralığında geliştirin, doğrulama aralığını karar vermek için kullanın ve dondurulmuş stratejiyi daha sonraki bir holdout döneminde yalnızca 1 kez değerlendirin. Örneğin geliştirme için 2018–2022'yi, doğrulama için 2023'ü kullanıp 2024–2025'i ayırabilirsiniz. Bu tarihler yalnızca bir taslaktır: bölünmeyi piyasa, stratejinin zaman ufku ve veri kapsamı belirlemelidir.
“Dondurulmuş” olmanın ne anlama geldiğini yazın: sinyal, varlık evreni, pozisyon büyüklüğü, uygulama varsayımları ve eksik veriye ilişkin kurallar. Holdout hayal kırıklığı yaratır ve stratejiyi buna göre ayarlarsanız o dönem doğrulama verisine dönüşmüştür. Bir sonraki dürüst değerlendirme için yeni kanıt gerekir.
Küçük örneklemlerin etkisi burada da görülür. Holdout döneminde 18 kez işlem yapan bir strateji henüz kesin bir hükmü hak etmez. Getiri istatistiklerinin yanı sıra işlem sayısını ve belirsizliği de raporlayın; tek bir ortalama, küçük bir örneklemi kesin sonuç gibi gösterebilir.
Bu, strateji seçmek için backtestlerin işe yaramadığı anlamına mı geliyor?
Hayır. Eleştirmenler, katı holdout kullanımının verimsiz olabileceğini söylemekte haklı: piyasalar değişir, geçmiş veriler kısadır ve dokunulmamış bir dönem yalnızca alışılmadık tek bir piyasa rejimini temsil edebilir. Özenle tasarlanmış ileriye dönük bir test süreci, mevcut geçmiş veri ilerledikçe stratejinin nasıl davrandığını gösterebilir. Ancak tekrarlanan ayarlamaları bedelsiz hâle getirmez. Her katmanı inceler ve stratejiyi değiştirirseniz bu katmanlar araştırmayı etkilemiş olur.
Backtestleri başarısızlık biçimlerini ortaya çıkarmak, piyasa mekanizmasına dayanan az sayıda fikri karşılaştırmak ve sonuçların makul ücret, fonlama, piyasa etkisi ve parametre değişikliklerine dayanıp dayanmadığını sınamak için kullanın. Araştırma kaydı tutun. Son holdout dönemini koruyun. Ardından umut vadeden, dondurulmuş sürümü kâğıt üzerinde işlemlere taşıyın; operasyonel uyumsuzluklar burada ortaya çıkabilir.
Backtestin en güçlü yanıtı çoğu zaman şudur: “Bu fikir, şimdiden görebildiğimiz koşullarda başarısız oluyor.” “En iyi strateji bu” dediğindeyse kaç başka yanıt vermesini istediğinizi sorun.
← Tüm yazılar
