Daha Fazla Piyasa Eklediğinizde Backtest Sharpe’ınız Yükselebilir

Strateji aramasına daha fazla piyasa eklemek, kanıtları zayıflatırken en iyi backtest sonucunu daha güçlü gösterebilir. Semboller eklendikten sonra Sharpe’ın yükselmesi çoğu zaman çeşitlendirme olarak değerlendirilir; ancak kazananı bulmak için bu sembolleri de taradıysanız, şansınızı denemek için daha fazla fırsat yaratmış olursunuz.

Bu ayrım, ister bir ajan yüzlerce sinyal önersin ister bir araştırmacı birkaç adayı elle sınasın, önem taşır. Arama alanı; sonucu nihai seçimi etkileyen tüm piyasa, zaman dilimi, özellik ve parametre kombinasyonlarını kapsar. “Yalnızca bir stratejiyi devreye aldık” demek, kaç adayın değerlendirmeye girdiğini göstermez.

Daha geniş bir piyasa evreni en iyi Sharpe’ı neden şişirebilir?

Aynı strateji şablonunu birbiriyle ilgisiz 40 piyasada sınadığınızı düşünün. Basitlik adına her piyasanın gerçek Sharpe’ının sıfır, tahmini Sharpe’ının standart hatasının da 0.5 olduğunu varsayalım. Tahminler sıfırın çevresinde dalgalanır. Ancak en yükseğini seçerseniz, sırf bir maksimum seçtiğiniz için bu değer genellikle pozitif olur.

Kabaca normal dağılım varsayımına göre, birbirinden bağımsız 40 gürültü tahmininin en büyüğünün sıfırın yaklaşık 1.3 standart hata üzerinde olması beklenir: bu örnekte yaklaşık 0.65 Sharpe. Kesin değer; bağımlılığa, örneklem uzunluğuna ve getirilerin dağılımına bağlıdır. Önemli olan, hiçbir stratejinin avantajı olmasa bile seçimin iyimserlik yaratmasıdır.

Piyasalar birbirinden bağımsız yazı tura atışları değildir. BTC ve ETH çoğu zaman birlikte hareket eder; iki hisse senedi endeksi risklerinin büyük bölümünü paylaşabilir. Bu durum bağımsız denemelerin etkin sayısını azaltır ama sorunu ortadan kaldırmaz. Ayrıca korelasyonlu piyasalar ücretler, fonlama, likidite ve sinyalin işe yaradığı saatler bakımından yine de farklılık gösterebilir.

Daha fazla piyasayı sınamak çoklu test sayılır mı?

Sonuçları neyi tutacağınıza karar vermek için kullanıyorsanız sayılır. İlk hipotez “bu kural, başlıca sürekli vadeli işlemlerde bir fonlama etkisini yakalıyor” ise piyasaları incelemek bu hipotezi sınamanın bir parçasıdır. 50 piyasayı test edip en iyisini bulduktan sonra hipotezi o piyasanın davranışına göre yazarsanız, evren seçimi optimizasyonun bir parçası haline gelmiştir.

Önceden belirlenen genişlikle, sonuçlar görüldükten sonra belirlenen genişlik arasında yararlı bir ayrım vardır. Sabit bir sepet, fikrin önceden tanımlanmış bir alanda ne kadar sağlam olduğunu gösterebilir. Çarpıcı bir öz sermaye eğrisi veren bir sembol çıkana kadar genişletilen sepet ise bir arama prosedürüdür. Her ikisi de geçerli araştırma olabilir, ancak farklı sorulara yanıt verirler.

Bir avantajın yeni piyasalara aktarıldığını nasıl sınarım?

Dışarıda tutulan veriyi açmadan önce araştırma tercihlerini sabitleyin. Buna sinyal tanımı, parametreler, evren kuralları, yeniden dengeleme takvimi ve gerçekleştirim varsayımları dahildir. Ardından değişmemiş stratejiyi, bu tercihleri etkilememiş piyasalarda değerlendirin.

Örneğin, bir kripto momentum kuralının 2023 sonuna kadar BTC ve ETH sürekli vadeli işlemleri üzerinde geliştirildiğini varsayalım. Test döneminden önce elde bulunan bilgileri kullanan bir kuralla seçilmiş, likit başka sürekli vadeli işlemleri ayırabilir ve tüm ayarlama sürecinin dışında tutabilirsiniz. Sabitlenmiş kuralı bu sözleşmelere 2024 ve 2025 yıllarında uygulayın. Her platformun gerçek ücret kademesini, fonlama ödemelerini, sözleşme özelliklerini ve savunulabilir bir fiyat etkisi varsayımını dahil edin; piyasaya özgü işlem maliyetlerini hesaba katmayan bir aktarım testi, maliyet farkını sinyal başarısızlığı sanabilir ya da başarısızlığı gizleyebilir.

Yalnızca birleştirilmiş Sharpe’ı değil, dışarıda tutulan piyasalar genelindeki dağılımı raporlayın. Birleştirilmiş portföy, getirilerin neredeyse tamamını tek bir piyasanın sağladığını gizleyebilir. Her piyasanın net sonucunu, işlem sayısını, düşüşünü ve toplam P&L içindeki en büyük piyasanın payını gösterin. Kural yalnızca bir sözleşmede işe yarıyorsa, bunu sözleşmeye özgü bir sonuç olarak adlandırın.

Zaman ayrımını da dürüstçe yapın. Bir piyasa dokunulmamış olsa bile veri dönemi, geliştirme performansını belirleyen rejimle çakışabilir. Piyasalar arası dışarıda tutma, kuralın enstrümanlar arasında aktarılıp aktarılmadığını; daha sonraki bir dönemi dışarıda tutma ise zaman içinde aktarılıp aktarılmadığını sorgular. Bunlar ayrı testlerdir ve birindeki güçlü sonuç diğerinin yerini tutmaz.

Ya strateji gerçekten daha fazla piyasa kullanmalıysa?

O zaman piyasaları dahil edin, ancak yöntemi tanımlayın. Sabit bir sinyale göre işlem yapılabilir her piyasada alım satım yapan bir portföy kuralı, tarihsel performansı en iyi piyasanın kazandığı bir yarışmadan farklıdır. Uygunluk, gelecekteki performansa bakılmadan belirlenmelidir; örneğin belirli bir zamandaki likidite eşiği ve asgari geçmiş verisi koşuluyla. Piyasa üyeliğindeki değişiklikler de zaman damgalı olmalıdır; aksi halde bugünkü “likit piyasalar” listesi, eski bir backtest’e bugünün hayatta kalanlarını sızdırabilir.

Eleştirmenler, dar bir evrenin kırılgan bir strateji üretebileceği ve geniş kapsamlı testlerin değerli bir sağlamlık kontrolü olduğu konusunda haklı. Çözüm, piyasaları test etmekten kaçınmak değildir. Bir fikri keşfetmek için kullanılan piyasaları, sabitlenmiş fikri sınamak için kullanılanlardan ayırmak ve keşif çalışmalarını kanıtların bir parçası olarak saymaktır.

Daha geniş bir evren, stratejinin laboratuvarın dışında ayakta kalmasına yardımcı olabilir. Şanslı bir backtest’in laboratuvardaki seçim yarışını kazanmasına da yardımcı olabilir. Sharpe’ınızın hangi hikâyeyi desteklediğini arama kaydı ve dışarıda tutulan test gösterir.