Pazartesi günü yapay zekâ araştırma ajanımız, Sharpe oranı 4.1 olan bir kripto vadeli işlem stratejisi buldu. Perşembe günü, deneyleri sayıp ajanın aynı doğrulama penceresine göre ayar yapmasını durdurduktan sonra sonuç 0.8'e indi. Strateji değişmemişti. Aramanın ne başardığına dair tahminimiz değişmişti.
Bunu kısa bir araştırma günlüğü olarak yürüttük; çünkü “dikkatlice optimize edin” demek kolay, bir ajanın kod yazıp geriye dönük test başlatabildiği, skoru inceleyebildiği ve dakikalar içinde yeniden deneyebildiği bir ortamda bunu uygulamaya dökmekse zor. İşte sırayla ters gidenler.
Pazartesi: Ajana sınırları belli bir soru verin
Ajanın likit bir sürekli vadeli işlem piyasasında basit bir saatlik trend fikrini test etmesini istedik: kısa hareketli ortalama uzun olanı kesince pozisyon açmak, pozisyon büyüklüğünü sabit bir volatilite hedefine göre belirlemek ve ters sinyalde pozisyonu kapatmak. Enstrümanı, tarihleri, ücret tarifesini, fonlama geçmişini, işlem varsayımını ve araştırabileceği parametre aralıklarını belirttik.
Geçmiş örneklem 2021'den 2025'e uzanıyordu. 2021–2023 dönemini geliştirme, 2024'ü doğrulama için ayırdık ve 2025'i son test dönemi olarak kapalı tuttuk. Bu ayrımı iş yapılandırmasına yazdık; böylece ajan geliştirme sonuçlarını ve doğrulama skorlarını görebiliyor, ancak son test getirilerine erişemiyordu.
İlk hatamız, araştırma bütçesini araştırma sonucu olarak kaydetmeden tek bir işte 300 parametre kombinasyonuna izin vermekti. Ajan en iyi sonucu veren ayarı buldu: 9 saatlik kısa ortalama, 73 saatlik uzun ortalama ve %0.8 volatilite hedefi. Doğrulama Sharpe oranı 4.1'di. Ajanın pek çok ayarı denediğini biliyorduk. Ancak bu gerçeği unutmamızı imkânsız kılacak şekilde henüz kayda geçirmemiştik.
Salı: Yeniden çalıştırınca kazanan değişti
Aynı işi temiz bir ortamda yeniden çalıştırdık. En iyi ayar değişti ve Sharpe oranı 2.7'ye düştü. İlk çalıştırmada piyasa verisi önbelleği güncellenmiş bir fonlama serisi sunmuştu; yeniden çalıştırmada ise sabitlenmiş bir anlık görüntü kullanıldı. Her iki iş de aynı tarih aralığını kullandığını belirtiyordu, ancak yalnızca birinde veri sürümü tekrarlanabilir biçimde sabitlenmişti.
Skorları karşılaştırmayı bırakıp deneyin tamamını kaydetmeye başladık: kod revizyonu, veri anlık görüntüsü, ücretler, fonlama, işlem ayarları, parametre değerleri ve ajanın başlattığı her deneme. Böylece 4.1'in gizemli bir piyasa avantajı olmadığını gördük. Aynı doğrulama yılında 300 denemelik bir aramada bulunan tek bir ayara aitti.
Çarşamba: Son testi açmadan önce aramayı dondurun
Deneyi sabit bir veri anlık görüntüsü ve önceden belirlediğimiz daha küçük bir ızgarayla yeniden çalıştırdık: 24 kombinasyon. Ajan bunları 2021–2023 geliştirme dönemine göre sıralayabiliyordu. Seçim için 2024'ü bir kez görmesine izin verdik, sonra seçilen ayarları ve kodu kilitledik.
Seçilen stratejinin doğrulama Sharpe oranı 0.8 oldu. Kapalı tutulan 2025 son test döneminde ise, taker ücretleri ve fonlama düşüldükten ve çalışma boyunca aynı 1 barlık işlem gecikmesi uygulandıktan sonra skor 0.3'tü. Bu faydalı bir yanıttı. Stratejinin canlı bir hesapta para kazandıracağına dair kanıt değildi.
Bu haftadan küçük bir not: Tek bir “deneme”nin ne anlama geldiği konusunda anlaşmaya, hareketli ortalama kodunu yazmaktan daha çok zaman harcadık. Değişen her parametre kümesini bir deneme saydık; sinyalin veya pozisyon büyüklüğünü belirleme kuralının değiştiği çalıştırmaları da saydık. Yeni bir veri anlık görüntüsü veya işlem varsayımı için ayrı bir çalışma kaydı tuttuk; çünkü bunlar da sıralamayı aynı ölçüde değiştirebilirdi.
Perşembe: Bir dahaki sefere neleri atlarız
Sınırları açıkça belirlenmemiş ilk işi atlarız. Bir araştırma ajanının arama bütçesi ve denediği seçeneklerin kaydı olmalı; özellikle de her sonucu sonraki denemesine yön vermek için kullanabiliyorsa. Son test sonucu gayriresmî biçimde incelenmeye karşı da korunmalı: biri sonucu okuduktan sonra stratejiyi değiştirirse, bu dönem artık yeni bir doğrulama kümesine dönüşmüştür.
Küçük bir arama için pratik deney kaydı sade ve açık olabilir:
| Kaydedilecekler | Önemi |
|---|---|
| Kod ve veri sürümleri | Yeniden çalıştırmanın aynı girdiler ve mantıkla yapılmasını sağlar |
| Denemeye alınan her seçenek | Kazananın arama süreci bağlamında anlaşılmasını sağlar |
| Geliştirme, doğrulama ve son test rolleri | Son skorun ayar yapmak için fark ettirmeden yeniden kullanılmasını önler |
| Ücretler, fonlama ve işlem varsayımları | Bildirilen sonucun test edilebilir bir simülasyonu tarif etmesini sağlar |
Son test açıldıktan sonra yeni bir araştırma sorusuyla geliştirme aşamasına dönün ve eski sonucu geçmişe ait kanıt olarak saklayın. Aynı stratejiyi, daha önce gördüğü bir döneme göre iyileştirmeye devam etmeyin.
Ajan görevini yaptı: Hızlıca arama yapıp incelemeye değer bir yapılandırma buldu. Bizim görevimiz aramayı anlaşılır kılmak, dokunulmamış bir testi korumak ve skoru geçmişi olan bir ölçüm olarak ele almaktı. İlginç olan 4.1 ya da 0.3 değildi. İlk sayının nasıl elde edildiğini tam olarak görmekti.
← Tüm yazılar
