वॉक-फ़ॉरवर्ड ऑप्टिमाइज़ेशन में बिना भनक लगे फेल होने के तीन तरीके

वॉक-फ़ॉरवर्ड ऑप्टिमाइज़ेशन को किसी रणनीति को ट्यून करने का ईमानदार तरीका माना जाता है, और यह साख उसे मिलनी भी चाहिए — कम से कम पूरे डेटा पर ऑप्टिमाइज़ करके नतीजे पर निहाल होने की तुलना में तो ज़रूर। लेकिन इस तकनीक के अपने चुपचाप पनपने वाले फ़ेल्योर मोड हैं, और हर एक का नतीजा एक ही होता है: एक वैलिडेशन रिपोर्ट जिस पर "robust" लिखा है, और उसके साथ नत्थी एक रणनीति जो है नहीं। यहाँ वे तीन हैं जिनके ख़िलाफ़ हमें सिस्टम खड़ा करना पड़ा, उनके छोड़े मलबे के हिसाब से क्रम में।

फ़ेल्योर एक: विंडो लीक कर जाती हैं

ग़लत तरीका: जनवरी-जून पर ट्यून करो, जुलाई पर वैलिडेट करो, और फिर जुलाई की किसी भी बात को दूसरे राउंड पर असर डालने दो — out-of-sample नंबर देख लेने के बाद दोबारा रन, पैरामीटर ग्रिड में एक "छोटा-सा बदलाव", या पूरी सीरीज़ पर नॉर्मलाइज़ किया गया कोई फ़ीचर। हर एक अकेले में मासूम लगता है। मिलकर ये out-of-sample विंडो को थोड़ी देरी से आया in-sample डेटा बना देते हैं।

मलबा: out-of-sample Sharpe जो रहस्यमय ढंग से in-sample Sharpe के साथ-साथ चलता है। असली out-of-sample नतीजे शोर भरे और निराश करने वाले होते हैं; संदेह जगाने वाला चिकना IS/OOS रिश्ता बताता है कि जानकारी उल्टी दिशा में बह रही है। हम यह अनुपात खुलकर देखते हैं — in-sample अगर out-of-sample से 3x से ज़्यादा है तो रन फ़्लैग हो जाता है, और out-of-sample शून्य या उससे नीचे हो तो in-sample कितना भी सुंदर दिखे, रन ख़ारिज।

फ़ेल्योर दो: विंडो-दर-विंडो मेट्रिक शॉपिंग

तीन वॉक-फ़ॉरवर्ड विंडो चलाइए, तीन शोर भरे नतीजे पाइए, फिर सारांश बनाइए: औसत Sharpe? मीडियन? "रेजीम चेंज" के नाम पर सबसे ख़राब विंडो हटा दें? हर चुनाव एक डिग्री ऑफ़ फ़्रीडम है, और ठान चुका ऑप्टिमाइज़र (इंसान हो या बेज़ियन) वही सारांश ढूँढ़ निकालेगा जिसमें यह रणनीति सबसे अच्छी दिखती है। हर विंडो पर पचहत्तर Optuna ट्रायल यानी शोर को फ़िट करने के पचहत्तर मौके, और उसे गुणा कीजिए उतने सारांशों से जितनों पर आप विचार करने को तैयार हैं।

मलबा: एक रणनीति जो वैलिडेशन पास कर जाती है और फिर लाइव में सबसे ख़राब विंडो जैसा प्रदर्शन देती है, क्योंकि सबसे ख़राब विंडो ही अकेली ईमानदार थी। हमारा नियम: एग्रीगेशन रन से पहले ही config में तय होता है, ट्रायल बजट तय होता है, और एनालिस्ट हर विंडो के नतीजे उनके फैलाव के साथ पढ़ता है। जिस रणनीति को पास होने के लिए मेहरबान सारांश चाहिए, वह पास नहीं होती।

फ़ेल्योर तीन: वह होल्डआउट जो होल्डआउट रहा ही नहीं

होल्डआउट ठीक एक बार काम करता है। जिस दूसरी बार किसी रणनीति को उस पर परखा जाता है — पैरामीटर में हल्की हेरफेर के बाद, सिग्नल में एक बदलाव के बाद, "बस एक बार देख लेते हैं" के बाद — वह होल्डआउट नहीं रह जाता; वह एक धीमा वैलिडेशन सेट बन जाता है। पंद्रह अछूते दिन बचाकर रखना तब तक आसान लगता है जब तक इटरेशन का दबाव नहीं आता और दोबारा जाँच लेना निर्दोष महसूस होने लगता है।

मलबा बारीक होता है: एक ही रणनीति के इटरेशनों के साथ-साथ बेहतर होते होल्डआउट नतीजे। ताज़े out-of-sample डेटा के पास इटरेशन एक के मुकाबले इटरेशन तीन को इनाम देने की कोई वजह नहीं होती, और जब वह ऐसा करता है, तो समझिए होल्डआउट की खुदाई हो चुकी है। हम वन-शॉट नियम मशीनी तौर पर लागू करते हैं: हर पाइपलाइन रन में होल्डआउट एक ही बार मूल्यांकन करता है, नतीजा रिकॉर्ड में लिख दिया जाता है, और जिस रणनीति को दूसरा मौका चाहिए वह पूरी परीक्षा-शृंखला से दोबारा गुज़रती है — नई विंडो समेत। उसे वॉक-फ़ॉरवर्ड out-of-sample Sharpe का कम से कम 70% बनाए रखना होता है, और वह पासा दोबारा नहीं फेंका जाता।

वह पहचान जो तीनों में टिकती है

इन सबसे पहले हम एक सीधी-सादी सेंसिटिविटी स्वीप चलाते हैं: हर पैरामीटर को ±20% हिलाकर मेट्रिक्स देखते हैं। असली edge धीरे-धीरे कमज़ोर पड़ता है; संयोग खाई में गिर जाता है। यह पाइपलाइन का सबसे सस्ता टेस्ट है और यह उन रणनीतियों को वीटो कर देता है जो ऊपर की हर चीज़ से आराम से निकल जातीं — क्योंकि पैरामीटर क्लिफ़ ओवरफ़िटिंग की वही शक्ल है जो आपके उसे वैलिडेशन मशीनरी में छिपने का मौका देने से पहले दिखती है।

इनमें से कोई भी चीज़ ऑप्टिमाइज़ेशन को सुरक्षित नहीं बनाती। ये फ़ेल्योर मोड को शोर मचाने वाला बना देती हैं — और किसी वैलिडेशन प्रक्रिया से ईमानदारी से इससे ज़्यादा माँगा भी नहीं जा सकता।