रणनीति चुनने की तुलना में उसे खारिज करने के लिए बैकटेस्ट ज़्यादा बेहतर है। जिस पल आप कई विकल्पों में से चुनने के लिए ऐतिहासिक प्रदर्शन का इस्तेमाल करते हैं, बैकटेस्ट प्रयोग का हिस्सा बन जाता है और दिखने वाला विजेता एक छिपी हुई कीमत लेकर आता है: चयन पूर्वाग्रह।
यह बात उलटी लगती है। हम बैकटेस्ट इसलिए करते हैं क्योंकि जानना चाहते हैं कि कौन-सी रणनीति काम करती है। लेकिन एक ही इतिहास के आधार पर लिया गया हर फैसला उसके सबूत का कुछ हिस्सा खर्च करता है। नतीजे देखने के बाद लुकबैक, थ्रेशोल्ड, यूनिवर्स, रीबैलेंस का दिन या स्टॉप नियम बदलें, तो आपने डेटा से एक और सवाल पूछा है। आखिरकार, उससे इतने सवाल पूछे जा चुके होंगे कि वह संयोग से ही आपको एक भरोसेमंद जवाब दे देगा।
ज़्यादा रणनीतियाँ जाँचने से सबसे अच्छे नतीजे पर भरोसा क्यों घटता है?
सोचिए कि आप ऐसी 100 रणनीतियाँ जाँच रहे हैं जिनमें कोई वास्तविक बढ़त नहीं है। फिर भी उनके रिटर्न अलग-अलग होंगे। अगर उनके प्रदर्शन के अनुमान लगभग स्वतंत्र हैं और शोर सामान्य वितरण वाला है, तो उनमें सबसे अच्छा Sharpe सकारात्मक होगा, जबकि हर रणनीति का वास्तविक Sharpe शून्य है।
100 स्वतंत्र मानक सामान्य वितरण वाले सैंपल का अपेक्षित अधिकतम, औसत से लगभग 2.5 मानक विचलन ऊपर होता है। इसे सिर्फ़ एक उदाहरण समझें, ऐसी सुधार राशि नहीं जिसे रिपोर्ट में सीधे डाल दें: वास्तविक रणनीति विकल्प आपस में सहसंबद्ध होते हैं, Sharpe के अनुमानों में अपनी सैंपलिंग त्रुटि होती है और रिटर्न शायद ही कभी साफ़-सुथरे सामान्य सैंपल जैसे होते हैं। इन सावधानियों के बावजूद व्यावहारिक बात वही रहती है। जितने ज़्यादा विकल्प आप देखते हैं, उतनी ही संभावना है कि सबसे ऊँचा स्कोर अनुकूल शोर को दर्शाता हो।
और “विकल्प” का मतलब सिर्फ़ सेव किया हुआ बैकटेस्ट नहीं है। नतीजा देखने के बाद लिए गए हर फैसले का भी इसमें हिसाब है: चार्ट अस्थिर दिखने पर यूनिवर्स बढ़ाना, नुकसान पहुँचाने वाला साल हटा देना, या कर्व के उबरने तक फ़ीस की धारणा बदलते रहना। ये फैसले भी गिने जाते हैं, भले ही किसी ने उन्हें वर्ज़न नंबर न दिया हो।
अगला विकल्प चलाने से पहले रिसर्च लेजर रखें
खोज का पूरा रिकॉर्ड रखें, जिसमें छोड़े गए विचार और हर बदलाव का कारण भी शामिल हो। इससे आपको इस बात का ज़्यादा ईमानदार ब्यौरा मिलेगा कि नतीजे को चुनने में कितनी छँटाई हुई, और आकर्षक परीक्षणों को ही याद रखने की गुंजाइश कम होगी।
| क्या दर्ज करें | उदाहरण | यह क्यों मायने रखता है |
|---|---|---|
| परिकल्पना | BTC perp में असामान्य रूप से बड़ी चालों के बाद अल्पकालिक रिवर्सल अधिक मज़बूत होता है | विचार को उसकी अंतिम पैरामीटर सेटिंग से अलग रखता है |
| विकल्प और टाइमस्टैम्प | 48-घंटे का सिग्नल, 2026-10-09, रन 014 | खोज की गिनती रखता है और नतीजों को कोड तथा डेटा से जोड़ता है |
| चयन का नियम | नेट Sharpe के आधार पर चुनें; कम से कम 100 ट्रेड | तुलना से पहले बताता है कि “सबसे अच्छा” किसे माना जाएगा |
| खारिज किए गए विकल्प | 12, 24, 72-घंटे की विंडो; सभी रिकॉर्ड में रखी गईं | दिखने वाले विजेता को बाकी विकल्पों को मिटाने से रोकता है |
लेजर से खोज का असर खत्म नहीं होगा। इससे खोज साफ़-साफ़ दिखाई देती है, और यही यह आँकने का पहला कदम है कि विजेता पर कितना भरोसा किया जाना चाहिए।
ऐसा डेटा अलग रखें जिसे रिसर्च प्रक्रिया बार-बार न देख सके
डेटा को समय के आधार पर बाँटें, फिर अंतिम अवधि को सुरक्षित रखें। एक अवधि पर रणनीति विकसित करें, वैलिडेशन अवधि के आधार पर फैसले लें और बाद की होल्डआउट अवधि पर स्थिर रणनीति का सिर्फ़ एक बार मूल्यांकन करें। उदाहरण के लिए, आप विकास के लिए 2018–2022, वैलिडेशन के लिए 2023 इस्तेमाल कर सकते हैं और 2024–2025 को सुरक्षित रख सकते हैं। ये तारीखें सिर्फ़ एक रूपरेखा हैं: विभाजन बाज़ार, रणनीति की अवधि और डेटा की उपलब्धता के आधार पर होना चाहिए।
लिखकर तय करें कि “स्थिर” का मतलब क्या है: सिग्नल, यूनिवर्स, साइज़िंग, एक्ज़ीक्यूशन की धारणाएँ और गुम डेटा से जुड़े नियम। अगर होल्डआउट का नतीजा निराश करे और आप उसी के आधार पर रणनीति में बदलाव करें, तो वह अवधि वैलिडेशन डेटा बन चुकी है। अगले ईमानदार मूल्यांकन के लिए नए सबूत चाहिए।
यहीं छोटे सैंपल की समस्या सामने आती है। होल्डआउट में 18 बार ट्रेड करने वाली रणनीति पर सटीक फैसला देने के लिए पर्याप्त आधार नहीं है। रिटर्न के आँकड़ों के साथ ट्रेड की संख्या और अनिश्चितता भी बताएँ; सिर्फ़ एक औसत कम सैंपल को भी तयशुदा दिखा सकता है।
क्या इसका मतलब है कि रणनीतियाँ चुनने के लिए बैकटेस्ट बेकार हैं?
नहीं। आलोचकों की बात सही है कि सख्त होल्डआउट का इस्तेमाल बेकार साबित हो सकता है: बाज़ार बदलते हैं, इतिहास छोटा होता है और बिना छुई अवधि सिर्फ़ एक असामान्य दौर को दर्शा सकती है। सोच-समझकर बनाई गई वॉक-फॉरवर्ड प्रक्रिया दिखा सकती है कि उपलब्ध इतिहास आगे बढ़ने के साथ रणनीति कैसा प्रदर्शन करती है। फिर भी, इससे बार-बार बदलाव करना मुफ़्त नहीं हो जाता। अगर आप हर फोल्ड को देखकर रणनीति में संशोधन करते हैं, तो उन फोल्ड ने रिसर्च को प्रभावित किया है।
विफलता के तरीके उजागर करने, बाज़ार की कार्यप्रणाली पर आधारित कुछ विचारों की तुलना करने और यह जाँचने के लिए बैकटेस्ट इस्तेमाल करें कि नतीजे संभावित फ़ीस, फंडिंग, इम्पैक्ट और पैरामीटर बदलावों के बावजूद टिकते हैं या नहीं। लेजर रखें। अंतिम होल्डआउट सुरक्षित रखें। फिर एक आशाजनक, स्थिर संस्करण को पेपर ट्रेडिंग में ले जाएँ, जहाँ परिचालन संबंधी विसंगतियाँ सामने आ सकती हैं।
बैकटेस्ट का सबसे ठोस जवाब अक्सर यह होता है: “यह विचार उन परिस्थितियों में विफल हो जाता है जिन्हें हम पहले से देख सकते हैं।” जब वह कहे, “यह सबसे अच्छी रणनीति है,” तो पूछें कि उससे ऐसे कितने और जवाब माँगे गए थे।
← सभी पोस्ट
