रणनीति की खोज में ज़्यादा बाज़ार जोड़ने से सबसे अच्छा बैकटेस्ट मज़बूत दिख सकता है, जबकि उसके पीछे के सबूत कमज़ोर पड़ सकते हैं। प्रतीक जोड़ने के बाद Sharpe बढ़े तो अक्सर इसे विविधीकरण माना जाता है; लेकिन अगर आपने विजेता खोजने के लिए उन प्रतीकों को भी खंगाला, तो किस्मत चमकने के मौके भी बढ़ा दिए।
यह फर्क तब भी मायने रखता है जब कोई agent सैकड़ों सिग्नल सुझाए, और तब भी जब शोधकर्ता हाथ से कुछ ही सिग्नल आज़माए। खोज के दायरे में हर बाज़ार, टाइमफ़्रेम, फ़ीचर और पैरामीटर का वह संयोजन आता है जिसके नतीजे ने अंतिम चयन को प्रभावित किया। “हमने सिर्फ़ एक रणनीति लागू की” से यह पता नहीं चलता कि कितने उम्मीदवार आज़माए गए थे।
बाज़ारों का बड़ा दायरा सबसे अच्छे Sharpe को बढ़ा-चढ़ाकर क्यों दिखा सकता है?
मान लीजिए कि आप एक ही रणनीति टेम्पलेट को आपस में असंबंधित 40 बाज़ारों पर आज़माते हैं। सरलता के लिए मान लें कि हर बाज़ार का वास्तविक Sharpe शून्य है और हर अनुमानित Sharpe की मानक त्रुटि 0.5 है। अनुमान शून्य के आसपास ऊपर-नीचे होते रहते हैं। लेकिन सबसे ऊँचा अनुमान चुनें, तो वह आम तौर पर सकारात्मक होगा—सिर्फ़ इसलिए कि आपने अधिकतम मान चुना।
एक मोटे सामान्य वितरण के अनुमान के तहत, 40 स्वतंत्र शोर-आधारित अनुमानों में सबसे बड़ा मान शून्य से लगभग 1.3 मानक त्रुटियाँ ऊपर रहने की उम्मीद है: इस उदाहरण में करीब 0.65 Sharpe। सटीक संख्या निर्भरता, नमूने की अवधि और रिटर्न के वितरण पर निर्भर करती है। मुख्य बात यह है कि चयन से आशावाद पैदा होता है, भले ही किसी रणनीति में बढ़त न हो।
खोज का लॉग रखें। देखे गए हर बाज़ार और उम्मीदवार को दर्ज करें, जिनमें असफल रन और छोड़े गए विकल्प भी शामिल हों। अंतिम रणनीति की आज़माइशों की गिनती इस पर निर्भर करती है कि चयन को किन बातों ने प्रभावित किया—इस पर नहीं कि सफ़ाई के बाद कितनी फ़ाइलें बचीं।
बाज़ार स्वतंत्र सिक्का उछाल नहीं हैं। BTC और ETH अक्सर साथ चलते हैं; दो इक्विटी सूचकांकों के जोखिम का बड़ा हिस्सा साझा हो सकता है। इससे स्वतंत्र आज़माइशों की प्रभावी संख्या घटती है, लेकिन समस्या खत्म नहीं होती। सहसंबंधित बाज़ारों में भी शुल्क, फंडिंग, लिक्विडिटी और सिग्नल के काम करने के समय अलग हो सकते हैं।
क्या ज़्यादा बाज़ारों को आज़माना multiple testing में गिना जाता है?
हाँ, जब आप नतीजों के आधार पर तय करते हैं कि क्या रखना है। अगर मूल परिकल्पना थी कि “यह नियम बड़े perpetual बाज़ारों में फंडिंग के असर को पकड़ता है,” तो बाज़ारों की तुलना करना उस परिकल्पना को परखने का हिस्सा है। अगर आप 50 बाज़ार आज़माएँ, उनमें से सबसे अच्छा चुनें और फिर उसके व्यवहार के मुताबिक परिकल्पना लिखें, तो बाज़ार-दायरे का चयन भी अनुकूलन का हिस्सा बन जाता है।
पहले से तय किए गए व्यापक दायरे और नतीजे देखने के बाद चुने गए दायरे में उपयोगी फर्क है। एक तय बास्केट बता सकता है कि किसी विचार ने घोषित दायरे के बाज़ारों में कितना मज़बूत प्रदर्शन किया। किसी एक प्रतीक का प्रभावशाली इक्विटी कर्व मिलने तक बास्केट बढ़ाते जाना एक खोज प्रक्रिया है। दोनों वैध शोध हो सकते हैं, लेकिन दोनों अलग सवालों के जवाब देते हैं।
| शोध में किया गया चयन | यह किस बात का समर्थन कर सकता है | यह अकेले क्या साबित नहीं कर सकता |
|---|---|---|
| पहले से घोषित बास्केट, सभी बाज़ारों पर समान व्यवहार | चुने गए बाज़ारों में नियम का व्यवहार | कि बास्केट हर ट्रेड किए जा सकने वाले बाज़ार का प्रतिनिधित्व करता है |
| आज़माइशों के बाद सबसे अच्छा प्रदर्शन करने वाला बाज़ार चुनना | आज़माए गए बाज़ारों में किसका ऐतिहासिक नतीजा सबसे मज़बूत था | कि चुना गया Sharpe निष्पक्ष अनुमान है |
| खोज से पहले अलग रखे गए बाज़ार | क्या स्थिर नियम उन बाज़ारों में भी लागू होता है जिन्हें नहीं आज़माया गया | कि भविष्य की परिस्थितियाँ अलग रखे गए बाज़ारों जैसी होंगी |
मैं कैसे जाँचूँ कि बढ़त नए बाज़ारों में भी कायम रहती है?
अलग रखे गए बाज़ारों को देखने से पहले शोध के विकल्प तय कर लें। इसमें सिग्नल की परिभाषा, पैरामीटर, बाज़ार-दायरे के नियम, रीबैलेंसिंग का शेड्यूल और निष्पादन की मान्यताएँ शामिल हैं। फिर उसी अपरिवर्तित रणनीति को उन बाज़ारों पर परखें जिन्होंने इन विकल्पों को प्रभावित नहीं किया।
मिसाल के तौर पर, मान लें कि क्रिप्टो मोमेंटम नियम BTC और ETH perpetuals पर 2023 तक के डेटा से विकसित किया गया। आप दूसरे लिक्विड perpetuals का एक समूह अलग रख सकते हैं, जिसे ऐसे नियम से चुना जाए जो सिर्फ़ परीक्षण अवधि से पहले उपलब्ध जानकारी का उपयोग करता हो, और उसे सभी ट्यूनिंग से बाहर रख सकते हैं। उसी स्थिर नियम को 2024 और 2025 में उन कॉन्ट्रैक्ट्स पर लागू करें। हर venue का वास्तविक शुल्क स्तर, फंडिंग भुगतान, कॉन्ट्रैक्ट विनिर्देश और एक तर्कसंगत मूल्य-प्रभाव मान्यता शामिल करें; बाज़ार-विशिष्ट ट्रेडिंग लागतों के बिना किया गया ट्रांसफ़र परीक्षण लागत के फर्क को सिग्नल की विफलता समझ सकता है—या विफलता को छिपा सकता है।
सिर्फ़ संयुक्त Sharpe नहीं, अलग रखे गए बाज़ारों के नतीजों का वितरण भी दिखाएँ। संयुक्त पोर्टफोलियो यह छिपा सकता है कि लगभग पूरा रिटर्न एक ही बाज़ार से आया। हर बाज़ार का शुद्ध नतीजा, ट्रेडों की संख्या, ड्रॉडाउन और कुल P&L में सबसे बड़े बाज़ार का हिस्सा दिखाएँ। अगर नियम सिर्फ़ एक कॉन्ट्रैक्ट पर काम करता है, तो उसे उसी कॉन्ट्रैक्ट तक सीमित नतीजा कहें।
समय के विभाजन को भी ईमानदारी से रखें। किसी बाज़ार का डेटा अलग रखा गया हो सकता है, फिर भी उसकी अवधि उसी बाज़ार-दौर से मेल खा सकती है जिसने विकास के दौरान प्रदर्शन को बढ़ाया। अलग बाज़ारों पर परीक्षण पूछता है कि नियम अलग इंस्ट्रूमेंट्स में भी काम करता है या नहीं; बाद की अवधि पर परीक्षण पूछता है कि वह समय के साथ भी कायम रहता है या नहीं। ये अलग परीक्षण हैं, और एक में मज़बूत नतीजा दूसरे की जगह नहीं लेता।
अगर रणनीति में सचमुच ज़्यादा बाज़ार होने चाहिए तो क्या करें?
तो उन्हें शामिल करें, लेकिन तरीका पहले से तय करें। एक पोर्टफोलियो नियम, जो तय सिग्नल के आधार पर हर पात्र बाज़ार में ट्रेड करता है, उस मुकाबले से अलग है जिसमें सबसे अच्छा ऐतिहासिक बाज़ार जीतता है। पात्रता भविष्य के प्रदर्शन को देखे बिना तय होनी चाहिए: मिसाल के लिए, उस समय उपलब्ध लिक्विडिटी की न्यूनतम सीमा और इतिहास की न्यूनतम अवधि के आधार पर। सदस्यता में बदलाव के समय भी दर्ज करें, वरना “लिक्विड बाज़ारों” की आज की सूची पुराने बैकटेस्ट में आज के बचे हुए बाज़ारों को चुपके से शामिल कर सकती है।
आलोचक सही कहते हैं कि सीमित बाज़ार-दायरा कमज़ोर रणनीति बना सकता है और व्यापक परीक्षण मज़बूती जाँचने का उपयोगी तरीका है। इसका जवाब बाज़ारों को आज़माने से बचना नहीं है। खोज के लिए इस्तेमाल किए गए बाज़ारों को स्थिर विचार को चुनौती देने वाले बाज़ारों से अलग रखें, और खोज के काम को सबूत का हिस्सा मानें।
बड़ा दायरा रणनीति को प्रयोगशाला के बाहर टिकने में मदद कर सकता है। यह किसी किस्मत वाले बैकटेस्ट को प्रयोगशाला की चयन प्रतियोगिता जीतने में भी मदद कर सकता है। खोज का लॉग और अलग रखे गए बाज़ार बताते हैं कि आपका Sharpe किस कहानी का समर्थन करता है।
← सभी पोस्ट
