हमने 240 पैरामीटर सेटों का परीक्षण किया। सबसे अच्छे का Sharpe अनुपात 2.1 था; माध्यिका 0.1 थी; और केवल 17 ने 1.0 का आँकड़ा पार किया। ये आँकड़े किसी खोज जैसे लगते हैं—जब तक आपको पता न चले कि हर रणनीति की वास्तविक बढ़त शून्य होने पर भी, इतनी व्यापक खोज से संयोगवश कोई आकर्षक विजेता मिल सकता है।
चौंकाने वाला आँकड़ा 240 है। बैकटेस्ट रिपोर्ट आम तौर पर चुनी गई रणनीति को ऐसे दिखाती है मानो वह अकेली ही सामने आई हो। शोध इस तरह नहीं चलता। हर पैरामीटर बदलाव, फ़ीचर की अदला-बदली, यूनिवर्स में बदलाव और खराब नतीजे के बाद दोबारा चलाया गया परीक्षण—इन सभी से शोर को संकेत जैसा दिखने का एक और मौका मिलता है।
ज़्यादा रणनीतियाँ आज़माने से सबसे अच्छा Sharpe क्यों बढ़ जाता है?
कल्पना कीजिए कि 240 स्वतंत्र रणनीतियाँ हैं, जिनमें कोई वास्तविक बढ़त नहीं है और जिनके अनुमानित Sharpe शोरयुक्त हैं। ज़्यादातर अनुमान शून्य के पास होंगे, लेकिन अधिकतम मान आम तौर पर धनात्मक होगा। जितने ज़्यादा विकल्प आप देखते हैं, वह अधिकतम उतना ही सच से दूर जा सकता है।
एक मोटे उदाहरण के तौर पर मान लीजिए कि हर विकल्प के अनुमानित Sharpe की मानक त्रुटि 0.5 है। 240 स्वतंत्र नमूनों में, केवल चयन के कारण सबसे बड़ा अनुमान माध्य से लगभग 1.4 मानक त्रुटि ऊपर, यानी करीब 0.7 Sharpe पर पहुँच सकता है। वास्तविक रणनीति विकल्प आपस में सहसंबद्ध होते हैं, इसलिए इस गणना को रिपोर्ट में सुधार के तौर पर सीधे इस्तेमाल नहीं किया जा सकता। यह दिखाती है कि व्यापक खोज के बाद “विजेता शून्य से बेहतर था” कमज़ोर साक्ष्य क्यों है।
और खोज आम तौर पर सिर्फ़ पैरामीटर ग्रिड तक सीमित नहीं होती। हो सकता है आपने संकेतों के तीन परिवार आज़माए हों, उनके कर्व देखने के बाद दो को छोड़ दिया हो, ट्रेडिंग यूनिवर्स बदला हो और फिर बचे हुए विकल्प को अलग रीबैलेंस शेड्यूल पर दोबारा चलाया हो। अगर इन फैसलों पर प्रदर्शन का असर पड़ा, तो उन्हें शोध इतिहास में शामिल करना चाहिए।
बैकटेस्ट परीक्षण किसे गिनें?
किसी फैसले के नतीजे से यह प्रभावित हो सकता था कि आपने कौन-सी रणनीति चुनी, तो उसे एक परीक्षण गिनें। इसमें वे रन भी शामिल हैं जिन्हें आपने प्रकाशित नहीं किया, और वे रूप भी जिन्हें आपने इसलिए बीच में रोक दिया कि इक्विटी कर्व खराब दिख रहा था। कोड कंपाइल न होना प्रदर्शन परीक्षण नहीं है; लेकिन निराशाजनक Sharpe देने वाला रन आम तौर पर परीक्षण है।
| शोध गतिविधि | आमतौर पर गिनें? | क्यों |
|---|---|---|
| नतीजे देखने के बाद लुकबैक को 20 से 30 करना | हाँ | पहले नतीजे ने अगले विकल्प को प्रभावित किया |
| पहले से घोषित नई तारीख़ सीमा पर उसी तय रणनीति को चलाना | आमतौर पर चयन का नया परीक्षण नहीं | साक्ष्य देखने से पहले नियम तय था |
| यह देखने के बाद यूनिवर्स बदलना कि कौन-सी परिसंपत्तियाँ जीतीं | हाँ | यूनिवर्स का चयन दिखने वाले नतीजे को बेहतर बना सकता है |
| सिंटैक्स की त्रुटि ठीक करके अपरिवर्तित कोड दोबारा चलाना | नहीं | प्रदर्शन के आधार पर कोई शोध निर्णय नहीं लिया गया |
फ़र्क इस बात से पड़ता है कि आपने किसी नतीजे का इस्तेमाल फैसला लेने में किया या नहीं। इसे याददाश्त के सहारे फिर से समझना मुश्किल हो सकता है। इसीलिए प्रयोग लॉग में हर रन के लिए परिकल्पना, कोड या कॉन्फ़िगरेशन का संस्करण, डेटा अवधि, लागत की मान्यताएँ और नतीजा दर्ज होना चाहिए।
क्या मैं अनेक परीक्षणों के लिए सुधार कर सकता हूँ?
ऐसे तरीके हैं जो चयन पक्षपात का अनुमान लगाते हैं या कई परीक्षणों के लिए सांख्यिकीय महत्त्व में समायोजन करते हैं। ये उपयोगी हो सकते हैं, लेकिन इनके लिए यह मानना पड़ता है कि विकल्प आपस में कैसे जुड़े हैं और रिटर्न का व्यवहार कैसा है। सामान्य p-value या अकेला deflated Sharpe अनुमान ऐसी खोज को नहीं बचा सकता जिसका वास्तविक इतिहास आपने खो दिया हो।
उन चीज़ों से शुरुआत करें जिन पर आपका नियंत्रण है। सचमुच अछूती अवधि का मूल्यांकन करने से पहले अंतिम विनिर्देश तय कर लें। विकल्पों के पूरे समूह को सामने रखें। कई संबंधित रूपों का परीक्षण करते समय, उन्हें उस फैसले के आधार पर समूहित करें जिसने उन्हें जन्म दिया—ऐसा दिखावा न करें कि हर रूप स्वतंत्र खोज था। विजेता के साथ खोज का ब्योरा भी दें: परीक्षणों की संख्या, चयन का नियम और यह कि अंतिम मूल्यांकन के बाद और बदलाव किए गए या नहीं।
एक उपयोगी कसौटी: अगर होल्डआउट का नतीजा निराश करे, तो क्या आप रणनीति बदलकर उसी अवधि को फिर से होल्डआउट कहेंगे? अगर हाँ, तो वह अवधि अब शोध का हिस्सा है। अगले मूल्यांकन के लिए आपको नया साक्ष्य चाहिए।
AI शोध एजेंट को क्या लॉग करना चाहिए?
कोई एजेंट विकल्प इतनी तेज़ी से बना सकता है कि इंसान उन्हें कार्यशील स्मृति में नहीं रख पाए। इसलिए परीक्षणों का हिसाब शोध प्रणाली का हिस्सा है, रिपोर्टिंग का कोई झंझट नहीं। हर विकल्प चलाने से पहले उसे दर्ज करें, साथ में उसका मूल प्रयोग और उसके होने का कारण भी। विफल और छोड़े गए रन भी रखें। दर्ज करें कि किसी इंसान या एजेंट ने प्रदर्शन कब देखा और उसके बाद कौन-सा फैसला लिया।
फिर चयन प्रक्रिया को दोहराने योग्य बनाएँ: वही विकल्प समूह और वही नियम देने पर वही विजेता चुना जाना चाहिए। अगर एजेंट नतीजे देखने के बाद अपना प्रॉम्प्ट, उद्देश्य या सीमाएँ बदलता रहता है, तो वे बदलाव भी खोज का हिस्सा हैं।
2.1 का Sharpe आगे जाँचने लायक हो सकता है। उसका अर्थ इस बात पर निर्भर करता है कि वह किस प्रक्रिया से मिला। जब शोध लॉग बताए कि सुर्ख़ियों में आने के लिए 240 विकल्पों में मुकाबला हुआ, तो आप अगला सही सवाल पूछ सकते हैं: इन विकल्पों ने पहले ही कौन-सा साक्ष्य खर्च कर लिया है, और अब कौन-सा साक्ष्य बाकी है?
← सभी पोस्ट
