वॉक-फ़ॉरवर्ड परीक्षण का मक़सद एक व्यावहारिक सवाल का जवाब देना है: अगर आपने बार-बार सिर्फ़ अतीत के डेटा का इस्तेमाल करके रणनीति को फ़िट किया होता, तो वह अगले अनदेखे डेटा खंड में कैसा प्रदर्शन करती? तरीका आसान लगता है। एक ट्रेनिंग विंडो चुनें, रणनीति फ़िट करें, आगे के डेटा पर परीक्षण करें, फिर विंडो आगे खिसकाकर इसे दोहराएँ।
दिक्कत यह है कि विंडो का क्रम व्यवस्थित दिख सकता है, फिर भी उनकी सीमाओं के पार जानकारी लीक हो सकती है। मैंने इसके असर को संदेहजनक रूप से स्थिर आउट-ऑफ़-सैंपल रिटर्न, हैरतअंगेज़ ढंग से स्थिर दिखने वाली पैरामीटर सेटिंग्स, और ऐसी टेस्ट अवधि के नाम दर्ज किए गए ट्रेडों में देखा है जो उस समय से पहले शुरू हुई थी जब वे लगाए भी जा सकते थे।
गलती 1: टेस्ट विंडो को पूरी तरह नई शुरुआत मानना
टेस्ट विंडो 1 जून से शुरू होती है। सिग्नल 50-दिन के मूविंग एवरेज का इस्तेमाल करता है, इसलिए गणना को शुरू करने के लिए बैकटेस्ट मई के प्राइस लोड करता है। यह उचित है: लाइव रणनीति भी अपने इंडिकेटर की पिछली स्थिति साथ लेकर चलेगी। लेकिन अगर टेस्ट अवधि का रिटर्न 1 मई से जुड़ना शुरू हो जाए, तो वे शुरुआती दिन प्रदर्शन का हिस्सा बन गए हैं।
सीमा की यही समस्या पोज़िशन के साथ भी आती है। मान लें कि रणनीति 29 मई को ट्रेड खोलती है और 3 जून को बंद करती है। क्या उसका मुनाफ़ा टेस्ट अवधि के प्रदर्शन में गिना जाना चाहिए? केवल तभी, जब सिमुलेशन साफ़ तौर पर बताए कि सीमा पर पहले से खुली पोज़िशन को कैसे संभाला जाएगा। वरना, टेस्ट में ट्रेनिंग डेटा के आधार पर चुनी गई एंट्री शामिल हो सकती है और उससे हुई जीत का श्रेय टेस्ट को मिल सकता है।
| सीमा से जुड़ी चीज़ | सुरक्षित तरीका | आम चूक |
|---|---|---|
| इंडिकेटर का पिछला इतिहास | स्थिति के लिए पिछली बार लोड करें; स्कोरिंग टेस्ट की शुरुआत से करें | शुरुआती अवधि के रिटर्न को टेस्ट प्रदर्शन में गिनना |
| खुली पोज़िशन | बताए गए नियम के अनुसार उन्हें बंद करें, जारी रखें या बाहर रखें | टेस्ट से पहले की एंट्री का श्रेय टेस्ट को देना |
| ऑर्डर और फ़िल | निर्णय और निष्पादन, दोनों टेस्ट अवधि में होने चाहिए | सीमा से पहले जनरेट हुआ ऑर्डर फ़िल करना |
साफ़ विभाजन के लिए सिर्फ़ तारीख़ नहीं, बल्कि स्थिति संभालने का नियम चाहिए। लाइव प्रक्रिया की तरह इंडिकेटर का पिछला इतिहास बनाए रखें, पर स्कोर सिर्फ़ उसी अवधि का करें जिसका मूल्यांकन करना है। खुली पोज़िशन और ऑर्डर के बारे में स्पष्ट रहें, और हर बार विंडो आगे बढ़ाने पर वही नियम लागू करें।
गलती 2: बिना एम्बार्गो के ट्रेडों को विभाजन के पार जाने देना
एक-दूसरे पर चढ़ते लेबल जानकारी लीक होने का एक और रास्ता बनाते हैं। कल्पना करें कि मॉडल ऐसे सिग्नलों पर ट्रेन किया गया है जिनका नतीजा अगले पाँच ट्रेडिंग दिनों का रिटर्न है। मई के आख़िरी दिन के एक ट्रेनिंग उदाहरण में यह तय करने के लिए जून के प्राइस शामिल होते हैं कि उसकी भविष्यवाणी सही थी या नहीं। अगर टेस्ट 1 जून से शुरू होता है, तो ट्रेनिंग पहले ही टेस्ट के नतीजे का कुछ हिस्सा इस्तेमाल कर चुकी है।
यह आसानी से नज़र से छूट जाता है, क्योंकि फ़ीचर वाली पंक्ति की तारीख़ 31 मई होती है। लेबल भविष्य तक जाता है। केवल पंक्तियों की तारीख़ पर लागू किया गया टाइम स्प्लिट इस ओवरलैप को नहीं पकड़ सकता।
ऐसे ट्रेनिंग उदाहरण हटा दें जिनकी नतीजे वाली विंडो टेस्ट अवधि तक जाती है। लेबल की अवधि और फ़ीचर बनाने के तरीके के आधार पर ट्रेनिंग और टेस्ट के बीच एक अंतराल भी रखें। इस अंतराल को अक्सर एम्बार्गो कहा जाता है; यह उस अवधि के अनुरूप होना चाहिए जिसमें जानकारी या नतीजे एक-दूसरे पर चढ़ते हैं। पाँच-दिन का लेबल सिर्फ़ इसलिए एक-दिन के अंतराल को सही नहीं ठहराता कि उससे चार्ट साफ़ दिखता है।
हर ट्रेनिंग उदाहरण में इस्तेमाल होने वाली पूरी समयावधि लिखें: फ़ीचर लुकबैक, निर्णय का समय और नतीजे की विंडो। विभाजन इन समयावधियों के आधार पर करें, सिर्फ़ हर पंक्ति के आगे छपी तारीख़ के आधार पर नहीं।
गलती 3: सभी फ़ोल्ड देखने के बाद विजेता चुनना
यह सबसे लुभावनी चूक है। आप 40 पैरामीटर सेट पर वॉक-फ़ॉरवर्ड परीक्षण चलाते हैं। एक संयोजन कई फ़ोल्ड में अच्छा दिखता है, इसलिए आप उसे चुनते हैं और उन्हीं फ़ोल्ड के नतीजों को इस बात का सबूत बताते हैं कि वह सामान्य परिस्थितियों में भी अच्छा करेगा।
हर फ़ोल्ड उस समय अनदेखा रहा हो सकता है जब उसमें अपना मॉडल फ़िट किया गया था। लेकिन सभी फ़ोल्ड देखने के बाद रणनीति का डिज़ाइन चुना गया। अब टेस्ट के नतीजों ने अनुसंधान संबंधी एक फ़ैसले को दिशा दी है, इसलिए प्रयोग के स्तर पर वे ट्रेनिंग प्रक्रिया का हिस्सा हैं।
हर मूल्यांकन से पहले किए गए चुनावों का तारीख़ सहित रिकॉर्ड रखें। अगर आप पैरामीटर, फ़ीचर, बाज़ार या यहाँ तक कि टेस्ट विंडो चुनने के लिए वॉक-फ़ॉरवर्ड नतीजों का इस्तेमाल करते हैं, तो आख़िरी मूल्यांकन के लिए एक अंतिम, अछूती अवधि अलग रखें। विकल्प तय हो जाने के बाद उस अवधि को सिर्फ़ एक बार खोलें। अगर उसे देखने के बाद आप फिर से ट्यून करते हैं, तो वह अंतिम टेस्ट नहीं रह जाता।
यहाँ एक साधारण-सी बात है: नतीजे आने से पहले प्रयोग का लॉग सुरक्षित कर लें। किसी अच्छे रन के बाद बदली गई स्प्रेडशीट इस बात का कमज़ोर रिकॉर्ड है कि आपने असल में क्या आज़माया था।
एक भरोसेमंद वॉक-फ़ॉरवर्ड रिपोर्ट में क्या दिखना चाहिए?
रिटर्न के साथ सेटअप भी रिपोर्ट करें: ट्रेनिंग और टेस्ट की तारीख़ें, विंडो आगे बढ़ाने की आवृत्ति, लेबल की अवधि, शुरुआती डेटा संभालने का तरीका, सीमाओं पर पोज़िशन की नीति, और आज़माए गए कॉन्फ़िगरेशन की संख्या। हर फ़ोल्ड के नतीजे और कुल नतीजा, दोनों दिखाएँ। एक भाग्यशाली विंडो से बना शानदार कुल, अलग-अलग परिस्थितियों में बार-बार मिले मामूली नतीजों से अलग तरह से समझा जाना चाहिए।
वॉक-फ़ॉरवर्ड परीक्षण रणनीति अनुसंधान में उपयोगी अनुशासन ला सकता है, लेकिन यह अनुशासन सीमा के नियमों और फ़ैसलों के रिकॉर्ड में बसता है। इन्हें सही रखें, तो परीक्षण आपको बता सकता है कि समय के साथ अनुसंधान प्रक्रिया कैसी चल सकती है। इन्हें छोड़ दें, तो वॉक-फ़ॉरवर्ड का लेबल ऐसे नतीजे पर सिर्फ़ सजावट है जिसने पहले ही भविष्य देख लिया है।
← सभी पोस्ट


