एक AI रणनीति एजेंट ऐसा वैध बैकटेस्ट बना सकता है जिसमें ऐसी जानकारी इस्तेमाल हुई हो जो उन ट्रेडों के होने के समय मौजूद ही नहीं थी। कोड चलता है। इक्विटी कर्व विश्वसनीय दिखता है। सिग्नल समझदारी भरा भी हो सकता है। फिर भी कोई टाइमस्टैम्प, जॉइन या संशोधित डेटा फ़ील्ड चुपचाप उसे कल का जवाब दे चुका होता है।
इसका उपाय यह है कि उपलब्धता का समय रिसर्च अनुबंध का हिस्सा बनाया जाए। हर इनपुट के बारे में 2 सवालों के स्पष्ट जवाब होने चाहिए: यह मान किस समयावधि का वर्णन करता है, और रणनीति को यह पहली बार कब पता चल सकता था?
AI-जनित रणनीति में लुकअहेड बायस कैसा दिखता है?
इसका साफ़ उदाहरण है उसी बार के क्लोज़ से सिग्नल निकालना और फिर उसी क्लोज़ पर फ़िल होना। अगर रणनीति को फैसला लेने के लिए क्लोज़िंग प्राइस चाहिए, तो वह उसी कीमत पर ट्रेड भी नहीं कर सकती। लेकिन डेटा स्रोतों को जोड़ते या सुविधाजनक डिफ़ॉल्ट चुनते समय एजेंट अक्सर इसके कम स्पष्ट रूप बना देते हैं।
मान लें, कोई मॉडल हर मिनट के क्लोज़ पर 20-बार का मूविंग एवरेज निकालता है और क्लोज़ के उसके पार जाने पर पोज़िशन लेता है। अगर बैकटेस्ट उसी क्लोज़ पर फ़िल करता है, तो उसने बार का आख़िरी ट्रेड रणनीति को उपलब्ध होने से पहले ही इस्तेमाल कर लिया। ऑर्डर को अगली बार के ओपन तक खिसकाना एक उचित अनुमान हो सकता है, हालाँकि मार्केट ऑर्डर में फ़ीस और इम्पैक्ट भी शामिल करने पड़ते हैं।
अब फ़ीचर को दैनिक इक्विटी फ़ंडामेंटल या क्रिप्टो ओपन-इंटरेस्ट स्नैपशॉट मानें। पंक्ति की तारीख़ सोमवार बता सकती है, लेकिन मान सोमवार के क्लोज़ के बाद प्रकाशित हुआ हो सकता है या बाद में संशोधित किया गया हो सकता है। तारीख़, उपलब्धता का टाइमस्टैम्प नहीं होती।
रणनीति के इनपुट पर टाइमस्टैम्प कैसे लगाऊँ?
जहाँ स्रोत अनुमति दे, कम से कम 3 समय रखें: वह अवधि जिसका मान वर्णन करता है, स्रोत द्वारा उसे जारी करने का समय, और आपके सिस्टम को उसे मिलने का समय। फैसले के समय रणनीति के सूचना-समुच्चय में केवल वही मान शामिल हो सकते हैं जो तब तक उपलब्ध हो चुके हों।
| फ़ील्ड | यह किस सवाल का जवाब देता है | आम चूक |
|---|---|---|
| घटना का समय | बाज़ार की घटना कब हुई? | बार पूरा होने से पहले उसका क्लोज़ इस्तेमाल करना |
| जारी करने का समय | स्रोत ने यह मान कब प्रकाशित किया? | दिन के अंत के लेबल को ओपनिंग-टाइम रिलीज़ मान लेना |
| इंजेस्ट समय | यह रिसर्च सिस्टम इसे कब इस्तेमाल कर सकता था? | वेंडर या पाइपलाइन की देरी को नज़रअंदाज़ करना |
| संशोधन का समय | इस संस्करण को कब दर्ज या संशोधित किया गया? | संशोधित इतिहास को ऐसे भरना मानो वह मूल डेटा हो |
1-minute रणनीति में 1 सेकंड की देरी अपने आप नगण्य नहीं हो जाती। उसका असर इस बात पर निर्भर करता है कि फैसला कब लिया जाता है और सिग्नल किन चीज़ों का इस्तेमाल करता है। अगर इनपुट पूरा हो चुका प्रति घंटा का आँकड़ा है, तो शायद इसका असर बहुत कम हो। अगर वह ऑर्डर के समय के आसपास लिया गया बुक इम्बैलेंस है, तो ट्रेड पलट सकता है।
क्या पॉइंट-इन-टाइम डेटा स्टोर लीक रोक सकता है?
हाँ, अगर “पॉइंट-इन-टाइम” का मतलब है कि आप किसी ऐतिहासिक फैसले के समय ज्ञात मान वापस पा सकते हैं, उस समय के लागू संशोधन समेत। केवल ऐतिहासिक तारीख़ों वाली तालिका में भी उन तारीख़ों के लिए आज के संशोधित मान हो सकते हैं।
हर रिकॉर्ड के लिए प्रभावी अवधि और उपलब्धता का टाइमस्टैम्प सुरक्षित रखें, और संशोधनों को ओवरराइट करने के बजाय अलग से रखें। फिर ऐतिहासिक क्वेरी साफ़ तौर पर तय करें: सिम्युलेट किए गए फैसले के समय तक उपलब्ध नवीनतम संस्करण लौटाएँ। फ़ंडामेंटल, इंडेक्स सदस्यता, आर्थिक रिलीज़ और वेंडर द्वारा साफ़ किए गए डेटासेट के लिए यह खास तौर पर ज़रूरी है।
एक कम आकर्षक व्यावहारिक पेच भी है: अगर डेटा इंजेस्ट करने वाला जॉब 20 मिनट देर से चला, तो सटीक रिलीज़ टाइमस्टैम्प का कोई फ़ायदा नहीं। अगर ऐतिहासिक स्टोर इंजेस्ट समय दर्ज नहीं करता, तो सावधानी बरतते हुए एक देरी मानें और यह बात साफ़ बताएँ। स्रोत ने जो सटीकता कभी दर्ज ही नहीं की, वह महज़ दिखावा है।
पेपर ट्रेडिंग से पहले कौन सी जाँचें लुकअहेड बायस पकड़ती हैं?
रिसर्च एजेंट से कहें कि वह बैकटेस्ट के साथ फ़ीचर और ऑर्डर की टाइमलाइन भी दे। हर फैसले के लिए, हर फ़ीचर का नवीनतम स्रोत-उपलब्धता समय, फैसले का समय, ऑर्डर का समय और मॉडल किया गया फ़िल समय दर्ज करें। जिस पंक्ति में कोई इनपुट फैसले के बाद आया हो, उसे अस्वीकार करें।
- सिग्नल को 1 बार आगे खिसकाकर नतीजों की तुलना करें। नतीजों में बड़ी गिरावट क्लोज़-टू-क्लोज़ टाइमिंग पर निर्भरता दिखा सकती है, हालाँकि यह लीक का सबूत नहीं, बल्कि एक जाँच है।
- हर स्रोत को किसी ऐतिहासिक कटऑफ़ पर रोकें, पाइपलाइन दोबारा चलाएँ, और बने हुए फ़ीचरों की तुलना स्टोर किए गए ऐतिहासिक फ़ीचरों से करें।
- संदिग्ध फ़ीचर को एक स्थिर मान से बदलें। अगर प्रदर्शन लगभग वैसा ही रहे, तो जाँचें कि कोड ने इच्छित सीरीज़ का सचमुच इस्तेमाल किया भी था या नहीं।
- पाइपलाइन में जानबूझकर ऐसा भविष्य का फ़ीचर चलाएँ जो असंभव हो। उपलब्धता का समय फैसले के समय से आगे होने पर वैलिडेशन को स्पष्ट त्रुटि देनी चाहिए।
ये जाँचें किसी रणनीति को प्रमाणित नहीं करतीं। वे टाइमिंग से जुड़ी खास धारणाओं को साफ़ दिखाती हैं और उन धारणाओं के आम उल्लंघनों को पकड़ती हैं।
क्या पेपर ट्रेडिंग साबित करती है कि बैकटेस्ट में कोई लीक नहीं था?
नहीं। पेपर ट्रेडिंग यह दिखा सकती है कि लाइव डेटा पथ में देरी है, डेटा ग़ायब है या ऐतिहासिक पथ से उसका संरेखण अलग है। इससे यह साबित नहीं होता कि पुराने ट्रेनिंग फ़ीचर उस समय ज्ञात जानकारी को दर्शाते थे। लीक से फ़ायदा उठाना मॉडल के लिए बंद भी हो सकता है, क्योंकि जिस भविष्य को उसने गलती से देखा था, वह अब वर्तमान बन चुका है।
पेपर ट्रेडिंग को समानता-जाँच की तरह इस्तेमाल करें: लाइव फ़ीचर मान, फैसलों के टाइमस्टैम्प, ऑर्डर तैयार होने और मॉडल किए गए फ़िल की तुलना बैकटेस्ट की परिभाषाओं से करें। जहाँ वे अलग हों, वहाँ सटीक इनपुट और घड़ी का पता लगाएँ। जिस एजेंट टीम को हर फैसले का सूचना-समुच्चय समझाना आता है, वह उपयोगी रिसर्च कर रही है। जो टीम केवल एक चिकना कर्व दिखा सकती है, उसने सबसे कठिन ऑडिट छोड़ दिया है।
← सभी पोस्ट
