اسٹریٹیجی ایجنٹ ٹیسٹ سیٹ کی ایک بھی قطار تربیتی کام میں شامل کیے بغیر اسے آلودہ کر سکتا ہے۔ اگر ایجنٹ ٹیسٹ اسکور دیکھے، کوئی پیرامیٹر بدلے اور دوبارہ چلائے، تو اسکور پہلے ہی اسٹریٹیجی پر اثر انداز ہو چکا ہوتا ہے۔ کوڈ اس مدت کو ”آؤٹ آف سیمپل“ کہہ سکتا ہے، لیکن ریسرچ کے عمل نے اسے تلاش کا حصہ بنا دیا ہے۔
میں نے یہ سہولت کے باعث ہوتے دیکھا ہے: ایجنٹ ایک بیچ چلاتا ہے، خلاصہ جدول پڑھتا ہے، پھر معمولی بہتری تجویز کرتا ہے۔ کسی نے اسے ہولڈ آؤٹ پر فٹ کرنے کو نہیں کہا۔ پھر بھی فیڈبیک لوپ نے یہی کام کر دیا۔
غلطی 1: ایجنٹ کو ہر رن کے بعد جھانکنے دینا
بگاڑ عموماً ٹیسٹ Sharpe میں صاف ستھرے چھوٹے اضافوں کی صورت دکھائی دیتا ہے۔ ایجنٹ 30 متبادل آزماتا ہے، بہترین کو رکھتا ہے، پھر اسی کے آس پاس 30 اور آزماتا ہے۔ ہر تبدیلی الگ سے معقول لگتی ہے۔ مگر مل کر یہ ٹیسٹ مدت کو ایک آپٹیمائزیشن ہدف بنا دیتی ہیں۔
ایک سادہ مثال دیکھیں۔ فرض کریں اسٹریٹیجی میں کوئی حقیقی برتری نہیں اور آپ ہولڈ آؤٹ پر 100 آزاد متبادل آزماتے ہیں۔ اگر آپ سب سے زیادہ Sharpe منتخب کریں تو اتفاقاً خوش کن نتیجہ ملنے کا اچھا امکان ہے۔ اسٹریٹیجی کی زیادہ تر تلاشوں میں متبادل واقعی آزاد نہیں ہوں گے، مگر اس سے عمل درست نہیں ہو جاتا: بار بار ملنے والا فیڈبیک پھر بھی ان سیٹنگز کو فائدہ دیتا ہے جو اتفاقاً ہولڈ آؤٹ کی خصوصیات پر فٹ ہو جاتی ہیں۔
ہولڈ آؤٹ کو نتائج کی حد کے پیچھے رکھیں۔ ایجنٹ تربیتی اور توثیقی مدتوں پر کام کر سکتا ہے؛ اسے ہولڈ آؤٹ کے میٹرکس یا چارٹس حاصل نہ ہوں۔ حتمی جائزہ الگ کام میں رکھیں، ریسرچ کے فیصلے منجمد ہونے کے بعد اسے صرف 1 بار چلائیں، اور نتیجے کے ساتھ اسٹریٹیجی ورژن اور ڈیٹا اسنیپ شاٹ درج کریں۔
غلطی 2: ہر بعد کی مدت کو ”تازہ“ کہنا
صرف تربیتی مدت کے بعد آنے سے تاریخوں کی کوئی حد تازہ نہیں ہو جاتی۔ اگر ایجنٹ اس حد کا اسکور دیکھ چکا ہو، یا کسی انسان نے اس کے ڈرا ڈاؤن کی بنیاد پر کوئی اور فیچر چنا ہو، تو وہ حد فیڈبیک لوپ کا حصہ بن چکی ہے۔
| مدت | مجاز استعمال | کون سی بات اس کی حیثیت بدلتی ہے |
|---|---|---|
| تربیت | قواعد اور پیرامیٹرز فٹ کرنا | کچھ نہیں؛ اسے تلاش کے لیے ہی رکھا گیا ہے |
| توثیق | امیدواروں کا موازنہ اور ریسرچ کے فیصلے کرنا | بار بار استعمال سے اوورفٹ کرنا آسان ہو جاتا ہے |
| حتمی ہولڈ آؤٹ | منجمد امیدوار کا 1 جائزہ | نتیجہ پڑھ کر امیدوار میں تبدیلی کرنا |
| مستقبل کی پیپر ٹریڈنگ مدت | عمل درآمد کے رویے کا پیشگی مشاہدہ | نتائج کو ٹیوننگ کے لیے استعمال کرنا ایک نیا ریسرچ سائیکل بناتا ہے |
رولنگ واک فارورڈ جائزہ یہ اندازہ لگانے میں مدد دے سکتا ہے کہ وقت کے ساتھ ایک طے شدہ ریسرچ عمل کی کارکردگی کیسی رہتی ہے۔ اس سے ہر فولڈ کو لامحدود بار دیکھنے کی اجازت نہیں ملتی۔ اگر ایجنٹ فولڈ کے نتائج دیکھ کر اپنی تلاش ڈھالے، تو وہ فولڈ بھی فیڈبیک بن جاتے ہیں۔ جس فیصلے کے لیے آپ واقعی جائزہ لینا چاہتے ہیں، اس کے لیے ایک آخری اچھوتی مدت محفوظ رکھیں۔
غلطی 3: سوال بدلتے ہوئے کوڈ کو منجمد رکھنا
کبھی اسٹریٹیجی کا کوڈ جوں کا توں رہتا ہے، مگر نتیجہ دیکھنے کے بعد محقق جائزے کا طریقہ بدل دیتا ہے: بینچ مارک بدلنا، مشکل مہینہ نکال دینا، مختلف مارکیٹ یونیورس رپورٹ کرنا، یا اسی میٹرک پر توجہ دینا جو سب سے مضبوط دکھائی دے۔ پیرامیٹر نہ بھی بدلا ہو، ٹیسٹ سیٹ نے کہانی کی سمت طے کی ہوتی ہے۔
بگاڑ ایک چمکتی دمکتی رپورٹ کی صورت سامنے آتا ہے جس میں ایک صاف ستھرا نمایاں نتیجہ ہوتا ہے، مگر یہ ریکارڈ نہیں ہوتا کہ دوسرے کون سے زاویے آزمائے گئے تھے۔ ایکویٹی اسٹریٹیجی وسیع مارکیٹ انڈیکس کے مقابلے میں کمزور، مگر نقدی کے مقابلے میں مضبوط دکھائی دے سکتی ہے؛ کرپٹو اسٹریٹیجی کئی پلیٹ فارم دیکھنے کے بعد کسی ایک پلیٹ فارم پر نمایاں کارکردگی دکھا سکتی ہے۔ یہ موازنے کارآمد ہو سکتے ہیں، مگر ہولڈ آؤٹ دیکھنے کے بعد ان میں سے انتخاب کرنا بھی انتخاب کا ایک اور مرحلہ ہے۔
ریسرچ لیجر رکھیں۔ ہر رن کے لیے مفروضہ، کوڈ ورژن، ڈیٹا اسنیپ شاٹ، پیرامیٹر تلاش، جائزے کی مدتیں، طلب کردہ میٹرکس، اور یہ بات محفوظ کریں کہ نتیجہ ایجنٹ نے دیکھا یا محقق نے۔ مختصر لاگ ”آؤٹ آف سیمپل“ کے پُرکشش لیبل سے زیادہ مفید ہے۔
پھر جائزے سے پہلے حتمی سوال واضح کریں: کون سا امیدوار، کون سی مارکیٹ یونیورس، کون سا بینچ مارک، کون سے اخراجات، اور کون سے میٹرکس؟ اگر نتیجہ آنے کے بعد جواب بدل جائے تو اگلے رن کو ریسرچ سمجھیں اور اگلی حتمی جانچ کے لیے نیا ڈیٹا محفوظ رکھیں۔
آلودہ ہولڈ آؤٹ سے میں اب بھی کیا سیکھ سکتا ہوں؟
یہ بے کار نہیں ہے۔ اس سے پتا چل سکتا ہے کہ اس مدت میں اسٹریٹیجی نے کیسی کارکردگی دکھائی، اور ناکامی کی وجوہ سمجھنے میں مدد مل سکتی ہے۔ بس اس کے اسکور کو آزادانہ تصدیق کے طور پر پیش کرنا بند کریں۔ اسے ترقیاتی شواہد کے طور پر استعمال کریں، اگلے امیدوار کو منجمد کریں، اور اسی حساب کتاب اور عمل درآمد کے مفروضوں کے ساتھ اس امیدوار کا جائزہ واقعی مستقبل کی پیپر ٹریڈنگ مدت پر لیں۔
ایجنٹ پر مبنی ورک فلو میں تجربات کی گنتی آسانی سے ہاتھ سے نکل جاتی ہے: کسی کے دھیان دینے سے پہلے 1 پرامپٹ درجنوں رن بنا سکتا ہے۔ اس کا حل طریقۂ کار میں ہے۔ ایجنٹ کے لیے قابلِ مشاہدہ چیزیں محدود کریں، ہر تجربہ لاگ کریں، اور ایسا 1 جائزہ محفوظ رکھیں جس کا نتیجہ زیرِ جائزہ امیدوار کی سمت نہ بدلے۔
← تمام پوسٹس
