آپ کا بیک ٹیسٹ حد سے زیادہ قابلِ اعادہ ہو سکتا ہے

مکمل طور پر قابلِ اعادہ بیک ٹیسٹ، ایسے بیک ٹیسٹ سے کم قابلِ بھروسا ہو سکتا ہے جس کے نتیجے میں معمولی اتار چڑھاؤ ہو۔ دہراؤ سے ثابت ہوتا ہے کہ آپ کو دو بار ایک ہی جواب مل سکتا ہے؛ اس سے یہ پتا نہیں چلتا کہ جواب کسی من مانے ڈیٹا اسنیپ شاٹ، لائبریری کی کسی خاصیت یا چھپی ہوئی ڈیفالٹ ترتیب پر منحصر ہے یا نہیں۔

یہ بات سننے میں اعادہ پذیری کے خلاف دلیل لگتی ہے، مگر ایسا نہیں ہے۔ رَن کو منجمد رکھیں تاکہ آپ اس کی وضاحت کر سکیں۔ پھر جان بوجھ کر ان مفروضوں کو بدلیں جنہیں نتیجے کا فیصلہ نہیں کرنا چاہیے۔ پہلا قدم نتیجے کو قابلِ آڈٹ بناتا ہے؛ دوسرا بتاتا ہے کہ اس کا کوئی مطلب بھی ہے یا نہیں۔

قابلِ اعادہ بیک ٹیسٹ دراصل کیا ثابت کرتا ہے؟

اگر ایک ہی کوڈ، ڈیٹا، کنفیگریشن اور رینڈم سیڈ سے وہی ٹریڈز اور میٹرکس حاصل ہوں، تو آپ نے الجھن کے ایک اہم سبب کو قابو میں کر لیا ہے۔ کسی ایجنٹ کی “بہتری” کا اس کے پچھلے رَن سے موازنہ کیا جا سکتا ہے۔ بگ فکس کو بدلے ہوئے فیس شیڈول سے الگ پہچانا جا سکتا ہے۔ کوئی ساتھی وہی لیجر دیکھ کر وہی فلز پا سکتا ہے۔

لیکن نتیجہ ان تمام چیزوں سے مشروط ہے جنہیں آپ نے منجمد رکھا۔ ایک کرپٹو حکمتِ عملی پر غور کریں جس کی تاریخی فائل میں 1 منٹ کی بارز ہیں۔ آپ فائل کا ہیش محفوظ کرتے ہیں، کوڈ کا ورژن مقرر کرتے ہیں، اور ہر بار دوبارہ چلانے پر 1.4 کا Sharpe حاصل کرتے ہیں۔ اگر وینڈر بعد میں چند کینڈلز کی درستی کرے، تو یہ صاف ستھری اعادہ پذیری اب بھی پرانی فائل ہی کو بیان کرتی ہے۔ یہ نہیں بتاتی کہ سگنل درست کی گئی تاریخ میں بھی قائم رہتا ہے یا نہیں، یا یہ کہ اس وقت وہ کینڈلز اسی صورت میں دستیاب بھی تھیں یا نہیں۔

ہیش مفید ہے: اس سے انحصار نمایاں ہو جاتا ہے۔ مگر یہ اس بات کا ثبوت نہیں کہ یہ انحصار بے ضرر ہے۔

رَن کو مقرر رکھیں؛ نتیجے کو آزمائیں

میں دو سوال الگ رکھنا پسند کرتا ہوں۔ کیا ہم اس عین رَن کو دوبارہ بنا سکتے ہیں؟ اور کیا تحقیق کا نتیجہ معقول تبدیلیوں کے باوجود قائم رہتا ہے؟ پہلے سوال کے لیے ناقابلِ تغیر ریکارڈ چاہیے؛ دوسرے کے لیے قابو میں رکھی گئی تبدیلیاں، ایک وقت میں ایک۔

مثلاً فرض کریں کہ فیوچرز کی ایک حکمتِ عملی بنیادی ری پلے میں 8% سالانہ زائد منافع دکھاتی ہے۔ اسے 25% زیادہ taker لاگت، فنڈنگ کو اگلی دیکھی گئی سیٹلمنٹ تک منتقل کرکے، اور دو سب سے بڑے معاونین کو باری باری نکال کر دوبارہ چلائیں۔ یہ ماڈل بہتر بنانے کے تین طریقے نہیں ہیں۔ یہ جانچیں ہیں: ہر جانچ پوچھتی ہے کہ کیا کوئی معقول تفصیل سرخی والے نتیجے کو سہارا دے رہی ہے۔

ہر جانچ کو الگ رکھیں۔ اگر آپ ڈیٹا، فیس شیڈول اور ایگزیکیوشن کا وقت سب اکٹھے بدل دیں، تو خراب نتیجے سے وجہ کا پتا کم ہی چلے گا۔ اور اگر کوئی جانچ غیر حقیقی ہو، تو اسے ممکنہ نتیجے کے طور پر پیش کرنے کے بجائے دباؤ کا منظرنامہ قرار دیں۔

بائٹ بہ بائٹ یکسانیت کو عددی سچ نہ سمجھیں

کچھ حساب کتاب ترتیب کے لیے حساس ہوتے ہیں۔ فلوٹنگ پوائنٹ جمع associative نہیں ہوتا، اس لیے بہت سی چھوٹی P&L اقدار کو مختلف ترتیب سے جمع کرنے پر آخری چند ہندسے بدل سکتے ہیں۔ متوازی کمی، ہارڈویئر اور لائبریری ورژنز بھی عین آؤٹ پٹ پر اثر ڈال سکتے ہیں۔ عموماً یہ بے ضرر ہوتا ہے؛ کبھی کبھار معمولی عددی تبدیلی کسی حد کو پلٹ دیتی ہے، پوزیشن بدلتی ہے اور باقی سمیولیشن کو ایک مختلف راستے پر ڈال دیتی ہے۔

اسی لیے میں تقابل کے لیے عین نتائج بھی محفوظ رکھوں گا اور قابلِ قبول فرق کی حد بھی مقرر کروں گا۔ صرف آخری Sharpe نہیں، ٹریڈ لیجر بھی ریکارڈ کریں۔ پہلے فیصلوں اور نقد بہاؤ کا موازنہ کریں، پھر واضح کردہ قابلِ قبول فرق کے اندر میٹرکس کا۔ اگر ایک سینٹ کے فرق سے آرڈر بھیجنے یا نہ بھیجنے کا فیصلہ بدل جائے، تو اس حد کا خاص طور پر جائزہ لیں۔

تبدیلی کب شور ہوتی ہے، اور کب نتیجہ

ہر بدلا ہوا عدد بحران نہیں ہوتا۔ جمع کرنے کی مختلف ترتیب سے میٹرک میں معمولی فرق آئے مگر ٹریڈز وہی رہیں تو شاید کوئی مسئلہ نہ ہو۔ حد کے قریب کسی ٹریڈ میں تبدیلی کا جائزہ لینا مناسب ہو سکتا ہے۔ اگر وینڈر تاریخ کے چھوٹے سے حصے میں ترمیم کرے اور حکمتِ عملی کا زیادہ تر نتیجہ غائب ہو جائے، تو آپ نے اس کی اپنی نازکی کے بارے میں کچھ سیکھا ہے، خواہ اصل رَن پوری طرح قابلِ اعادہ ہی کیوں نہ رہے۔

مضبوطی کی جانچ پر تنقید کرنے والے ایک بات میں درست ہیں: پسندیدہ حکمتِ عملی کو مضبوط دکھانے تک مفروضے بدلتے رہنا آسان ہے، یا جان بوجھ کر کسی انتہائی منظرنامے سے ٹوٹنے پر درست نتیجے کو رد کر دینا۔ پہلے سے طے کریں کہ کون سی تبدیلیاں معقول ہیں، پورا مجموعہ رپورٹ کریں، اور عام متبادل صورتوں کو دباؤ کے منظرناموں سے الگ رکھیں۔ پھر بنیادی رَن محفوظ کریں تاکہ کوئی دوسرا محقق عین وہی چیز دوبارہ حاصل کر سکے جو آپ نے دیکھی تھی۔

اعادہ پذیری آپ کو ایک قابلِ بھروسا نقطۂ آغاز دیتی ہے۔ اس کے بعد مفید سوال یہ ہے: جب اس رَن کے گرد دنیا ان طریقوں سے بدلے جن کی آپ معقول توقع کر سکتے ہیں، تو جواب کے کون سے حصے اپنی جگہ قائم رہتے ہیں؟