ہم نے پیرامیٹرز کے 240 سیٹ آزمائے۔ بہترین کا Sharpe تناسب 2.1 تھا؛ درمیانی قدر 0.1 تھی؛ اور صرف 17 کی قدر 1.0 سے زیادہ تھی۔ یہ اعداد کسی دریافت جیسے لگتے ہیں، مگر حقیقت یہ ہے کہ جب ہر حکمتِ عملی میں حقیقی برتری صفر ہو، تب بھی اتنی وسیع تلاش خوش نما فاتح پیدا کر سکتی ہے۔
حیرت انگیز عدد 240 ہے۔ بیک ٹیسٹ رپورٹ عموماً منتخب حکمتِ عملی کو یوں پیش کرتی ہے جیسے وہ اکیلی آئی ہو۔ تحقیق اس طرح نہیں ہوتی۔ پیرامیٹر میں ہر ردوبدل، فیچر کی تبدیلی، اثاثوں کے مجموعے میں تبدیلی، اور خراب نتیجے کے بعد دوبارہ چلانا، شور کو سگنل جیسا دکھانے کا ایک اور موقع دیتا ہے۔
زیادہ حکمتِ عملیاں آزمانے سے بہترین Sharpe کیوں بڑھ جاتا ہے؟
فرض کریں کہ 240 آزاد حکمتِ عملیاں ہیں، جن میں کوئی حقیقی برتری نہیں، اور ان کے تخمینی Sharpe میں شور ہے۔ زیادہ تر تخمینے صفر کے قریب ہوں گے، لیکن زیادہ سے زیادہ تخمینہ عموماً مثبت ہوتا ہے۔ جتنے زیادہ امیدوار آپ دیکھتے ہیں، یہ زیادہ سے زیادہ قدر حقیقت سے اتنی ہی دور جا سکتی ہے۔
ایک سرسری مثال کے طور پر، فرض کریں کہ ہر امیدوار کے تخمینی Sharpe کی معیاری خطا 0.5 ہے۔ 240 آزاد نمونوں میں، صرف انتخاب کی وجہ سے، سب سے بڑا تخمینہ اوسط سے تقریباً 1.4 معیاری خطائیں اوپر، یعنی لگ بھگ 0.7 Sharpe تک پہنچ سکتا ہے۔ حقیقی حکمتِ عملی کے امیدوار ایک دوسرے سے مربوط ہوتے ہیں، اس لیے یہ حساب ایسی درستی نہیں جسے آپ رپورٹ میں سیدھا شامل کر سکیں۔ یہ دکھاتا ہے کہ وسیع تلاش کے بعد ”فاتح صفر سے بہتر تھا“ کمزور ثبوت کیوں ہے۔
اور تلاش شاذونادر ہی صرف پیرامیٹرز کے گرڈ تک محدود ہوتی ہے۔ ممکن ہے آپ نے سگنل کے تین خاندان آزمائے ہوں، ان کے منحنی نتائج دیکھنے کے بعد دو کو چھوڑ دیا ہو، ٹریڈنگ کے اثاثوں کا مجموعہ بدلا ہو، اور پھر بچے ہوئے امیدوار کو ری بیلنس کے مختلف شیڈول کے ساتھ دوبارہ چلایا ہو۔ اگر ان فیصلوں پر کارکردگی کا اثر تھا، تو انہیں تحقیقی تاریخ میں شامل ہونا چاہیے۔
بیک ٹیسٹ کی آزمائش کسے شمار کریں؟
کسی فیصلے کو آزمائش تب شمار کریں جب اس کا نتیجہ اس بات پر اثر انداز ہو سکتا تھا کہ آپ نے کون سی حکمتِ عملی چنی۔ اس میں وہ رن بھی شامل ہیں جنہیں آپ نے شائع نہیں کیا، اور وہ صورتیں بھی جنہیں ایکویٹی کا منحنی نتیجہ خراب دکھائی دینے پر آپ نے جلد روک دیا۔ کمپائل کی ناکامی کارکردگی کی آزمائش نہیں؛ مایوس کن Sharpe دینے والا رن عموماً آزمائش ہوتا ہے۔
| تحقیقی اقدام | عموماً شمار کریں؟ | وجہ |
|---|---|---|
| نتائج دیکھنے کے بعد lookback کو 20 سے 30 کرنا | ہاں | پہلے نتیجے نے اگلے امیدوار کے انتخاب میں رہنمائی کی |
| اسی طے شدہ حکمتِ عملی کو پہلے سے مقرر کردہ نئی تاریخ کی مدت پر چلانا | عموماً انتخاب کی نئی آزمائش نہیں | یہ ثبوت دیکھنے سے پہلے اصول طے تھا |
| فاتح اثاثے دیکھنے کے بعد اثاثوں کا مجموعہ بدلنا | ہاں | اثاثوں کا انتخاب بظاہر نتیجہ بہتر کر سکتا ہے |
| نحوی غلطی درست کر کے بدلے بغیر کوڈ دوبارہ چلانا | نہیں | کارکردگی کی بنیاد پر کوئی تحقیقی فیصلہ نہیں ہوا |
حد یہ ہے کہ کیا آپ نے کسی نتیجے کو فیصلہ کرنے کے لیے استعمال کیا۔ یادداشت کے سہارے یہ بات دوبارہ معلوم کرنا مشکل ہو سکتی ہے، اسی لیے تجرباتی لاگ میں ہر رن کا مفروضہ، کوڈ یا ترتیب کا ورژن، ڈیٹا کی مدت، لاگت کے مفروضے، اور نتیجہ درج ہونا چاہیے۔
کیا میں متعدد آزمائشوں کی تلافی کر سکتا ہوں؟
ایسے طریقے موجود ہیں جو انتخابی تعصب کا تخمینہ لگاتے یا متعدد آزمائشوں کے لیے شماریاتی اہمیت میں ترمیم کرتے ہیں۔ یہ مفید ہو سکتے ہیں، مگر ان کے لیے یہ مفروضے درکار ہیں کہ امیدوار ایک دوسرے سے کیسے متعلق ہیں اور منافع کا رویہ کیسا ہے۔ معمولی p-value یا صرف ایک deflated Sharpe تخمینہ ایسی تلاش کو نہیں بچا سکتا جس کی اصل تاریخ آپ نے کھو دی ہو۔
ان چیزوں سے آغاز کریں جن پر آپ کا اختیار ہے۔ واقعی غیر استعمال شدہ مدت کا جائزہ لینے سے پہلے حتمی تفصیلات طے کر لیں۔ امیدواروں کا پورا مجموعہ نظر کے سامنے رکھیں۔ بہت سی باہم متعلق صورتیں آزماتے وقت انہیں اس فیصلے کے مطابق گروپ کریں جس سے وہ پیدا ہوئیں، بجائے اس کے کہ ہر صورت کو ایک الگ دریافت ظاہر کریں۔ فاتح کے ساتھ تلاش کی تفصیل بھی دیں: آزمائشوں کی تعداد، انتخاب کا اصول، اور یہ کہ آیا حتمی جائزے نے مزید ترامیم کو متاثر کیا۔
ایک مفید آزمائش: اگر ہولڈ آؤٹ کا نتیجہ مایوس کرے، تو کیا آپ حکمتِ عملی بدل کر اسی مدت کو دوبارہ ہولڈ آؤٹ کہیں گے؟ اگر ہاں، تو اب وہ تحقیق کا حصہ ہے۔ اگلے جائزے کے لیے آپ کو نیا ثبوت درکار ہے۔
AI تحقیقی ایجنٹ کو کیا لاگ کرنا چاہیے؟
ایک ایجنٹ امیدواروں کو اتنی تیزی سے بنا سکتا ہے کہ انسان انہیں ذہن میں نہیں رکھ پاتا۔ اس لیے آزمائشوں کا حساب تحقیق کے نظام کا حصہ ہے، محض رپورٹنگ کا کام نہیں۔ ہر امیدوار کو چلانے سے پہلے محفوظ کریں، اس کے اصل تجربے اور اس کے وجود کی وجہ سمیت۔ ناکام اور مسترد شدہ رن بھی محفوظ رکھیں۔ درج کریں کہ کسی انسان یا ایجنٹ نے کارکردگی کا جائزہ کب لیا اور اس کے بعد کیا فیصلہ ہوا۔
پھر انتخاب کے عمل کو قابلِ تکرار بنائیں: امیدواروں کا وہی مجموعہ اور وہی اصول دینے پر اسی فاتح کا انتخاب ہونا چاہیے۔ اگر ایجنٹ نتائج دیکھنے کے بعد اپنا prompt، مقصد یا پابندیاں بدلتا رہتا ہے، تو وہ تبدیلیاں بھی تلاش کا حصہ ہیں۔
2.1 کا Sharpe مزید تحقیق کے لائق ہو سکتا ہے۔ اس کا مطلب اس راستے پر منحصر ہے جس سے وہ حاصل ہوا۔ جب تحقیقی لاگ بتاتا ہے کہ نمایاں نتیجے کے لیے 240 امیدوار ایک دوسرے کے مقابلے میں تھے، تو آپ اگلا درست سوال پوچھ سکتے ہیں: ان انتخابوں میں سے کسی کے پہلے ہی استعمال کر لینے کے بعد کون سا ثبوت اب بھی باقی ہے؟
← تمام پوسٹس
