واک-فارورڈ آپٹیمائزیشن میں بغیر جانے ناکام ہونے کے تین طریقے

واک-فارورڈ آپٹیمائزیشن کو کسی حکمتِ عملی کو ٹیون کرنے کا ایماندار طریقہ سمجھا جاتا ہے، اور یہ اس کی حقدار بھی ہے — کم از کم پورے ڈیٹا پر آپٹیمائز کر کے نتیجے پر واہ واہ کرنے کے مقابلے میں۔ لیکن اس تکنیک کے کچھ خاموش ناکام موڈ ہیں، اور ہر ایک کا نتیجہ ایک ہی چیز ہوتی ہے: ایک ویلیڈیشن رپورٹ جس پر "مضبوط" لکھا ہوتا ہے، اور جو ایسی حکمتِ عملی کے ساتھ نتھی ہوتی ہے جو مضبوط نہیں۔ یہ وہ تین ہیں جن کے خلاف ہمیں انجینئرنگ کرنی پڑی، اور ہم انہیں اس ملبے کے حساب سے ترتیب دے رہے ہیں جو وہ پیچھے چھوڑتے ہیں۔

پہلی ناکامی: ونڈوز کا لیک ہونا

غلط طریقہ: جنوری تا جون پر ٹیون کریں، جولائی پر ویلیڈیٹ کریں، اور پھر جولائی کی کسی بھی چیز کو دوسرے راؤنڈ پر اثر انداز ہونے دیں — آؤٹ-آف-سیمپل نمبر دیکھنے کے بعد دوبارہ رن، پیرامیٹر گرڈ میں کوئی "معمولی سی تبدیلی"، یا کوئی فیچر جو پوری سیریز پر نارملائز کیا گیا ہو۔ ہر ایک بظاہر بے ضرر لگتا ہے۔ مل کر یہ سب آؤٹ-آف-سیمپل ونڈو کو تاخیر کے ساتھ اِن-سیمپل ڈیٹا بنا دیتے ہیں۔

ملبہ: ایسا آؤٹ-آف-سیمپل Sharpe جو پراسرار طور پر اِن-سیمپل Sharpe کے ساتھ ساتھ چلتا ہے۔ اصلی آؤٹ-آف-سیمپل نتائج شور بھرے اور مایوس کن ہوتے ہیں؛ IS/OOS کا مشکوک حد تک ہموار رشتہ اس بات کی علامت ہے کہ معلومات الٹی سمت میں بہہ رہی ہے۔ ہم اس تناسب پر واضح نظر رکھتے ہیں — اِن-سیمپل اگر آؤٹ-آف-سیمپل سے 3x سے زیادہ ہو تو رن پر جھنڈا لگ جاتا ہے، اور آؤٹ-آف-سیمپل صفر یا اس سے کم ہو تو رن ختم، چاہے اِن-سیمپل کتنا ہی خوشنما کیوں نہ لگے۔

دوسری ناکامی: ونڈوز کے آر پار میٹرک شاپنگ

تین واک-فارورڈ ونڈوز چلائیں، تین شور بھرے نتائج ملیں، پھر خلاصہ کریں: اوسط Sharpe؟ میڈین؟ یا "رجیم چینج" کے نام پر بدترین ونڈو نکال دیں؟ ہر انتخاب ایک ڈگری آف فریڈم ہے، اور ایک ضدی آپٹیمائزر (چاہے انسان ہو یا Bayesian) وہ خلاصہ ڈھونڈ ہی نکالے گا جس میں یہ حکمتِ عملی سب سے اچھی لگے۔ فی ونڈو پچھتر Optuna ٹرائلز کا مطلب ہے شور کو فٹ کرنے کے پچھتر مواقع، اور اسے آپ جتنے خلاصے آزمانے کو تیار ہیں ان سے ضرب دے دیں۔

ملبہ: ایک ایسی حکمتِ عملی جو ویلیڈیشن پاس کر لیتی ہے اور پھر لائیو میں بدترین ونڈو والی کارکردگی دیتی ہے، کیونکہ بدترین ونڈو ہی واحد ایماندار ونڈو تھی۔ ہمارا اصول: ایگریگیشن رن سے پہلے کنفگ میں طے ہو جاتی ہے، ٹرائل بجٹ طے ہوتا ہے، اور اینالسٹ فی ونڈو نتائج پڑھتا ہے جن کے ساتھ ڈسپرشن بھی دکھایا جاتا ہے۔ جس حکمتِ عملی کو پاس ہونے کے لیے مہربان خلاصے کی ضرورت ہو، وہ پاس نہیں ہوتی۔

تیسری ناکامی: وہ ہولڈ آؤٹ جو ہولڈ آؤٹ نہ رہا

ہولڈ آؤٹ ٹھیک ایک بار کام کرتا ہے۔ جس دوسری بار کسی حکمتِ عملی کو اس کے خلاف پرکھا جائے — کسی پیرامیٹر کی معمولی ایڈجسٹمنٹ، کسی سگنل کی چھوٹی تبدیلی، یا "بس ذرا دیکھ لیتے ہیں" کے بعد — تو وہ ہولڈ آؤٹ نہیں رہتا؛ وہ ایک سست رفتار ویلیڈیشن سیٹ بن جاتا ہے۔ پندرہ اچھوتے دن محفوظ رکھنا اُس وقت تک معمولی لگتا ہے جب تک اِٹریشن کا دباؤ نہ آئے اور دوبارہ چیک کرنا بے ضرر محسوس ہونے لگے۔

ملبہ باریک ہوتا ہے: ایک ہی حکمتِ عملی کے اِٹریشنز کے ساتھ ساتھ ہولڈ آؤٹ کے نتائج کا بہتر ہوتے جانا۔ تازہ آؤٹ-آف-سیمپل ڈیٹا کے پاس کوئی وجہ نہیں کہ وہ اِٹریشن ایک کے مقابلے میں اِٹریشن تین کو انعام دے، اور جب وہ ایسا کرتا ہے تو مطلب یہ کہ ہولڈ آؤٹ کی کان کنی ہو چکی ہے۔ ہم ون-شاٹ اصول مشینی طور پر نافذ کرتے ہیں: ہولڈ آؤٹ فی پائپ لائن رن ایک بار جانچتا ہے، نتیجہ ریکارڈ میں لکھ دیا جاتا ہے، اور جس حکمتِ عملی کو ایک اور کوشش درکار ہو وہ پورے مرحلے سے دوبارہ گزرتی ہے — نئی ونڈوز سمیت۔ اسے واک-فارورڈ آؤٹ-آف-سیمپل Sharpe کا کم از کم 70% برقرار رکھنا ہوتا ہے، اور اس پانسے کا دوسرا داؤ نہیں ہوتا۔

وہ نشانی جو تینوں سے بچ نکلتی ہے

ان سب سے پہلے، ہم ایک سادہ حساسیت سویپ چلاتے ہیں: ہر پیرامیٹر کو ±20% ہلائیں اور میٹرکس پر نظر رکھیں۔ اصلی ایج آہستہ آہستہ کمزور ہوتی ہے؛ اتفاق ایک دم کھائی میں گر جاتا ہے۔ یہ پائپ لائن کا سب سے سستا ٹیسٹ ہے اور یہ ان حکمتِ عملیوں کو ویٹو کر دیتا ہے جو اوپر بیان کیے گئے سب مراحل سے آرام سے گزر جاتیں — کیونکہ پیرامیٹر کلف وہ شکل ہے جو اوور فٹنگ کی اُس وقت ہوتی ہے جب آپ نے ابھی اسے ویلیڈیشن مشینری میں چھپنے کا موقع نہیں دیا ہوتا۔

ان میں سے کوئی چیز آپٹیمائزیشن کو محفوظ نہیں بناتی۔ یہ سب ناکام موڈز کو شور مچانے پر مجبور کرتی ہیں — اور کسی ویلیڈیشن پروسیس سے ایمانداری کے ساتھ اس سے زیادہ کی توقع نہیں کی جا سکتی۔