فیصلے پر مرکوز سیکھنے میں جیکوبیئن رینک کی حدود
خلاصہ
یہ مطالعہ تجزیہ کرتا ہے کہ پیش گو کنندہ کی جیومیٹری فیصلے پر مرکوز سیکھنے کو کیسے محدود کرتی ہے، جہاں ماڈل کی تربیت ایک بعد کے فیصلہ جاتی مقصد سے منسلک ہوتی ہے۔ اسپارس انڈیکس ٹریکنگ استعمال کرتے ہوئے یہ اصلاح کنندہ کے زیرِ استعمال کوواریئنس معلومات اور پیش گو کنندہ کے لیے دستیاب پیرامیٹر اپ ڈیٹ سمتوں میں فرق کرتا ہے۔ رینک ون پیش گو کنندہ جیکوبیئن غیر صفر فی مثال گریڈینٹس کو ہم خط بناتے ہیں، جبکہ طیفی حد قریب بہ ہم خطی کو بیان کرتی ہے۔ مقالہ بیچ اپ ڈیٹ ذیلی فضاؤں کی بھی خصوصیت بیان کرتا ہے اور مثالیں دیتا ہے کہ صرف مقامی رینک خصوصیات مشترک کم سے کم مقامات یا ہم خط بیچ اپ ڈیٹس کا تعین نہیں کرتیں۔
تجربات جانچتے ہیں کہ آیا یہ جیومیٹری کی حدود فیصلے کے معیار کو متاثر کرتی ہیں۔ بیان کردہ ایکویٹی سیٹ اپس میں فیصلے پر مرکوز سیکھنے سے اوسط مربّع خطا کے مقابلے میں معمولی بہتری آتی ہے؛ دوسرے تجربات میں مختصر ترین راستے اور نَیپ سیک کاموں کے لیے پشیمانی میں بڑی کمی ملتی ہے، مگر درست شدہ نتیجہ صرف نَیپ سیک میں برقرار رہتا ہے۔ گنجائش، کوآرڈینیٹ اسکیلنگ اور تربیت کا سیٹ اپ اصلاح کے نتائج پر اثر انداز ہوتے ہیں۔ مالیاتی فارورڈ ٹارگٹ کنٹرولز اور مماثل نیورل موازنے میں آزمائے گئے فنِ تعمیر کے لیے مجموعی طور پر فیصلے پر مرکوز سیکھنے کا کوئی فائدہ نہیں دکھائی دیتا۔ نتائج زیرِ جائزہ ماڈلز اور کاموں تک محدود ہیں: جیکوبیئن کی ساخت سیکھنے کی دستیاب سمتوں کی وضاحت کرتی ہے، مگر عملی قدر ثابت کرنے کے لیے الگ رکھے گئے ڈیٹا پر فیصلے کے معیار کی جانچ ضروری ہے۔
اہم خیالات
- پیش گو کنندہ کا جیکوبیئن بتاتا ہے کہ فیصلے پر مرکوز سیکھنے کے لیے کون سی پیرامیٹر اپ ڈیٹ سمتیں دستیاب ہیں۔
- رینک ون جیکوبیئن غیر صفر فی مثال گریڈینٹس کو ہم خط بناتے ہیں، مگر ضروری نہیں کہ بیچ اپ ڈیٹس بھی ایسی ہوں۔
- مقامی رینک کی پابندیاں بذاتِ خود مشترک کم سے کم مقامات کا مفہوم نہیں دیتیں۔
- تجرباتی فوائد کام کے لحاظ سے بدلتے ہیں؛ بیان کردہ موازنوں میں درست شدہ شواہد صرف نَیپ سیک کے لیے برقرار رہتے ہیں۔
- کوآرڈینیٹ اسکیلنگ اصلاح کے رویے کو بدلتی ہے، اس لیے جانچ کے لیے الگ ڈیٹا پر فیصلے کا معیار اہم رہتا ہے۔
ٹیگز
مکمل متن
# Jacobian Rank Collapse in Decision-Focused Learning # Jacobian Rank Collapse in Decision-Focused Learning Decision-focused learning (DFL) trains predictors through downstream objectives, but a different loss need not provide an independent parameter-update direction. We characterize this restriction through the predictor Jacobian, using sparse index tracking to distinguish the covariance entries read by the optimizer from the parameter directions available to learning. Rank-one Jacobians make nonzero per-example gradients collinear; a conditional spectral bound describes near-collinearity. A batch-subspace characterization and counterexamples show why these local statements imply neither common minimizers nor collinear batch updates. Experiments examine when geometry translates into decision quality. Across 38 one-parameter equity configurations, DFL gains over MSE remain below 1.8%; a 385-parameter conditional predictor also has pointwise rank one. In validation-tuned shortest-path and knapsack experiments, full-capacity SPO+ reduces mean regret by 11.6% and 10.6%, respectively; only knapsack survives correction across eight comparisons. The capacity contrast persists on fresh datasets across batch orders and training budgets. Holding expressivity fixed, invertible coordinate scaling lowers spectral effective rank and ordinary SGD gains; compensating for the scaling restores the original trajectories. Financial forward-target controls separate forecast accuracy from decision quality; a matched neural comparison finds no aggregate DFL advantage in the tested architecture. These findings distinguish local rank restrictions, coordinate-dependent optimization and predictive accuracy. Predictor geometry helps explain available learning directions, while held-out decision quality remains the test of practical benefit.
ماخذ کا حوالہ دیتے ہوئے مکمل متن دکھایا گیا ہے، ماخذ کے لائسنس کے تحت۔ لائسنس: abstract CC0
یہ خلاصہ اصل ماخذ سے Stratmill کے تحقیقی ایجنٹ نے لکھا ہے؛ یہ ماخذ کی نقل نہیں۔