محدودیت رتبه ژاکوبین در یادگیری متمرکز بر تصمیم
خلاصه
این پژوهش بررسی می‌کند که هندسه پیش‌بین چگونه یادگیری متمرکز بر تصمیم را محدود می‌کند؛ رویکردی که در آن آموزش مدل به هدف تصمیم‌گیری در مراحل بعد پیوند دارد. با استفاده از ردیابی تنک شاخص، اطلاعات کوواریانسی را که بهینه‌ساز به کار می‌برد از جهت‌های به‌روزرسانی پارامترهای در دسترس پیش‌بین متمایز می‌کند. ژاکوبین‌های رتبه‌یک پیش‌بین، گرادیان‌های غیرصفر هم‌خط برای هر نمونه ایجاد می‌کنند، در حالی که کران طیفی، هم‌خطی تقریبی را توصیف می‌کند. مقاله همچنین زیرفضاهای به‌روزرسانی دسته‌ای را مشخص می‌کند و مثال‌های نقضی می‌آورد که نشان می‌دهند ویژگی‌های رتبه محلی به‌تنهایی کمینه‌سازهای مشترک یا به‌روزرسانی‌های دسته‌ای هم‌خط را تعیین نمی‌کنند.
آزمایش‌ها بررسی می‌کنند که آیا این محدودیت‌های هندسی بر کیفیت تصمیم اثر می‌گذارند. در تنظیمات سهامی گزارش‌شده، یادگیری متمرکز بر تصمیم در مقایسه با خطای مربعات میانگین بهبود اندکی دارد؛ آزمایش‌های دیگر کاهش پشیمانی بیشتری را در مسائل کوتاه‌ترین مسیر و کوله‌پشتی می‌یابند، اما پس از اصلاح نتیجه، این بهبود تنها برای مسئله کوله‌پشتی پابرجا می‌ماند. ظرفیت، مقیاس‌بندی مختصات و تنظیم آموزش بر نتایج بهینه‌سازی اثر می‌گذارند. کنترل‌های هدفِ پیش‌نگر مالی و مقایسه همتای عصبی هیچ مزیت کلی برای یادگیری متمرکز بر تصمیم در معماری آزموده‌شده نشان نمی‌دهند. یافته‌ها مختص مدل‌ها و مسائل بررسی‌شده‌اند: ساختار ژاکوبین جهت‌های یادگیری در دسترس را توضیح می‌دهد، اما برای اثبات ارزش عملی، کیفیت تصمیم خارج از نمونه باید سنجیده شود.
ایده‌های کلیدی
- ژاکوبین پیش‌بین مشخص می‌کند کدام جهت‌های به‌روزرسانی پارامتر برای یادگیری متمرکز بر تصمیم در دسترس‌اند.
- ژاکوبین‌های رتبه‌یک، گرادیان‌های غیرصفر هر نمونه را هم‌خط می‌کنند، اما به‌روزرسانی‌های دسته‌ای لزوماً چنین ویژگی‌ای ندارند.
- محدودیت‌های رتبه محلی به‌تنهایی وجود کمینه‌سازهای مشترک را نتیجه نمی‌دهند.
- میزان بهبود آزمایشی میان مسائل متفاوت است؛ پس از تصحیح، شواهد در میان مقایسه‌های ذکرشده فقط برای مسئله کوله‌پشتی باقی می‌ماند.
- مقیاس‌بندی مختصات رفتار بهینه‌سازی را تغییر می‌دهد؛ بنابراین ارزیابی همچنان به سنجش کیفیت تصمیم خارج از نمونه نیاز دارد.
برچسب‌ها
متن کامل
# Jacobian Rank Collapse in Decision-Focused Learning # Jacobian Rank Collapse in Decision-Focused Learning Decision-focused learning (DFL) trains predictors through downstream objectives, but a different loss need not provide an independent parameter-update direction. We characterize this restriction through the predictor Jacobian, using sparse index tracking to distinguish the covariance entries read by the optimizer from the parameter directions available to learning. Rank-one Jacobians make nonzero per-example gradients collinear; a conditional spectral bound describes near-collinearity. A batch-subspace characterization and counterexamples show why these local statements imply neither common minimizers nor collinear batch updates. Experiments examine when geometry translates into decision quality. Across 38 one-parameter equity configurations, DFL gains over MSE remain below 1.8%; a 385-parameter conditional predictor also has pointwise rank one. In validation-tuned shortest-path and knapsack experiments, full-capacity SPO+ reduces mean regret by 11.6% and 10.6%, respectively; only knapsack survives correction across eight comparisons. The capacity contrast persists on fresh datasets across batch orders and training budgets. Holding expressivity fixed, invertible coordinate scaling lowers spectral effective rank and ordinary SGD gains; compensating for the scaling restores the original trajectories. Financial forward-target controls separate forecast accuracy from decision quality; a matched neural comparison finds no aggregate DFL advantage in the tested architecture. These findings distinguish local rank restrictions, coordinate-dependent optimization and predictive accuracy. Predictor geometry helps explain available learning directions, while held-out decision quality remains the test of practical benefit.
با ذکر منبع و مطابق مجوز اثر، به‌طور کامل نمایش داده می‌شود. مجوز: abstract CC0
این خلاصه را عامل پژوهشی Stratmill بر پایه متن اصلی نوشته است؛ نسخه‌ای از اثر منبع نیست.