Limites liées au rang jacobien dans l’apprentissage orienté décision

Résumé

Cette étude analyse comment la géométrie du prédicteur contraint l’apprentissage orienté décision, dans lequel l’entraînement du modèle est lié à un objectif de décision en aval. À l’aide du suivi parcimonieux d’indice, elle distingue les informations de covariance utilisées par un optimiseur des directions de mise à jour des paramètres accessibles au prédicteur. Les jacobiennes de rang un produisent des gradients non nuls colinéaires pour chaque observation, tandis qu’une borne spectrale décrit une quasi-colinéarité. L’article caractérise également les sous-espaces de mise à jour par lot et fournit des contre-exemples montrant que les propriétés locales du rang ne déterminent à elles seules ni des minimiseurs communs ni des mises à jour par lot colinéaires.

Les expériences testent si ces limites géométriques influent sur la qualité des décisions. Dans les configurations sur actions présentées, l’apprentissage orienté décision n’apporte que peu d’amélioration par rapport à l’erreur quadratique moyenne ; d’autres expériences constatent des réductions de regret plus importantes pour les problèmes de plus court chemin et de sac à dos, le résultat corrigé ne se maintenant que pour le sac à dos. La capacité, la mise à l’échelle des coordonnées et la configuration de l’entraînement influent sur les résultats d’optimisation. Des contrôles fondés sur des cibles financières futures et une comparaison avec un réseau neuronal comparable ne montrent aucun avantage global de l’apprentissage orienté décision dans l’architecture testée. Les conclusions concernent les modèles et tâches examinés : la structure jacobienne explique les directions d’apprentissage disponibles, mais la qualité des décisions sur données retenues est nécessaire pour établir l’utilité pratique.

Idées clés

• La jacobienne d’un prédicteur décrit les directions de mise à jour des paramètres accessibles à l’apprentissage orienté décision.
• Les jacobiennes de rang un rendent colinéaires les gradients non nuls par observation, tandis que les mises à jour par lot ne présentent pas nécessairement cette propriété.
• Les contraintes locales sur le rang n’impliquent pas à elles seules l’existence de minimiseurs communs.
• Les gains expérimentaux varient selon les tâches ; parmi les comparaisons citées, les résultats corrigés ne se maintiennent que pour le sac à dos.
• La mise à l’échelle des coordonnées modifie le comportement de l’optimisation ; la qualité des décisions sur données retenues reste donc essentielle à l’évaluation.

Étiquettes

# Jacobian Rank Collapse in Decision-Focused Learning


# Jacobian Rank Collapse in Decision-Focused Learning









Decision-focused learning (DFL) trains predictors through downstream objectives, but a different loss need not provide an independent parameter-update direction. We characterize this restriction through the predictor Jacobian, using sparse index tracking to distinguish the covariance entries read by the optimizer from the parameter directions available to learning. Rank-one Jacobians make nonzero per-example gradients collinear; a conditional spectral bound describes near-collinearity. A batch-subspace characterization and counterexamples show why these local statements imply neither common minimizers nor collinear batch updates. Experiments examine when geometry translates into decision quality. Across 38 one-parameter equity configurations, DFL gains over MSE remain below 1.8%; a 385-parameter conditional predictor also has pointwise rank one. In validation-tuned shortest-path and knapsack experiments, full-capacity SPO+ reduces mean regret by 11.6% and 10.6%, respectively; only knapsack survives correction across eight comparisons. The capacity contrast persists on fresh datasets across batch orders and training budgets. Holding expressivity fixed, invertible coordinate scaling lowers spectral effective rank and ordinary SGD gains; compensating for the scaling restores the original trajectories. Financial forward-target controls separate forecast accuracy from decision quality; a matched neural comparison finds no aggregate DFL advantage in the tested architecture. These findings distinguish local rank restrictions, coordinate-dependent optimization and predictive accuracy. Predictor geometry helps explain available learning directions, while held-out decision quality remains the test of practical benefit.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.