Límites del rango del jacobiano en el aprendizaje orientado a decisiones

Resumen

Este estudio analiza cómo la geometría del predictor limita el aprendizaje orientado a decisiones, en el que el entrenamiento del modelo está ligado a un objetivo de decisión posterior. Mediante el seguimiento disperso de índices, distingue la información de covarianza que utiliza un optimizador de las direcciones de actualización de parámetros disponibles para el predictor. Los jacobianos de rango uno producen gradientes no nulos colineales por ejemplo, mientras que un límite espectral describe la casi colinealidad. El artículo también caracteriza subespacios de actualización por lotes y presenta contraejemplos que muestran que las propiedades locales del rango por sí solas no determinan minimizadores compartidos ni actualizaciones por lotes colineales.

Los experimentos prueban si estos límites geométricos afectan a la calidad de las decisiones. En las configuraciones bursátiles descritas, el aprendizaje orientado a decisiones mejora poco respecto al error cuadrático medio; otros experimentos encuentran mayores reducciones del arrepentimiento en tareas de camino más corto y mochila, y el resultado corregido persiste solo para mochila. La capacidad, el escalado de coordenadas y la configuración del entrenamiento afectan a los resultados de optimización. Los controles financieros con objetivos futuros y una comparación neuronal equivalente no muestran una ventaja agregada del aprendizaje orientado a decisiones en la arquitectura probada. Los resultados se limitan a los modelos y tareas examinados: la estructura del jacobiano explica las direcciones de aprendizaje disponibles, pero para establecer el valor práctico se necesita medir la calidad de las decisiones en datos reservados.

Ideas clave

• El jacobiano de un predictor describe qué direcciones de actualización de parámetros están disponibles para el aprendizaje orientado a decisiones.
• Los jacobianos de rango uno hacen colineales los gradientes no nulos por ejemplo, pero las actualizaciones por lotes no tienen por qué cumplir esa propiedad.
• Las restricciones locales de rango no implican por sí mismas que haya minimizadores comunes.
• Las mejoras experimentales varían entre tareas y, entre las comparaciones citadas, la evidencia corregida persiste solo para mochila.
• El escalado de coordenadas cambia el comportamiento de la optimización, por lo que la calidad de las decisiones en datos reservados sigue siendo esencial para evaluar.

Etiquetas

# Jacobian Rank Collapse in Decision-Focused Learning


# Jacobian Rank Collapse in Decision-Focused Learning









Decision-focused learning (DFL) trains predictors through downstream objectives, but a different loss need not provide an independent parameter-update direction. We characterize this restriction through the predictor Jacobian, using sparse index tracking to distinguish the covariance entries read by the optimizer from the parameter directions available to learning. Rank-one Jacobians make nonzero per-example gradients collinear; a conditional spectral bound describes near-collinearity. A batch-subspace characterization and counterexamples show why these local statements imply neither common minimizers nor collinear batch updates. Experiments examine when geometry translates into decision quality. Across 38 one-parameter equity configurations, DFL gains over MSE remain below 1.8%; a 385-parameter conditional predictor also has pointwise rank one. In validation-tuned shortest-path and knapsack experiments, full-capacity SPO+ reduces mean regret by 11.6% and 10.6%, respectively; only knapsack survives correction across eight comparisons. The capacity contrast persists on fresh datasets across batch orders and training budgets. Holding expressivity fixed, invertible coordinate scaling lowers spectral effective rank and ordinary SGD gains; compensating for the scaling restores the original trajectories. Financial forward-target controls separate forecast accuracy from decision quality; a matched neural comparison finds no aggregate DFL advantage in the tested architecture. These findings distinguish local rank restrictions, coordinate-dependent optimization and predictive accuracy. Predictor geometry helps explain available learning directions, while held-out decision quality remains the test of practical benefit.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.