Limites do posto do Jacobiano no aprendizado focado em decisões

Resumo

Este estudo analisa como a geometria dos preditores limita o aprendizado focado em decisões, no qual o treinamento do modelo é vinculado a um objetivo decisório posterior. Usando o acompanhamento esparso de índices, distingue as informações de covariância usadas por um otimizador das direções de atualização dos parâmetros disponíveis ao preditor. Jacobianos de preditores de posto um produzem gradientes não nulos colineares por exemplo, enquanto um limite espectral descreve a quase colinearidade. O artigo também caracteriza subespaços de atualização em lote e apresenta contraexemplos que mostram que propriedades locais de posto, por si só, não determinam minimizadores compartilhados nem atualizações em lote colineares.

Experimentos testam se esses limites geométricos afetam a qualidade das decisões. Nas configurações de ações relatadas, o aprendizado focado em decisões melhora pouco em relação ao erro quadrático médio; outros experimentos encontram reduções maiores de arrependimento em tarefas de caminho mais curto e mochila, mas, após a correção, o resultado persiste apenas para mochila. A capacidade, a escala das coordenadas e a configuração do treinamento afetam os resultados da otimização. Controles com alvos financeiros futuros e uma comparação neural equivalente não mostram vantagem agregada do aprendizado focado em decisões na arquitetura testada. As conclusões são específicas aos modelos e tarefas examinados: a estrutura do Jacobiano explica as direções de aprendizado disponíveis, mas a qualidade das decisões em dados reservados é necessária para estabelecer o valor prático.

Ideias principais

• O Jacobiano de um preditor descreve quais direções de atualização de parâmetros estão disponíveis para o aprendizado focado em decisões.
• Jacobianos de posto um tornam colineares os gradientes não nulos por exemplo, enquanto as atualizações em lote podem não apresentar essa propriedade.
• Restrições locais de posto não implicam, por si só, minimizadores comuns.
• Os ganhos experimentais variam entre tarefas, e, entre as comparações citadas, as evidências corrigidas persistem apenas para mochila.
• A escala das coordenadas altera o comportamento da otimização, por isso a qualidade das decisões em dados reservados continua essencial para a avaliação.

Tags

# Jacobian Rank Collapse in Decision-Focused Learning


# Jacobian Rank Collapse in Decision-Focused Learning









Decision-focused learning (DFL) trains predictors through downstream objectives, but a different loss need not provide an independent parameter-update direction. We characterize this restriction through the predictor Jacobian, using sparse index tracking to distinguish the covariance entries read by the optimizer from the parameter directions available to learning. Rank-one Jacobians make nonzero per-example gradients collinear; a conditional spectral bound describes near-collinearity. A batch-subspace characterization and counterexamples show why these local statements imply neither common minimizers nor collinear batch updates. Experiments examine when geometry translates into decision quality. Across 38 one-parameter equity configurations, DFL gains over MSE remain below 1.8%; a 385-parameter conditional predictor also has pointwise rank one. In validation-tuned shortest-path and knapsack experiments, full-capacity SPO+ reduces mean regret by 11.6% and 10.6%, respectively; only knapsack survives correction across eight comparisons. The capacity contrast persists on fresh datasets across batch orders and training budgets. Holding expressivity fixed, invertible coordinate scaling lowers spectral effective rank and ordinary SGD gains; compensating for the scaling restores the original trajectories. Financial forward-target controls separate forecast accuracy from decision quality; a matched neural comparison finds no aggregate DFL advantage in the tested architecture. These findings distinguish local rank restrictions, coordinate-dependent optimization and predictive accuracy. Predictor geometry helps explain available learning directions, while held-out decision quality remains the test of practical benefit.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.