Grenzen durch den Jacobian-Rang beim entscheidungsorientierten Lernen

Zusammenfassung

Diese Studie analysiert, wie die Geometrie von Prädiktoren das entscheidungsorientierte Lernen einschränkt, bei dem das Modelltraining an ein nachgelagertes Entscheidungsziel gebunden ist. Anhand des sparsamen Index-Trackings unterscheidet sie zwischen den Kovarianzinformationen, die ein Optimierer nutzt, und den Richtungen der Parameteraktualisierung, die dem Prädiktor zur Verfügung stehen. Jacobians vom Rang eins führen zu kollinearen, von null verschiedenen Gradienten einzelner Beispiele; eine spektrale Schranke beschreibt annähernde Kollinearität. Das Paper charakterisiert außerdem Unterräume für Batch-Aktualisierungen und liefert Gegenbeispiele, die zeigen, dass lokale Rang-Eigenschaften allein weder gemeinsame Minimierer noch kollineare Batch-Aktualisierungen bestimmen.

Experimente prüfen, ob diese geometrischen Grenzen die Entscheidungsqualität beeinflussen. In den berichteten Aktienkonfigurationen verbessert sich das entscheidungsorientierte Lernen gegenüber dem mittleren quadratischen Fehler nur geringfügig; andere Experimente ergeben größere Regret-Reduktionen bei Kürzeste-Wege- und Rucksackproblemen, wobei das korrigierte Ergebnis nur beim Rucksackproblem Bestand hat. Kapazität, Koordinatenskalierung und Trainingsaufbau beeinflussen die Optimierungsergebnisse. Finanzielle Kontrollen mit zukünftigen Zielwerten und ein Vergleich mit einem angeglichenen neuronalen Modell zeigen im getesteten Aufbau keinen aggregierten Vorteil des entscheidungsorientierten Lernens. Die Ergebnisse gelten für die untersuchten Modelle und Aufgaben: Die Jacobian-Struktur erklärt die verfügbaren Lernrichtungen, doch zur Feststellung des praktischen Nutzens ist die Entscheidungsqualität bei zurückgehaltenen Daten erforderlich.

Kernaussagen

• Der Jacobian eines Prädiktors beschreibt, welche Parameteraktualisierungsrichtungen dem entscheidungsorientierten Lernen zur Verfügung stehen.
• Jacobians vom Rang eins machen von null verschiedene Gradienten einzelner Beispiele kollinear; für Batch-Aktualisierungen muss dies nicht gelten.
• Lokale Rangbeschränkungen implizieren für sich genommen keine gemeinsamen Minimierer.
• Die experimentellen Verbesserungen variieren je nach Aufgabe; unter den genannten Vergleichen bleibt der korrigierte Befund nur beim Rucksackproblem bestehen.
• Eine veränderte Koordinatenskalierung beeinflusst das Optimierungsverhalten; deshalb bleibt die Entscheidungsqualität bei zurückgehaltenen Daten für die Bewertung entscheidend.

Schlagwörter

# Jacobian Rank Collapse in Decision-Focused Learning


# Jacobian Rank Collapse in Decision-Focused Learning









Decision-focused learning (DFL) trains predictors through downstream objectives, but a different loss need not provide an independent parameter-update direction. We characterize this restriction through the predictor Jacobian, using sparse index tracking to distinguish the covariance entries read by the optimizer from the parameter directions available to learning. Rank-one Jacobians make nonzero per-example gradients collinear; a conditional spectral bound describes near-collinearity. A batch-subspace characterization and counterexamples show why these local statements imply neither common minimizers nor collinear batch updates. Experiments examine when geometry translates into decision quality. Across 38 one-parameter equity configurations, DFL gains over MSE remain below 1.8%; a 385-parameter conditional predictor also has pointwise rank one. In validation-tuned shortest-path and knapsack experiments, full-capacity SPO+ reduces mean regret by 11.6% and 10.6%, respectively; only knapsack survives correction across eight comparisons. The capacity contrast persists on fresh datasets across batch orders and training budgets. Holding expressivity fixed, invertible coordinate scaling lowers spectral effective rank and ordinary SGD gains; compensating for the scaling restores the original trajectories. Financial forward-target controls separate forecast accuracy from decision quality; a matched neural comparison finds no aggregate DFL advantage in the tested architecture. These findings distinguish local rank restrictions, coordinate-dependent optimization and predictive accuracy. Predictor geometry helps explain available learning directions, while held-out decision quality remains the test of practical benefit.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.