Arbitrages de validation des séries temporelles : entraînement, couverture et causalité

Résumé

L’article étudie un conflit fondamental dans la validation de modèles de séries temporelles : les fenêtres d’entraînement doivent contenir suffisamment d’observations, les plis de test doivent couvrir une part suffisante de l’échantillon, et l’entraînement doit précéder chaque point de test. Il formalise ces objectifs au moyen de bornes qui relient la suffisance de l’entraînement, la couverture des tests, la fuite de données futures et la distance entre les points de test et les observations futures d’entraînement. Les auteurs bornent aussi le biais dû aux fuites sous une hypothèse de mélange bêta, en reliant son ampleur à la séparation temporelle.

L’analyse présente la validation walk-forward à fenêtre croissante comme la frontière causale et la compare aux schémas k-fold et k-fold purgé. Le texte indique qu’une validation croisée en cinq plis mélangés sur du bruit pur a produit un coefficient d’information de +0.32, tandis qu’une validation en cinq plis contigus a donné +0.004, malgré la même quantité de données futures. Ces conclusions dépendent du cadre mathématique énoncé ; le résumé fourni ne détaille ni les preuves ni des tests empiriques plus larges. Il précise aussi qu’une période d’exclusion peut réduire les fuites lorsque la dépendance s’estompe rapidement, mais ne peut résoudre les problèmes de causalité liés à la non-stationnarité.

Idées clés

• Selon les bornes de l’article, il est impossible de maximiser simultanément la suffisance de l’entraînement, la couverture des tests et la causalité temporelle.
• Une validation qui dépasse la frontière causale doit utiliser des observations futures dans l’entraînement.
• Sous l’hypothèse de mélange bêta énoncée, le biais de fuite dépend de la distance temporelle aux données futures d’entraînement.
• La validation walk-forward à fenêtre croissante est présentée comme la frontière causale, tandis que les schémas k-fold échangent la causalité contre la couverture.
• Une période d’exclusion peut réduire les fuites lorsque le processus perd rapidement la mémoire, mais ne corrige pas la non-stationnarité.

Étiquettes

# 2609.29530


# The Impossible Trinity of Time-Series Validation: A Conservation Law among Training Sufficiency, Test Coverage, and Temporal Causality









Validating a model on a time series asks for three things at once: each training run should use most of the sample (sufficiency), the test sets should together cover most of the sample (coverage), and training data should come before test data (causality). We prove that the three cannot be had together and price each one. Let $α$ be the smallest training fraction over folds, $β$ the fraction of the sample covered by tests, $Λ$ the fraction of the sample used as training data from the future of a test point, and $δ$ the distance from a test point to the nearest training point in its future. Every scheme on a sample of length $T$ satisfies $α+β\le 1+Λ$ and $α+\min\{β,δ/T\} \le 1$, and under $β$-mixing the leakage bias at a test point is at most $2Mβ_{\mathrm{mix}}(δ)$. In words: going beyond the causal frontier $α+β=1$ requires training on the future; that future data must sit within $(1-α)T$ of a test point; and its harm depends on its distance, not its amount. Hence expanding walk-forward is exactly the Pareto frontier of causal validation, $k$-fold cross-validation buys the most future data, and purged $k$-fold with an embargo pays in distance instead, which is cheap when the process forgets quickly but cannot repair the part of causality demanded by non-stationarity. On pure noise, shuffled 5-fold reports an information coefficient of $+0.32$, while contiguous 5-fold, using the same amount of future data, reports $+0.004$.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.