Compensaciones entre entrenamiento, cobertura y causalidad en la validación de series temporales

Resumen

El artículo estudia un conflicto fundamental en la validación de modelos de series temporales: los periodos de entrenamiento necesitan suficientes observaciones, los pliegues de prueba deben cubrir una parte suficiente de la muestra y el entrenamiento debe preceder a cada punto de prueba. Formaliza estos objetivos mediante límites que relacionan la suficiencia del entrenamiento, la cobertura de prueba, la filtración de datos futuros y la distancia entre los puntos de prueba y las observaciones futuras de entrenamiento. Los autores también acotan el sesgo por filtración bajo un supuesto de mezcla beta, relacionando su magnitud con la separación temporal.

El análisis caracteriza la validación walk-forward expansiva como la frontera causal y la compara con los esquemas k-fold y k-fold purgado. El texto indica que la validación aleatoria de cinco pliegues con ruido puro produjo un coeficiente de información de +0.32, mientras que la validación contigua de cinco pliegues obtuvo +0.004, pese a usar la misma cantidad de datos futuros. Estas conclusiones dependen del planteamiento matemático indicado; el resumen proporcionado no incluye detalles de las demostraciones ni pruebas empíricas más amplias. También advierte que un periodo de exclusión puede reducir la filtración cuando la dependencia desaparece rápidamente, pero no resuelve los problemas de causalidad vinculados a la no estacionariedad.

Ideas clave

• Según los límites del artículo, no se pueden maximizar a la vez la suficiencia del entrenamiento, la cobertura de prueba y la causalidad temporal.
• La validación que supera la frontera causal debe utilizar observaciones futuras en el entrenamiento.
• Bajo el supuesto indicado de mezcla beta, el sesgo por filtración depende de la distancia temporal a los datos futuros de entrenamiento.
• La validación walk-forward expansiva se presenta como la frontera causal, mientras que los esquemas k-fold intercambian causalidad por cobertura.
• Un periodo de exclusión puede reducir la filtración cuando un proceso pierde memoria rápidamente, pero no puede corregir la no estacionariedad.

Etiquetas

# 2609.29530


# The Impossible Trinity of Time-Series Validation: A Conservation Law among Training Sufficiency, Test Coverage, and Temporal Causality









Validating a model on a time series asks for three things at once: each training run should use most of the sample (sufficiency), the test sets should together cover most of the sample (coverage), and training data should come before test data (causality). We prove that the three cannot be had together and price each one. Let $α$ be the smallest training fraction over folds, $β$ the fraction of the sample covered by tests, $Λ$ the fraction of the sample used as training data from the future of a test point, and $δ$ the distance from a test point to the nearest training point in its future. Every scheme on a sample of length $T$ satisfies $α+β\le 1+Λ$ and $α+\min\{β,δ/T\} \le 1$, and under $β$-mixing the leakage bias at a test point is at most $2Mβ_{\mathrm{mix}}(δ)$. In words: going beyond the causal frontier $α+β=1$ requires training on the future; that future data must sit within $(1-α)T$ of a test point; and its harm depends on its distance, not its amount. Hence expanding walk-forward is exactly the Pareto frontier of causal validation, $k$-fold cross-validation buys the most future data, and purged $k$-fold with an embargo pays in distance instead, which is cheap when the process forgets quickly but cannot repair the part of causality demanded by non-stationarity. On pure noise, shuffled 5-fold reports an information coefficient of $+0.32$, while contiguous 5-fold, using the same amount of future data, reports $+0.004$.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.