Компромиссы при проверке временных рядов: обучение, охват и причинность

Сводка

В статье рассматривается фундаментальный конфликт при проверке моделей временных рядов: для обучения нужно достаточно наблюдений, тестовые блоки должны охватывать достаточную часть выборки, а обучение должно предшествовать каждой тестовой точке. Эти цели формализуются с помощью математических оценок, связывающих достаточность обучающих данных, охват выборки тестовыми блоками, утечку будущих данных и расстояние между тестовыми точками и будущими обучающими наблюдениями. Авторы также оценивают смещение из-за утечки при предположении бета-смешивания, связывая его величину с временным расстоянием.

В анализе расширяющаяся проверка walk-forward представлена как граница, сохраняющая причинный порядок; она сравнивается с методами k-блоков и очищенных k-блоков. По приведённым данным, перемешанная пятикратная проверка на чистом шуме дала информационный коэффициент +0.32, тогда как последовательная пятикратная проверка дала +0.004, хотя в обоих случаях использовался одинаковый объём будущих данных. Выводы зависят от заданной математической постановки; краткое описание не содержит подробностей доказательств или более широких эмпирических проверок. Также отмечается, что временной зазор может снизить утечку, если зависимость быстро затухает, но он не устраняет проблемы причинности, связанные с нестационарностью.

Ключевые идеи

• Согласно ограничениям в статье, одновременно максимизировать достаточность обучения, охват теста и временную причинность невозможно.
• Проверка за пределами границы причинного порядка требует использовать будущие наблюдения при обучении.
• При заданном предположении бета-смешивания смещение из-за утечки зависит от временного расстояния до будущих обучающих данных.
• Расширяющаяся проверка walk-forward представлена как предел причинно корректной валидации, тогда как схемы k-fold обеспечивают больший охват за счёт нарушения причинного порядка.
• Временной зазор может снизить утечку, если процесс быстро забывает прошлое, но не устраняет нестационарность.

Теги

# 2609.29530


# The Impossible Trinity of Time-Series Validation: A Conservation Law among Training Sufficiency, Test Coverage, and Temporal Causality









Validating a model on a time series asks for three things at once: each training run should use most of the sample (sufficiency), the test sets should together cover most of the sample (coverage), and training data should come before test data (causality). We prove that the three cannot be had together and price each one. Let $α$ be the smallest training fraction over folds, $β$ the fraction of the sample covered by tests, $Λ$ the fraction of the sample used as training data from the future of a test point, and $δ$ the distance from a test point to the nearest training point in its future. Every scheme on a sample of length $T$ satisfies $α+β\le 1+Λ$ and $α+\min\{β,δ/T\} \le 1$, and under $β$-mixing the leakage bias at a test point is at most $2Mβ_{\mathrm{mix}}(δ)$. In words: going beyond the causal frontier $α+β=1$ requires training on the future; that future data must sit within $(1-α)T$ of a test point; and its harm depends on its distance, not its amount. Hence expanding walk-forward is exactly the Pareto frontier of causal validation, $k$-fold cross-validation buys the most future data, and purged $k$-fold with an embargo pays in distance instead, which is cheap when the process forgets quickly but cannot repair the part of causality demanded by non-stationarity. On pure noise, shuffled 5-fold reports an information coefficient of $+0.32$, while contiguous 5-fold, using the same amount of future data, reports $+0.004$.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.