Ковариационные штрафы для снижения переобучения бэктеста

Сводка

В статье рассматривается, как выбор стратегии на основе исторических данных может привести к вводящим в заблуждение оценкам результатов. Предлагается поправка в виде ковариационного штрафа, которая снижает метрику риска с учётом числа параметров и объёма данных, использованных для разработки торговой стратегии. Авторы рассматривают этот метод наряду с подходами к проблемам поиска закономерностей в данных, завышенных оценок результатов и оценке с помощью перекрёстной проверки.

В эмпирическом исследовании сравниваются подходы с ковариационным штрафом на основе обычного метода наименьших квадратов и метода полных наименьших квадратов более чем на 1,300 активах. Представленные результаты подтверждают, что ковариационные штрафы помогают снизить переобучение при бэктестинге, и показывают, что в исследовании метод полных наименьших квадратов дал более сильные результаты, чем обычный метод наименьших квадратов. В документе нет подробной разбивки по активам, метрик результатов или рекомендаций по реализации, поэтому он не устанавливает, как поправка будет работать для каждой стратегии или набора данных.

Ключевые идеи

• Выбор параметров бэктеста может создать впечатление, что исторические результаты стратегии надёжнее, чем они есть на самом деле.
• Ковариационный штраф корректирует метрику риска с учётом параметров и данных, использованных для разработки стратегии.
• В исследовании сравниваются варианты обычного метода наименьших квадратов и метода полных наименьших квадратов более чем на 1,300 активах.
• Представленные результаты лучше для метода полных наименьших квадратов, хотя в кратком описании мало подробностей об условиях оценки.

Теги

# 1905.05023


# Avoiding Backtesting Overfitting by Covariance-Penalties: an empirical investigation of the ordinary and total least squares cases









Systematic trading strategies are rule-based procedures which choose portfolios and allocate assets. In order to attain certain desired return profiles, quantitative strategists must determine a large array of trading parameters. Backtesting, the attempt to identify the appropriate parameters using historical data available, has been highly criticized due to the abundance of misleading results. Hence, there is an increasing interest in devising procedures for the assessment and comparison of strategies, that is, devising schemes for preventing what is known as backtesting overfitting. So far, many financial researchers have proposed different ways to tackle this problem that can be broadly categorised in three types: Data Snooping, Overestimated Performance, and Cross-Validation Evaluation. In this paper, we propose a new approach to dealing with financial overfitting, a Covariance-Penalty Correction, in which a risk metric is lowered given the number of parameters and data used to underpins a trading strategy. We outlined the foundation and main results behind the Covariance-Penalty correction for trading strategies. After that, we pursue an empirical investigation, comparing its performance with some other approaches in the realm of Covariance-Penalties across more than 1300 assets, using Ordinary and Total Least Squares. Our results suggest that Covariance-Penalties are a suitable procedure to avoid Backtesting Overfitting, and Total Least Squares provides superior performance when compared to Ordinary Least Squares.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.