Backtest, otimização e critérios de validação

Como os resultados são produzidos com custos reais e como uma estratégia se qualifica para promoção.

Taxas e custos reais das corretoras

Os backtests aplicam as taxas publicadas de maker e taker de cada corretora, os pagamentos de funding em futuros perpétuos e um modelo de impacto de mercado em cada execução. O patrimônio é marcado a mercado a cada candle, e posições alavancadas podem ser liquidadas ao atingir a margem de manutenção da corretora. Nenhum resultado é apresentado sem descontar os custos.

Dimensionamento de posições e alavancagem

As estratégias dimensionam posições em relação ao patrimônio da conta, em vez de usar valores fixos. A alavancagem solicitada é integrada ao mecanismo e limitada ao teto da plataforma de negociação: plataformas de negociação à vista e de opções ficam em um, enquanto plataformas de futuros permitem mais. Contas à vista não podem operar vendidas, e a classe base da estratégia impõe essa regra.

Otimização em três fases

A análise de sensibilidade varia cada parâmetro em vinte por cento para encontrar pontos de ruptura. A otimização walk-forward executa uma busca bayesiana em janelas móveis, acompanhando separadamente os resultados dentro e fora da amostra. O holdout final, o último quinto dos dados, é testado uma única vez e precisa se sustentar em comparação com o resultado walk-forward fora da amostra.

Detecção de sobreajuste

Uma estratégia é rejeitada quando o desempenho fora da amostra é negativo, quando a proporção entre os resultados dentro e fora da amostra é alta demais, quando a probabilidade de sobreajuste do backtest supera um meio ou quando o índice de Sharpe deflacionado, que considera quantas tentativas foram realizadas, deixa de sustentar o resultado.

Critérios para promoção

Os limites mínimos para promoção são impostos no código com base em um arquivo de critérios publicado. Os critérios rígidos abrangem sobreajuste, resultados fora da amostra não positivos, holdouts reprovados e ausência de operações, e não podem ser dispensados. Os critérios flexíveis abrangem índice de Sharpe, fator de lucro, drawdown e taxa de acerto, e só podem ser dispensados com um motivo registrado que o Diretor de Risco confirme ou rejeite.

Como interpretar um backtest com rigor

Compare a curva de patrimônio com o drawdown, confira em quantas operações o resultado se baseia e compare o retorno médio por operação com o custo de ida e volta. Um retorno alto vindo de poucas operações, ou um índice de Sharpe que desaparece fora da amostra, é um alerta, não um resultado.