Um backtest pode parecer mais convincente depois que você piora os dados. Remova os registros ruins, preencha as lacunas com preços bem-comportados e o Sharpe pode subir. Essa melhora pode ser um sinal de alerta: a regra de limpeza talvez tenha apagado exatamente as condições de mercado que sua estratégia precisa superar.
A qualidade dos dados importa. Uma cotação cruzada ou uma operação duplicada pode gerar uma execução que ninguém conseguiria obter. Mas um filtro que faz observações inconvenientes desaparecerem também é uma escolha de modelo. Trate-o com a mesma desconfiança que você teria diante de um novo sinal.
Quando um preço ruim é realmente um dado ruim?
Comece perguntando o que a observação representa. Uma operação muito distante do mercado vigente pode ser um registro corrompido, uma varredura legítima de uma liquidez escassa ou um evento específico de uma plataforma. Um candle de 1 minuto com volume zero pode significar que não houve operações, enquanto a ausência de um candle pode indicar falha no feed. Cada caso exige um tratamento diferente.
Considere uma estratégia simples de reversão à média que compra quando o preço cai 1% abaixo de uma média móvel curta e encerra a posição na média. Durante um período noturno de baixa liquidez, uma operação é registrada 1,2% abaixo do preço anterior e, em seguida, o mercado se recupera rapidamente. Se o registro for legítimo, uma estratégia com uma ordem limitada passiva talvez tivesse sido executada. Se for um tick incorreto, sem suporte de uma cotação executável, contabilizar essa execução inventa uma vantagem.
Excluir o candle não é automaticamente mais seguro. A estratégia ainda poderia ter uma ordem aberta no mercado, e a próxima operação real poderia executá-la. Uma simulação defensável precisa modelar o que a estratégia poderia observar e contra quais preços sua ordem poderia plausivelmente ser executada.
O que uma regra de limpeza faz com o resultado?
Execute a estratégia com tratamentos de dados explícitos e compare as mudanças. Preserve a fonte bruta e registre cada exclusão ou correção, com o respectivo motivo. Depois, informe quanto do resultado depende dessas decisões.
| Tratamento dos dados | Benefício potencial | Risco para o backtest |
|---|---|---|
| Remover um registro fora de uma faixa de erro documentada pela bolsa | Impede que um registro sabidamente inválido defina um valor extremo | A regra pode classificar operações legítimas incorretamente durante um mercado acelerado |
| Repetir o último preço em um intervalo sem dados | Evita que os indicadores falhem diante de lacunas | Cria um preço pelo qual talvez não tenha ocorrido nenhuma operação |
| Usar cotações consolidadas em vez das últimas operações | Oferece uma visão melhor dos preços de execução exibidos | O tamanho da cotação, o acesso à plataforma e a posição na fila continuam sendo relevantes |
| Excluir todos os candles atípicos com base em um limite estatístico | Reduz a sensibilidade a valores extremos | Pode remover períodos de estresse reais, nos quais a estratégia tem suas maiores perdas |
Suponha que uma execução sem filtros tenha Sharpe de 0.9, enquanto outra, que exclui 0.8% dos candles, suba para 1.4. Isso, por si só, não é uma vitória na qualidade dos dados. Verifique se os candles removidos se concentram em torno de picos de volatilidade, se representam uma parcela significativa do P&L e se a regra de exclusão foi definida antes de você ver o resultado.
Mantenha um registro de exceções de dados com a fonte, o horário, os campos afetados, o motivo da ação e se a decisão foi tomada antes ou depois de analisar o desempenho da estratégia.
Como testar se a limpeza alterou a vantagem da estratégia?
Congele a estratégia e compare vários tratamentos plausíveis para as mesmas datas. Inclua, sempre que possível, a simulação com dados brutos, um conjunto de correções documentadas e um cenário conservador de execução para observações que continuem ambíguas. Em cada execução, informe a quantidade de operações, o giro, o drawdown e a contribuição para o P&L dos intervalos afetados, junto com o Sharpe.
Depois, analise as operações que mudaram. Se os maiores ganhos da estratégia desaparecerem quando um pequeno grupo de registros suspeitos for excluído, examine esses registros individualmente. Se forem as perdas que desaparecerem, aplique o mesmo escrutínio. Uma regra que só recebe atenção cuidadosa quando prejudica o backtest já está influenciando a pesquisa.
Para que o estudo seja reproduzível, versione os arquivos do fornecedor ou seus checksums, o código de limpeza e a lista de exceções. Um fornecedor pode revisar o histórico; sua próxima execução deve permitir identificar se a estratégia mudou ou se foram os dados de entrada.
Mas a limpeza não é necessária?
Sim. Manter um registro obviamente corrompido pode inventar uma operação, distorcer a volatilidade ou fazer um indicador falhar. E ninguém deve fingir que um feed bruto é a verdade absoluta. O ponto prático é mais específico: a limpeza exige evidências, uma regra congelada e uma análise de sensibilidade, pois pode alterar qual mercado o backtest afirma representar.
Quando uma correção nos dados melhora o desempenho, pergunte qual observação foi removida e se você teria tomado a mesma decisão sem ver a curva de patrimônio. Se não tiver certeza, mantenha as duas versões no registro da pesquisa. A diferença entre elas faz parte do resultado.
← Todos os artigos
