Testamos 240 conjuntos de parâmetros. O melhor apresentou um índice Sharpe de 2.1; a mediana foi 0.1; e apenas 17 superaram 1.0. Esses números parecem uma descoberta até você perceber que, mesmo quando nenhuma estratégia tem vantagem real, uma busca tão ampla pode produzir um vencedor enganadoramente bom.
O número surpreendente é 240. Um relatório de backtest geralmente trata a estratégia escolhida como se ela tivesse surgido sozinha. A pesquisa não funciona assim. Cada ajuste de parâmetro, troca de feature, mudança de universo e nova execução depois de um resultado ruim dá ao ruído mais uma chance de parecer um sinal.
Por que testar mais estratégias aumenta o melhor Sharpe?
Imagine 240 estratégias independentes, sem vantagem real e com estimativas ruidosas de Sharpe. A maioria das estimativas fica perto de zero, mas o valor máximo tende a ser positivo. Quanto mais candidatas você examinar, mais esse máximo pode se afastar da realidade.
Como ilustração aproximada, suponha que a estimativa de Sharpe de cada candidata tenha um erro padrão de 0.5. Com 240 amostras independentes, a maior estimativa pode ficar cerca de 1.4 erros padrão acima da média, ou aproximadamente 0.7 de Sharpe, apenas por causa da seleção. As candidatas a estratégias reais são correlacionadas, então esse cálculo não é uma correção que você possa simplesmente inserir em um relatório. Ele mostra por que “o vencedor superou zero” é uma evidência fraca depois de uma busca ampla.
E a busca raramente se limita à grade de parâmetros. Talvez você tenha testado três famílias de sinais, descartado duas depois de ver seus gráficos, mudado o universo de negociação e então executado novamente a sobrevivente com outro calendário de rebalanceamento. Se o desempenho influenciou essas escolhas, elas fazem parte do histórico da pesquisa.
O que conta como uma tentativa de backtest?
Conte uma decisão como tentativa quando o resultado dela poderia ter influenciado a estratégia escolhida. Isso inclui execuções que você não publicou e variantes que interrompeu antes do fim porque a curva de capital parecia ruim. Uma falha de compilação não é uma tentativa de desempenho; uma execução que produziu um Sharpe decepcionante geralmente é.
| Ação de pesquisa | Geralmente conta? | Por quê |
|---|---|---|
| Alterar o lookback de 20 para 30 após analisar os resultados | Sim | O primeiro resultado influenciou a próxima candidata |
| Executar a mesma estratégia fixa em um novo período predefinido | Geralmente não é uma nova tentativa de seleção | A regra foi definida antes de se observar essa evidência |
| Alterar o universo depois de ver quais ativos tiveram melhor resultado | Sim | A seleção do universo pode melhorar o resultado aparente |
| Corrigir um erro de sintaxe e executar novamente o código sem alterações | Não | Nenhuma decisão de pesquisa dependeu do desempenho |
A linha divisória é saber se você usou um resultado para tomar uma decisão. Pode ser difícil reconstruir isso de memória, por isso um registro de experimentos deve anotar a hipótese, a versão do código ou da configuração, o período dos dados, as premissas de custos e o resultado de cada execução.
Posso corrigir os efeitos de testes múltiplos?
Há métodos para estimar o viés de seleção ou ajustar a significância para muitas tentativas. Eles podem ser úteis, mas dependem de premissas sobre a relação entre as candidatas e o comportamento dos retornos. Um valor p nominal ou uma única estimativa de Sharpe deflacionado não pode compensar uma busca cujo histórico real você perdeu.
Comece pelo que está sob seu controle. Defina a especificação final antes de avaliar um período realmente intocado. Mantenha visível o conjunto completo de candidatas. Ao testar muitas variantes relacionadas, agrupe-as pela decisão que as gerou, em vez de fingir que cada uma foi uma descoberta independente. Apresente a busca junto com a vencedora: número de tentativas, regra de seleção e se a avaliação final influenciou novas alterações.
Um teste útil: Se o resultado do holdout decepcionar, você vai mudar a estratégia e chamar o mesmo período de holdout de novo? Se sim, esse período agora faz parte da pesquisa. Você precisa de novas evidências para a próxima avaliação.
O que um agente de pesquisa com AI deve registrar?
Um agente pode gerar candidatas mais rápido do que uma pessoa consegue mantê-las na memória de trabalho. Por isso, contabilizar as tentativas é parte do sistema de pesquisa, não uma tarefa burocrática de elaboração de relatórios. Armazene cada candidata antes de executá-la, incluindo o experimento de origem e o motivo de sua criação. Mantenha as execuções que falharam e as que foram descartadas. Registre quando uma pessoa ou um agente analisou o desempenho e qual decisão veio em seguida.
Depois, torne o processo de seleção reproduzível: com o mesmo conjunto de candidatas e a mesma regra, ele deve escolher a mesma vencedora. Se um agente continuar alterando o prompt, o objetivo ou as restrições depois de ver os resultados, essas mudanças também fazem parte da busca.
Um Sharpe de 2.1 pode valer a pena investigar. O significado dele depende do caminho que o produziu. Quando o registro da pesquisa mostra que 240 candidatas disputaram o destaque, você pode fazer a próxima pergunta certa: que evidências ainda restam, sem que essas escolhas já as tenham consumido?
← Todos os artigos
