Testámos 240 conjuntos de parâmetros. O melhor apresentou um rácio de Sharpe de 2.1; a mediana foi 0.1; e apenas 17 ultrapassaram 1.0. Estes números parecem uma descoberta até perceber que, mesmo quando nenhuma estratégia tem uma vantagem real, uma pesquisa tão ampla pode produzir um vencedor com resultados enganadoramente bons.
O número surpreendente é 240. Um relatório de backtest costuma tratar a estratégia selecionada como se tivesse surgido sozinha. A investigação não funciona assim. Cada ajuste de parâmetros, substituição de funcionalidades, alteração do universo e nova execução após um resultado desagradável dá ao ruído mais uma oportunidade para parecer um sinal.
Porque é que experimentar mais estratégias faz subir o melhor Sharpe?
Imagine 240 estratégias independentes sem vantagem real e com estimativas ruidosas de Sharpe. A maioria das estimativas fica perto de zero, mas o máximo tende a ser positivo. Quanto mais candidatos analisar, mais esse máximo se pode afastar da realidade.
Como ilustração aproximada, suponha que o erro padrão do Sharpe estimado de cada candidato é 0.5. Com 240 observações independentes, a estimativa mais elevada pode ficar cerca de 1.4 erros padrão acima da média, ou aproximadamente 0.7 Sharpe, apenas por efeito da seleção. Os candidatos a estratégias reais estão correlacionados, pelo que este cálculo não é uma correção que possa aplicar diretamente num relatório. Mostra por que razão «o vencedor superou zero» é uma evidência fraca depois de uma pesquisa ampla.
E a pesquisa raramente se limita à grelha de parâmetros. Pode ter experimentado três famílias de sinais, descartado duas depois de ver os seus gráficos, alterado o universo de negociação e depois voltado a executar a estratégia restante com outro calendário de rebalanceamento. Se o desempenho influenciou essas escolhas, elas fazem parte do histórico da investigação.
O que conta como uma tentativa de backtest?
Conte uma decisão como uma tentativa quando o resultado podia ter influenciado a estratégia escolhida. Isso inclui execuções que não publicou e variantes que interrompeu porque a curva de capital parecia má. Uma falha de compilação não é uma tentativa de desempenho; uma execução que produziu um Sharpe dececionante normalmente é.
| Ação de investigação | Conta normalmente? | Porquê |
|---|---|---|
| Alterar o período retrospetivo de 20 para 30 depois de analisar os resultados | Sim | O primeiro resultado influenciou o candidato seguinte |
| Executar a mesma estratégia fixa num novo intervalo de datas, definido previamente | Normalmente, não é uma nova tentativa de seleção | A regra foi definida antes de observar essa evidência |
| Alterar o universo depois de ver quais foram os ativos vencedores | Sim | A seleção do universo pode melhorar o resultado aparente |
| Corrigir um erro de sintaxe e voltar a executar o código sem alterações | Não | Nenhuma decisão de investigação dependeu do desempenho |
A distinção está em saber se usou um resultado para tomar uma decisão. Pode ser difícil reconstruir isso de memória, por isso um registo de experiências deve guardar a hipótese, a versão do código ou da configuração, o intervalo de dados, os pressupostos de custos e o resultado de cada execução.
Posso corrigir os testes múltiplos?
Existem métodos que estimam o enviesamento de seleção ou ajustam a significância para muitas tentativas. Podem ser úteis, mas exigem pressupostos sobre a relação entre os candidatos e o comportamento dos retornos. Um valor p nominal ou uma única estimativa de Sharpe deflacionado não pode salvar uma pesquisa cujo histórico real se perdeu.
Comece pelas partes que controla. Fixe a especificação final antes de avaliar um período verdadeiramente intocado. Mantenha visível o conjunto completo de candidatos. Ao testar muitas variantes relacionadas, agrupe-as pela decisão que lhes deu origem, em vez de fingir que cada uma foi uma descoberta independente. Apresente a pesquisa juntamente com o vencedor: número de tentativas, regra de seleção e indicação de se a avaliação final influenciou novas alterações.
Um teste útil: Se o resultado do conjunto de validação o desiludir, vai alterar a estratégia e chamar novamente conjunto de validação ao mesmo período? Se sim, esse período passou a fazer parte da investigação. Precisa de novas evidências para a avaliação seguinte.
O que deve registar um agente de investigação com AI?
Um agente pode gerar candidatos mais depressa do que uma pessoa consegue mantê-los na memória de trabalho. Por isso, contabilizar as tentativas faz parte do sistema de investigação, não é uma tarefa administrativa de elaboração de relatórios. Guarde cada candidato antes da execução, incluindo a experiência de origem e a razão da sua criação. Mantenha os resultados falhados e descartados. Registe quando uma pessoa ou um agente analisou o desempenho e que decisão se seguiu.
Depois, torne o processo de seleção reproduzível: com o mesmo conjunto de candidatos e a mesma regra, deve escolher sempre o mesmo vencedor. Se um agente continuar a alterar o prompt, o objetivo ou as restrições depois de ver os resultados, essas alterações também fazem parte da pesquisa.
Um Sharpe de 2.1 pode merecer investigação. O seu significado depende do percurso que o produziu. Quando o registo da investigação indica que 240 candidatos disputaram o destaque, pode fazer a pergunta seguinte certa: que evidências ainda restam que nenhuma dessas escolhas tenha já consumido?
← Todos os artigos
