Um agente de estratégias pode contaminar um conjunto de teste sem incluir uma única linha de teste em um treinamento. Se o agente vê a pontuação do teste, altera um parâmetro e executa de novo, essa pontuação já influenciou a estratégia. O código pode chamar o período de “fora da amostra”. O processo de pesquisa o transformou em parte da busca.
Já vi isso acontecer por conveniência: um agente executa um lote, lê uma tabela de resumo e propõe uma pequena melhoria. Ninguém pediu que ele ajustasse o modelo ao conjunto reservado. Mesmo assim, o ciclo de feedback fez esse ajuste.
Erro 1: deixar o agente espiar depois de cada execução
O estrago costuma aparecer como um Sharpe de teste que sobe em pequenos degraus bem certinhos. O agente experimenta 30 variantes, mantém a melhor e testa mais 30 variantes em torno dela. Cada mudança isolada parece razoável. Juntas, elas transformam o período de teste em um alvo de otimização.
Veja um exemplo simples. Suponha que a estratégia não tenha vantagem real e que você teste 100 variantes independentes em um conjunto reservado. Ao selecionar o maior Sharpe, é bem possível encontrar um resultado favorável por acaso. Na maioria das buscas de estratégias, as variantes não serão realmente independentes, mas isso não salva o processo: o feedback repetido ainda favorece configurações que, por acaso, se ajustam às peculiaridades do conjunto reservado.
Coloque o conjunto reservado atrás de uma barreira de resultados. O agente pode desenvolver a estratégia usando períodos de treinamento e validação, mas não pode consultar métricas nem gráficos do conjunto reservado. Faça a avaliação final em uma execução separada, uma única vez, depois de congelar as decisões de pesquisa, e registre a versão da estratégia e o snapshot dos dados junto com o resultado.
Erro 2: chamar todo período posterior de “novo”
Um intervalo de datas não é novo só porque vem depois da janela de treinamento. Se o agente já viu uma pontuação desse intervalo, ou se alguém usou o drawdown dele para escolher outra variável, esse intervalo já entrou no ciclo de feedback.
| Período | Uso permitido | O que muda seu status |
|---|---|---|
| Treinamento | Ajustar regras e parâmetros | Nada; a busca faz parte de seu propósito |
| Validação | Comparar candidatos e tomar decisões de pesquisa | O uso repetido facilita o sobreajuste |
| Conjunto final reservado | Uma avaliação do candidato congelado | Ler o resultado e alterar o candidato |
| Período futuro em paper trading | Observar prospectivamente o comportamento da implementação | Usar os resultados para ajustar cria um novo ciclo de pesquisa |
A avaliação walk-forward contínua pode ajudar a estimar como um processo de pesquisa fixo se comporta ao longo do tempo. Isso não dá direito a espiar sem limites os resultados de cada fold. Se o agente vê os resultados dos folds e adapta sua busca, eles também passam a ser feedback. Preserve um período final intocado para a decisão que você realmente quer tomar.
Erro 3: congelar o código, mas mudar a pergunta
Às vezes, o código da estratégia permanece igual, mas a pessoa que pesquisa muda a avaliação depois de ver o resultado: troca o benchmark, exclui um mês ruim, apresenta outro universo ou destaca a métrica mais favorável. O conjunto de teste orientou a narrativa, mesmo sem alterar nenhum parâmetro.
O estrago aparece em um relatório bem acabado, com uma única manchete convincente e sem registro das outras perspectivas testadas. Uma estratégia de ações pode parecer fraca em comparação com um índice amplo de mercado, mas forte em comparação com dinheiro em caixa; uma estratégia cripto pode se destacar em uma corretora depois de várias terem sido analisadas. Essas comparações podem ser úteis, mas escolher entre elas depois de ver o conjunto reservado é mais uma etapa de seleção.
Mantenha um registro de pesquisa. Para cada execução, salve a hipótese, a versão do código, o snapshot dos dados, a busca de parâmetros, as janelas de avaliação, as métricas solicitadas e se o agente ou a pessoa pesquisadora viu o resultado. Um registro conciso é mais útil do que um rótulo “fora da amostra” que só soa perfeito.
Depois, deixe explícita a pergunta final antes da avaliação: qual candidato, qual universo de mercado, qual benchmark, quais custos e quais métricas? Se a resposta mudar depois que o resultado chegar, trate a próxima execução como pesquisa e reserve dados novos para a próxima verificação final.
O que ainda posso aprender com um conjunto reservado contaminado?
Ele não é inútil. Pode mostrar como a estratégia se comportou naquele período e ajudar a diagnosticar falhas. Apenas deixe de apresentar sua pontuação como uma confirmação independente. Use-a como evidência para o desenvolvimento, congele o próximo candidato e avalie-o em um período futuro genuinamente prospectivo em paper trading, com os mesmos critérios contábeis e premissas de execução.
Em um fluxo de trabalho orientado por agentes, é fácil perder a conta dos experimentos: um único prompt pode gerar dezenas de execuções antes que alguém perceba. A proteção depende de procedimentos. Limite o que o agente pode consultar, registre cada experimento e mantenha uma avaliação cujo resultado não possa orientar o candidato avaliado.
← Todos os artigos
