Um agente de estratégias pode contaminar um conjunto de teste sem incluir uma única linha de teste num processo de treino. Se o agente vê a pontuação do teste, altera um parâmetro e volta a executar, essa pontuação já influenciou a estratégia. O código pode chamar ao período «fora da amostra». O processo de investigação já o integrou na pesquisa.
Já vi isto acontecer por conveniência: um agente executa um lote, lê uma tabela de resumo e propõe uma pequena melhoria. Ninguém lhe pediu que ajustasse a estratégia ao conjunto reservado. Ainda assim, o ciclo de feedback fê-lo.
Erro 1: deixar o agente espreitar os resultados após cada execução
Os estragos costumam surgir numa pontuação Sharpe de teste que sobe em pequenos degraus certinhos. O agente experimenta 30 variantes, fica com a melhor e depois experimenta 30 variantes à sua volta. Cada alteração, isoladamente, parece razoável. Em conjunto, transformam o período de teste num alvo de otimização.
Vejamos um exemplo simples. Suponhamos que a estratégia não tem qualquer vantagem real e que testamos 100 variantes independentes num conjunto reservado. Se escolhermos a pontuação Sharpe mais alta, é perfeitamente possível obter por acaso um resultado lisonjeiro. Na maioria das pesquisas de estratégias, as variantes não serão verdadeiramente independentes, mas isso não resolve o problema: o feedback repetido continua a favorecer configurações que, por acaso, se ajustam às particularidades do conjunto reservado.
Protege o conjunto reservado com uma barreira de resultados. O agente pode desenvolver com períodos de treino e validação; não pode aceder às métricas nem aos gráficos do conjunto reservado. Mantém a avaliação final num processo separado, executa-o uma única vez depois de congelar as decisões de investigação e regista a versão da estratégia e a versão dos dados usadas no resultado.
Erro 2: chamar «novo» a qualquer período posterior
Um intervalo de datas não é novo só por vir depois do período de treino. Se o agente já viu uma pontuação desse intervalo, ou se uma pessoa usou o seu drawdown para escolher outra funcionalidade, esse intervalo passou a fazer parte do ciclo de feedback.
| Período | Utilização permitida | O que altera o seu estatuto |
|---|---|---|
| Treino | Ajustar regras e parâmetros | Nada; é suposto ser pesquisado |
| Validação | Comparar candidatos e tomar decisões de investigação | A utilização repetida facilita o sobreajuste |
| Conjunto final reservado | Uma avaliação do candidato congelado | Ler o resultado e alterar o candidato |
| Período futuro em paper trading | Observar o comportamento da implementação em tempo real | Usar os resultados para ajustar a estratégia cria um novo ciclo de investigação |
A avaliação walk-forward contínua pode ajudar a estimar o comportamento de um processo de investigação fixo ao longo do tempo. Não dá carta branca para espreitar todos os folds sem limites. Se um agente vê os resultados dos folds e adapta a pesquisa, esses folds também servem de feedback. Preserva um período final intocado para a decisão que queres realmente tomar.
Erro 3: congelar o código, mas mudar a pergunta
Por vezes, o código da estratégia mantém-se igual, mas o investigador altera a avaliação depois de ver o resultado: troca o benchmark, exclui um mês difícil, apresenta outro universo ou destaca a métrica mais forte. O conjunto de teste orientou a narrativa, mesmo sem alterar nenhum parâmetro.
Os estragos surgem num relatório polido, com uma conclusão principal convincente e sem registo das outras perspetivas que foram experimentadas. Uma estratégia de ações pode parecer fraca face a um índice de mercado amplo, mas forte face a dinheiro; uma estratégia de cripto pode destacar-se numa plataforma depois de se analisarem várias. Estas comparações podem ser úteis, mas escolher entre elas depois de ver o conjunto reservado é mais uma etapa de seleção.
Mantém um registo da investigação. Em cada execução, guarda a hipótese, a versão do código, a versão dos dados, a pesquisa de parâmetros, as janelas de avaliação, as métricas pedidas e se o agente ou o investigador viu o resultado. Um registo conciso é mais útil do que um rótulo «fora da amostra» que soa perfeito.
Depois, define explicitamente a pergunta final antes da avaliação: qual candidato, qual universo de mercado, qual benchmark, quais custos e quais métricas? Se a resposta mudar depois de chegar o resultado, trata a execução seguinte como investigação e reserva dados novos para a próxima verificação final.
O que ainda posso aprender com um conjunto reservado contaminado?
Não é inútil. Pode mostrar como uma estratégia se comportou nesse período e ajudar a diagnosticar falhas. Deixa apenas de apresentar a sua pontuação como uma confirmação independente. Usa-a como evidência para o desenvolvimento, congela o próximo candidato e avalia-o num período futuro de paper trading genuinamente novo, com as mesmas premissas contabilísticas e de execução.
Num fluxo de trabalho orientado por agentes, é fácil perder a conta das experiências: uma única prompt pode criar dezenas de execuções antes de alguém dar por isso. A proteção é processual. Limita o que o agente pode consultar, regista todas as experiências e mantém uma avaliação cujo resultado não possa orientar o candidato avaliado.
← Todos os artigos
