Na segunda-feira, nosso agente de pesquisa com IA encontrou uma estratégia de futuros de cripto com índice Sharpe de 4.1. Na quinta-feira, depois de contabilizarmos os experimentos e impedirmos que o agente ajustasse os parâmetros usando a mesma janela de validação, o resultado foi 0.8. A estratégia não tinha mudado. Nossa estimativa do que a busca havia alcançado, sim.
Fizemos isso como um pequeno diário de pesquisa porque “otimize com cuidado” é um conselho fácil de dar e difícil de colocar em prática quando um agente pode escrever código, iniciar backtests, analisar a pontuação e tentar de novo em poucos minutos. Veja o que deu errado, em ordem.
Segunda-feira: fazer uma pergunta delimitada ao agente
Pedimos ao agente que testasse uma ideia simples de tendência horária em um mercado líquido de futuros perpétuos: entrar quando uma média móvel curta cruzasse uma mais longa, dimensionar a posição com uma meta fixa de volatilidade e zerá-la no sinal inverso. Especificamos o instrumento, as datas, a tabela de taxas, o histórico de funding, a premissa de execução e os intervalos de parâmetros que ele poderia explorar.
A amostra histórica ia de 2021 a 2025. Destinamos 2021–2023 ao desenvolvimento, 2024 à validação e mantivemos 2025 lacrado como conjunto final de holdout. Essa divisão estava definida na configuração do trabalho, então o agente podia ler os resultados de desenvolvimento e as pontuações de validação, mas não podia acessar os retornos do holdout.
Nosso primeiro erro foi permitir 300 combinações de parâmetros em um único trabalho sem registrar o orçamento de busca como resultado de pesquisa. O agente retornou a configuração de melhor desempenho: média rápida de 9 horas, média lenta de 73 horas e meta de volatilidade de 0.8%. O Sharpe na validação foi 4.1. Sabíamos que o agente havia tentado muitas configurações. Ainda não tínhamos tornado esse fato impossível de esquecer.
Terça-feira: o vencedor mudou quando repetimos o teste
Repetimos o mesmo trabalho em um ambiente limpo. A configuração mais bem colocada mudou, e seu Sharpe caiu para 2.7. Um cache de dados de mercado havia fornecido uma série de funding atualizada na primeira execução, enquanto a repetição usou um snapshot fixado. Os dois trabalhos diziam usar o mesmo intervalo de datas; apenas um tinha uma versão de dados reproduzível.
Paramos de comparar pontuações e começamos a registrar o experimento completo: revisão do código, snapshot dos dados, taxas, funding, configurações de execução, valores dos parâmetros e cada tentativa iniciada pelo agente. Isso mostrou que o 4.1 não era uma vantagem misteriosa de mercado. Era o resultado de uma configuração em uma busca de 300 tentativas no mesmo ano de validação.
Quarta-feira: congelar a busca antes de abrir o holdout
Repetimos o experimento com um snapshot de dados fixo e uma grade menor, definida de antemão: 24 combinações. O agente podia classificá-las com base no período de desenvolvimento de 2021–2023. Permitimos que ele visse 2024 uma vez, para fazer a seleção, e então bloqueamos as configurações escolhidas e o código.
A estratégia selecionada obteve Sharpe de 0.8 na validação. No holdout lacrado de 2025, obteve 0.3 após as taxas taker, o funding e o mesmo atraso de execução de 1 barra aplicado durante todo o estudo. Foi uma resposta útil. Não era evidência de que a estratégia daria lucro em uma conta real.
Uma observação desta semana: passamos mais tempo definindo o que significava “uma tentativa” do que escrevendo o código da média móvel. Contamos cada conjunto de parâmetros alterado como uma tentativa e também contabilizamos as execuções que mudaram o sinal ou a regra de dimensionamento. Um novo snapshot de dados ou uma nova premissa de execução ganhava um registro de execução separado, porque poderia mudar a classificação tanto quanto.
Quinta-feira: o que deixaríamos de fazer na próxima vez
Deixaríamos de fazer o primeiro trabalho sem limites. Um agente de pesquisa precisa de um orçamento de busca e do registro do que tentou, principalmente quando pode usar cada resultado para decidir o que tentar em seguida. O holdout também precisa ser protegido contra consultas informais: quando alguém lê o resultado e muda a estratégia, ele vira mais um conjunto de validação.
Para uma busca pequena, um registro de experimentos prático pode ser simples e explícito:
| Registro | Por que importa |
|---|---|
| Versões do código e dos dados | Para que uma repetição use as mesmas entradas e a mesma lógica |
| Todas as variantes testadas | Para entender o vencedor à luz da busca |
| Papéis de desenvolvimento, validação e holdout | Para que uma pontuação final não seja reutilizada às escondidas no ajuste |
| Premissas de taxas, funding e execução | Para que o resultado relatado descreva uma simulação que possa ser testada |
Depois de abrir o holdout, volte ao desenvolvimento com uma nova pergunta de pesquisa e preserve o resultado anterior como evidência histórica. Não continue refinando a mesma estratégia contra um período que ela já viu.
O agente fez o trabalho dele: pesquisou rapidamente e encontrou uma configuração que valia a pena examinar. Nosso trabalho foi tornar a busca compreensível, preservar um teste intocado e tratar a pontuação como uma medição com histórico. O resultado interessante não foi 4.1 nem 0.3. Foi ver exatamente como o primeiro número foi produzido.
← Todos os artigos
