O Sharpe do seu backtest pode subir quando você adiciona mais mercados

Adicionar mais mercados à busca por estratégias pode fazer o melhor backtest parecer mais forte enquanto enfraquece as evidências. Um Sharpe mais alto depois de incluir símbolos costuma ser visto como diversificação; mas, se buscamos o vencedor nesses símbolos, também aumentamos as chances de ter dado sorte.

Essa distinção importa tanto quando um agente propõe centenas de sinais quanto quando um pesquisador testa alguns poucos manualmente. O espaço de busca inclui cada combinação de mercado, timeframe, feature e parâmetro cujo resultado influenciou a escolha final. “Só colocamos uma estratégia em produção” não diz quantas candidatas passaram pela avaliação.

Por que um universo maior de mercados pode inflar o melhor Sharpe?

Imagine testar o mesmo modelo de estratégia em 40 mercados sem relação entre si. Suponha, para simplificar, que o Sharpe verdadeiro de cada mercado seja zero e que cada Sharpe estimado tenha erro padrão de 0.5. As estimativas oscilam em torno de zero. Mas escolha a mais alta, e ela provavelmente será positiva só por ser o máximo.

Por uma aproximação normal grosseira, espera-se que a maior entre 40 estimativas independentes de ruído fique por volta de 1.3 erros padrão acima de zero: cerca de 0.65 de Sharpe neste exemplo. O valor exato depende da dependência entre mercados, do tamanho da amostra e da distribuição dos retornos. O ponto é que a seleção gera otimismo mesmo quando nenhuma estratégia tem edge.

Mercados não são lançamentos de moeda independentes. BTC e ETH costumam se mover juntos; dois índices de ações podem compartilhar a maior parte do risco. Isso reduz o número efetivo de tentativas independentes, mas não elimina o problema. Além disso, mercados correlacionados ainda podem diferir em taxas, funding, liquidez e nos horários em que um sinal funciona.

Testar mais mercados conta como teste múltiplo?

Conta quando usamos os resultados para decidir o que manter. Se a hipótese original era “esta regra captura um efeito de funding nos principais contratos perpétuos”, analisar vários mercados faz parte do teste dessa hipótese. Se testamos 50 mercados, encontramos o melhor e depois formulamos a hipótese com base no comportamento dele, a seleção do universo passa a fazer parte da otimização.

Há uma diferença útil entre definir a amplitude de antemão e defini-la depois de ver os resultados. Uma cesta fixa pode mostrar se uma ideia é robusta em um domínio especificado. Uma cesta ampliada até um símbolo produzir uma curva de capital impressionante é um procedimento de busca. Ambos podem ser formas legítimas de pesquisa, mas respondem a perguntas diferentes.

Como testar se um edge se transfere para novos mercados?

Congele as escolhas de pesquisa antes de abrir o holdout. Isso inclui a definição do sinal, os parâmetros, as regras do universo, o cronograma de rebalanceamento e as premissas de execução. Em seguida, avalie a estratégia sem alterações em mercados que não influenciaram essas escolhas.

Por exemplo, suponha que uma regra de momentum em cripto seja desenvolvida com contratos perpétuos de BTC e ETH até 2023. Você poderia reservar um conjunto de outros contratos perpétuos líquidos, escolhido por uma regra que use apenas informações disponíveis antes do período de teste, e mantê-los fora de todos os ajustes. Aplique a regra congelada a esses contratos em 2024 e 2025. Inclua a faixa real de taxas de cada venue, os pagamentos de funding, as especificações dos contratos e uma premissa de impacto defensável; um teste de transferência sem custos de negociação específicos de cada mercado pode confundir uma diferença de custo com uma falha do sinal — ou ocultar uma falha.

Apresente a distribuição entre os mercados reservados, não apenas o Sharpe agregado. Um portfólio agregado pode esconder que quase todo o retorno veio de um único mercado. Mostre o resultado líquido, a quantidade de operações, o drawdown e a parcela do P&L total contribuída pelo maior mercado. Se a regra funcionar apenas em um contrato, chame o resultado de específico daquele contrato.

Mantenha também a divisão temporal honesta. Um mercado pode não ter sido explorado, mas seus dados podem abranger o mesmo regime que impulsionou o desempenho durante o desenvolvimento. Um holdout entre mercados pergunta se a regra se transfere entre instrumentos; um holdout de período posterior pergunta se ela se transfere ao longo do tempo. São testes distintos, e um bom resultado em um não substitui o outro.

E se a estratégia realmente precisar usar mais mercados?

Então inclua-os, mas defina como. Uma regra de portfólio que negocia todos os mercados elegíveis segundo um sinal fixo é diferente de uma disputa em que vence o mercado com melhor desempenho histórico. A elegibilidade deve ser determinada sem consultar o desempenho futuro: por exemplo, com um limite de liquidez em cada data e um requisito mínimo de histórico. As mudanças de composição também precisam de timestamps; caso contrário, uma lista atual de “mercados líquidos” pode inserir no backtest antigo os mercados que sobreviveram até hoje.

Os críticos têm razão ao dizer que um universo restrito pode gerar uma estratégia frágil e que testar amplamente é uma forma valiosa de verificar a robustez. A resposta não é evitar testar mercados. É separar os mercados usados para descobrir uma ideia daqueles usados para desafiar a ideia congelada e contabilizar o trabalho de descoberta como parte das evidências.

Um universo maior pode ajudar uma estratégia a sobreviver fora do laboratório. Também pode ajudar um backtest sortudo a vencer a disputa de seleção do laboratório. O registro da busca e o holdout mostram qual dessas histórias o Sharpe sustenta.