O Sharpe do backtest pode subir quando adiciona mais mercados

Acrescentar mais mercados à procura de estratégias pode fazer com que o melhor backtest pareça mais forte, ao mesmo tempo que enfraquece a evidência. Um Sharpe mais elevado depois de adicionar símbolos é muitas vezes interpretado como diversificação; se procurou o vencedor nesses símbolos, também aumentou as oportunidades de ter sorte.

Esta distinção é importante, quer um agente proponha centenas de sinais, quer um investigador teste alguns à mão. O espaço de procura inclui todos os mercados, períodos, variáveis e combinações de parâmetros cujos resultados influenciaram a escolha final. «Só lançámos uma estratégia» não nos diz quantas candidatas foram avaliadas.

Porque pode um universo de mercados maior inflacionar o melhor Sharpe?

Imagine testar o mesmo modelo de estratégia em 40 mercados sem relação entre si. Para simplificar, suponha que o Sharpe verdadeiro de cada mercado é zero e que cada Sharpe estimado tem um erro-padrão de 0.5. As estimativas oscilam em torno de zero. Mas, se escolher a mais alta, esta será geralmente positiva, simplesmente por ter escolhido um máximo.

Com uma aproximação normal grosseira, espera-se que a maior de 40 estimativas independentes de ruído fique cerca de 1.3 erros-padrão acima de zero: aproximadamente 0.65 de Sharpe neste exemplo. O valor exato depende da dependência entre estimativas, da duração da amostra e da distribuição dos retornos. A questão é que a seleção gera otimismo, mesmo quando nenhuma estratégia tem vantagem.

Os mercados não são lançamentos de moeda independentes. BTC e ETH movem-se muitas vezes em conjunto; dois índices de ações podem partilhar a maior parte do risco. Isso reduz o número efetivo de tentativas independentes, mas não faz desaparecer o problema. Além disso, mercados correlacionados podem diferir nas comissões, no funding, na liquidez e nos horários em que um sinal funciona.

Testar mais mercados conta como testes múltiplos?

Conta quando usa os resultados para decidir o que manter. Se a hipótese inicial era «esta regra capta um efeito de funding nos principais contratos perpétuos», analisar vários mercados faz parte do teste dessa hipótese. Se testar 50 mercados, encontrar o melhor e depois formular a hipótese com base no seu comportamento, a seleção do universo passa a fazer parte da otimização.

É útil distinguir a amplitude definida antecipadamente da amplitude escolhida depois de ver os resultados. Um conjunto fixo pode revelar se uma ideia é robusta num domínio especificado. Um conjunto alargado até um símbolo produzir uma curva de capital impressionante é um procedimento de procura. Ambos podem ser formas legítimas de investigação, mas respondem a perguntas diferentes.

Como posso testar se uma vantagem se transfere para mercados novos?

Congele as escolhas de investigação antes de consultar o conjunto reservado. Isso inclui a definição do sinal, os parâmetros, as regras do universo, o calendário de rebalanceamento e os pressupostos de execução. Depois, avalie a estratégia sem alterações em mercados que não tenham influenciado essas escolhas.

Por exemplo, suponha que desenvolve uma regra de momentum para criptoativos com base nos contratos perpétuos de BTC e ETH até 2023. Poderia reservar um conjunto de outros contratos perpétuos líquidos, escolhidos segundo uma regra que use apenas informação disponível antes do período de teste, e excluí-los de todos os ajustes. Aplique a regra congelada a esses contratos em 2024 e 2025. Inclua o escalão de comissões real de cada plataforma, os pagamentos de funding, as especificações dos contratos e um pressuposto defensável sobre o impacto no mercado; um teste de transferência sem custos de transação específicos de cada mercado pode confundir uma diferença de custos com uma falha do sinal — ou ocultá-la.

Apresente a distribuição dos resultados nos mercados reservados, e não apenas o Sharpe agregado. Uma carteira agregada pode ocultar que quase todo o retorno veio de um único mercado. Mostre o resultado líquido, o número de transações, a redução máxima e a percentagem do P&L total atribuída ao maior mercado. Se a regra só funcionar num contrato, classifique-a como um resultado específico desse contrato.

Mantenha também uma separação temporal rigorosa. Um mercado pode não ter sido explorado, embora o período dos seus dados coincida com o mesmo regime que impulsionou o desempenho durante o desenvolvimento. Um conjunto de mercados reservado testa se a regra se transfere entre instrumentos; um conjunto de períodos posteriores testa se se transfere ao longo do tempo. São testes distintos, e um bom resultado num deles não substitui o outro.

E se a estratégia precisar mesmo de usar mais mercados?

Nesse caso, inclua-os, mas defina como. Uma regra de carteira que transaciona todos os mercados elegíveis segundo um sinal fixo é diferente de uma competição em que vence o mercado com melhor histórico. A elegibilidade deve ser determinada sem consultar o desempenho futuro: por exemplo, com um limiar de liquidez à data e um requisito mínimo de histórico. As alterações à composição também precisam de datas e horas; caso contrário, uma lista atual de «mercados líquidos» pode introduzir no backtest antigo os mercados que sobreviveram até hoje.

Os críticos têm razão ao dizer que um universo restrito pode gerar uma estratégia frágil e que testar em muitos mercados é uma valiosa verificação de robustez. A resposta não é evitar testar mercados. É separar os mercados usados para descobrir uma ideia daqueles usados para pôr à prova a ideia congelada, e contar o trabalho de descoberta como parte da evidência.

Um universo maior pode ajudar uma estratégia a resistir fora do laboratório. Também pode ajudar um backtest afortunado a vencer a competição de seleção do laboratório. O registo da procura e o conjunto reservado ajudam a perceber qual das histórias o Sharpe sustenta.