Quatro números podem contar uma história desconfortável: Sharpe walk-forward de 1.4, 312 trades históricos, 46 trades no paper trading e uma diferença de 18 pontos-base entre os preços de execução no paper trading e no backtest. O Sharpe chama a atenção. Os 18 pontos-base podem explicar por que a estratégia parece diferente antes que haja histórico suficiente de paper trading para avaliar seu desempenho.
O teste walk-forward pergunta se um processo de pesquisa poderia ter selecionado uma estratégia usando dados passados e avaliado seu desempenho em dados posteriores. O paper trading pergunta se um sistema em execução, com os dados, relógios, lógica de ordens e execuções atuais, se comporta como o processo testado. São perguntas relacionadas, mas a segunda não é respondida automaticamente pela primeira.
O que a validação walk-forward realmente comprova?
Imagine que você treine ou selecione uma estratégia com seis meses de dados e depois avalie seu desempenho no mês seguinte. Avance essa janela e repita o processo. Se cada mês de teste ficar fora do processo de seleção correspondente, o exercício fornece evidências sobre o desempenho em uma sequência de condições históricas.
Isso não comprova que o paper trading reproduzirá as mesmas decisões ou execuções. O teste histórico pode usar candles completos, uma tabela fixa de taxas e um modelo simplificado de ordens a mercado. O processo de paper trading em execução consome dados à medida que chegam e envia ordens simuladas por outro caminho. Um pode estar correto enquanto o outro apresenta uma incompatibilidade.
Por isso, 46 trades no paper trading contra 312 na amostra walk-forward não são, por si só, um veredito. Confira a janela de comparação, a frequência dos sinais, as posições abertas nos limites do período e se as duas contagens usam a mesma definição de trade. Uma execução de seis semanas em paper trading não pode igualar a contagem de trades de um ano de testes móveis.
Por que a diferença nos preços de execução é tão reveladora?
Vale decompor uma diferença média de 18 pontos-base antes de interpretar uma curva de patrimônio do paper trading. Ela é medida entre a execução presumida no backtest e a execução do simulador de paper trading, ou entre o preço médio no momento da decisão e a execução no paper trading? São medidas diferentes. Registre separadamente o preço da decisão, o preço de chegada da ordem, a execução simulada, as taxas e qualquer funding.
| Diferença observada | Primeira verificação | Por que isso importa |
|---|---|---|
| Menos trades no paper trading | Horários dos sinais e regras de elegibilidade | Uma entrada ausente ou atrasada pode suprimir decisões |
| Mesmos trades, execuções piores | Tipo de ordem, spread, impacto e nível de taxas | O backtest pode presumir um caminho de execução mais barato |
| Tamanhos de posição diferentes | Saldo, multiplicador do contrato e arredondamento | Pequenas incompatibilidades de unidade se acumulam entre ordens |
| Divergência após reinicialização | Posição recuperada e ordens pendentes | O processo de paper trading pode retomar de um estado diferente |
Por exemplo, um backtest que compra na abertura do candle seguinte pode se aproximar de uma ordem a mercado no paper trading em um instrumento líquido. Mas, se a ordem do paper trading chegar depois de uma movimentação brusca, a diferença inclui o tempo e a movimentação do mercado, além do custo de execução. Chamar os 18 pontos-base inteiros de “slippage” esconde a causa.
Como comparar o paper trading com um teste walk-forward?
Comece pelas decisões, depois passe às ordens e, por fim, às execuções. Para cada decisão no paper trading, reproduza a mesma versão da estratégia com o mesmo histórico de entradas e compare o que ela sabia naquele instante. Um registro útil para verificar a paridade inclui:
- Versão da estratégia e parâmetros, incluindo a janela de seleção que os gerou.
- Valores de entrada com o horário do evento e o horário em que ficaram disponíveis.
- Sinal, posição-alvo, posição atual e ordem proposta.
- Restrições das ordens, taxas, funding e detalhes da execução simulada.
- Estado do saldo e da posição antes e depois da execução.
Se os sinais diferem, investigue o momento dos dados e as versões do código. Se os sinais coincidem, mas as ordens diferem, investigue o dimensionamento, as regras da corretora e o estado do portfólio. Se as ordens coincidem, mas as execuções diferem, investigue as premissas de execução. Mantenha essas camadas separadas; caso contrário, um único número de desempenho fará você procurar no lugar errado.
Quando a divergência é evidência de que a estratégia está quebrada?
Depois que o pipeline estiver alinhado, compare os resultados ao longo de um período compartilhado significativo e examine o comportamento previsto da estratégia. Alguns trades no paper trading podem revelar rapidamente um problema de timestamp ou no caminho da ordem. Mas não permitem concluir com segurança que o retorno médio da estratégia mudou. Para isso, são necessárias observações suficientes, e o número necessário depende do nível de ruído e de agrupamento dos retornos.
As condições de mercado também podem mudar. Um spread mais amplo ou um funding persistentemente desfavorável pode prejudicar a estratégia mesmo quando todas as decisões coincidem. Essa é uma mudança real nas condições de negociação, não um erro de validação. Mantenha um registro dos custos e das exposições junto com os retornos para que a diferença fique clara.
A validação walk-forward fornece evidências sobre um processo de seleção em períodos históricos. O paper trading fornece evidências sobre o sistema em execução sob condições observadas. Quando os resultados divergem, encontre primeiro o ponto mais antigo em que os registros deixam de coincidir. Muitas vezes, o número surpreendente não é o Sharpe. É a pequena diferença nos dados ou na execução que faz os dois experimentos responderem a perguntas diferentes.
← Todos os artigos
