Quatro números podem revelar uma história incómoda: Sharpe walk-forward de 1.4, 312 operações históricas, 46 operações em paper trading e uma diferença de 18 pontos base entre os preços de execução em paper trading e no backtest. O Sharpe dá o título. Os 18 pontos base podem explicar por que razão a estratégia parece diferente antes de haver histórico suficiente em paper trading para avaliar o seu desempenho.
O teste walk-forward pergunta se um processo de investigação poderia ter selecionado uma estratégia com base em dados passados e avaliado o seu desempenho em dados posteriores. O paper trading pergunta se um sistema em execução, com os dados, relógios, lógica de ordens e execuções atuais, se comporta como o processo testado. São perguntas relacionadas, mas a segunda não fica automaticamente respondida pela primeira.
O que comprova, afinal, a validação walk-forward?
Imagine que treina ou seleciona uma estratégia com 6 meses de dados e, depois, avalia o seu desempenho no mês seguinte. Avance essa janela e repita o processo. Se cada mês de teste ficar fora do processo de seleção correspondente, terá evidências sobre o desempenho em várias condições históricas.
Isso não comprova que o paper trading reproduzirá as mesmas decisões ou execuções. O teste histórico pode usar candles completos, uma tabela de comissões fixa e um modelo simplificado de ordens de mercado. O processo de paper trading em execução consome dados à medida que chegam e envia ordens simuladas por um percurso diferente. Um processo pode estar correto enquanto o outro apresenta uma discrepância.
Por isso, 46 operações em paper trading contra 312 na amostra walk-forward não são, por si só, conclusivas. Verifique a janela de comparação, a frequência dos sinais, as posições abertas nos limites da janela e se ambos os números usam a mesma definição de operação. Uma execução de 6 semanas em paper trading não pode igualar a contagem de operações de um ano de testes contínuos.
Porque é que a diferença nos preços de execução revela tanto?
Uma diferença média de 18 pontos base merece ser analisada antes de interpretar a curva de capital em paper trading. É calculada entre a execução presumida pelo backtest e a execução do simulador em paper trading, ou entre o ponto médio no momento da decisão e a execução em paper trading? São medidas diferentes. Registe separadamente o preço no momento da decisão, o preço à chegada da ordem, a execução simulada, as comissões e qualquer financiamento.
| Diferença observada | Primeira verificação | Porque é importante |
|---|---|---|
| Menos operações em paper trading | Carimbos temporais dos sinais e regras de elegibilidade | Um dado em falta ou atrasado pode impedir decisões |
| Mesmas operações, piores execuções | Tipo de ordem, spread, impacto e escalão de comissões | O backtest pode presumir um percurso de execução mais barato |
| Tamanhos de posição diferentes | Saldo, multiplicador do contrato e arredondamento | Pequenas diferenças nas unidades acumulam-se entre ordens |
| Divergência após um reinício | Posições e ordens pendentes recuperadas | O processo de paper trading pode ser retomado a partir de um estado diferente |
Por exemplo, um backtest que compra na abertura da vela seguinte pode parecer semelhante a uma ordem de mercado em paper trading num instrumento líquido. Mas, se a ordem em paper trading chegar depois de uma variação brusca, a diferença inclui tanto o momento e o movimento do mercado como o custo de execução. Chamar «slippage» a todos os 18 pontos base oculta a causa.
Como comparo o paper trading com um teste walk-forward?
Comece pelas decisões, depois passe às ordens e, por fim, às execuções. Para cada decisão em paper trading, volte a executar a mesma versão da estratégia sobre o mesmo histórico de dados e compare o que esta sabia naquele instante. Um registo útil para verificar a paridade inclui:
- Versão e parâmetros da estratégia, incluindo a janela de seleção que os produziu.
- Valores de entrada com a hora do evento e a hora em que ficaram disponíveis.
- Sinal, posição pretendida, posição atual e ordem proposta.
- Restrições das ordens, comissões, financiamento e detalhes da execução simulada.
- Estado do saldo e das posições antes e depois da execução.
Se os sinais forem diferentes, analise o momento de chegada dos dados e as versões do código. Se os sinais coincidirem, mas as ordens forem diferentes, analise o dimensionamento, as regras da plataforma e o estado da carteira. Se as ordens coincidirem, mas as execuções forem diferentes, analise os pressupostos de execução. Mantenha estas camadas separadas; caso contrário, um único número de desempenho pode levá-lo a procurar no sítio errado.
Quando é que a divergência é indício de uma estratégia com problemas?
Depois de alinhar o processo, compare os resultados num período comum significativo e analise o comportamento pretendido da estratégia. Algumas operações em paper trading podem revelar rapidamente um carimbo temporal incorreto ou um problema no percurso da ordem. Não permitem determinar com fiabilidade se o retorno médio da estratégia mudou. Para isso, são necessárias observações suficientes, e o número necessário depende do ruído e da concentração temporal dos retornos.
As condições de mercado também podem mudar. Um spread mais amplo ou um financiamento persistentemente desfavorável podem prejudicar a estratégia mesmo quando todas as decisões coincidem. Trata-se de uma mudança real nas condições de negociação, não de um erro de validação. Registe os custos e as exposições juntamente com os retornos para que a diferença seja percetível.
A validação walk-forward fornece evidências sobre um processo de seleção em períodos históricos. O paper trading fornece evidências sobre o sistema em execução nas condições observadas. Quando os resultados divergem, procure primeiro o ponto mais inicial em que os registos deixam de coincidir. Muitas vezes, o número surpreendente não é o Sharpe. É a pequena diferença na execução ou nos dados que faz com que as duas experiências respondam a perguntas diferentes.
← Todos os artigos
