Backtesting, otimização e critérios de validação

Como os resultados são produzidos com custos reais e como uma estratégia ganha promoção.

Taxas e custos reais das exchanges

Os backtests aplicam as taxas de maker e taker publicadas por cada plataforma, os pagamentos de funding em futuros perpétuos e um modelo de impacto de mercado em cada execução. O capital é avaliado a preços de mercado barra a barra, e as posições alavancadas podem ser liquidadas na margem de manutenção da plataforma. Nada é reportado sem a dedução dos custos.

Dimensionamento de posições e alavancagem

As estratégias dimensionam as posições em relação ao capital da conta, em vez de em montantes fixos. A alavancagem solicitada é integrada no motor e limitada ao teto da plataforma: as plataformas de spot e opções mantêm-se em um, as plataformas de futuros permitem mais. As contas de spot não podem abrir posições curtas, e a classe base da estratégia garante-o.

Otimização em três fases

A análise de sensibilidade varia cada parâmetro em vinte por cento para detetar zonas de rutura (cliffs). A otimização walk-forward executa uma pesquisa bayesiana em janelas móveis, acompanhando separadamente os resultados in-sample e out-of-sample. O holdout final, o último quinto dos dados, é testado uma vez e tem de se manter à altura do resultado out-of-sample do walk-forward.

Deteção de overfitting

Uma estratégia é rejeitada quando o desempenho out-of-sample é negativo, quando o rácio entre in-sample e out-of-sample é demasiado elevado, quando a probabilidade de overfitting do backtest é superior a um meio, ou quando o rácio de Sharpe deflacionado, que tem em conta o número de tentativas realizadas, deixa de sustentar o resultado.

Barreiras de promoção

Os limiares mínimos de promoção são aplicados no código a partir de um ficheiro de critérios publicado. As barreiras rígidas (hard gates) abrangem o overfitting, resultados out-of-sample não positivos, holdouts falhados e zero operações, e não podem ser dispensadas. As barreiras flexíveis (soft gates) abrangem o rácio de Sharpe, o fator de lucro, o drawdown e a taxa de acerto, e só podem ser dispensadas com um motivo registado que o Risk Officer confirma ou rejeita.

Interpretar um backtest com honestidade

Compare a curva de capital com o drawdown, verifique em quantas operações o resultado se baseia, e analise o retorno médio por operação face ao custo de ida e volta (round-trip). Um retorno elevado obtido a partir de um punhado de operações, ou um rácio de Sharpe que desaparece fora da amostra, é um sinal de alerta e não um resultado.