Testando estratégias simples de trading contra traders de AI com mais rigor

Resumo

O artigo questiona afirmações publicadas sobre agentes de trading baseados em AI e aprendizado de máquina. Argumenta que algumas avaliações anteriores se apoiaram em um número limitado de sessões de teste e cenários de mercado, deixando evidências insuficientes para julgar com confiança o desempenho dos agentes. Para lidar com isso, os autores relatam testes em amplas faixas de parâmetros e muitas sessões, usando computação em nuvem paralela para gerar um conjunto maior de resultados experimentais.

Segundo o documento, estratégias simples sem AI nem aprendizado de máquina superam regularmente alguns sistemas de trading de domínio público baseados em AI ou aprendizado de máquina, descritos na literatura de pesquisa. A lição proposta é metodológica: as comparações precisam de avaliações extensas em diferentes parâmetros e condições de mercado, e modelos sofisticados devem ser comparados com referências simples. O trecho não identifica as regras das estratégias, os mercados, as medidas de desempenho nem os agentes específicos de AI; assim, com base apenas neste texto, não é possível avaliar os achados de forma independente nem convertê-los em um sistema de trading implementável. Os resultados relatados dizem respeito aos agentes de pesquisa e cenários testados; não demonstram que estratégias simples geralmente superem abordagens baseadas em AI em mercados ao vivo.

Ideias principais

• O artigo questiona se avaliações anteriores de agentes de trading de AI testaram sessões e cenários de mercado suficientes.
• Os autores relatam testes extensos em amplas faixas de parâmetros, usando computação paralela.
• Nos testes relatados, algumas estratégias simples sem AI superaram traders de AI e de aprendizado de máquina publicados.
• Referências simples podem ajudar a avaliar se um método complexo de trading agrega valor.
• O trecho omite detalhes de estratégias, mercados, métricas e evidências necessárias para avaliar o desempenho ao vivo.

Tags

# Methods Matter: A Trading Agent with No Intelligence Routinely Outperforms AI-Based Traders


# Methods Matter: A Trading Agent with No Intelligence Routinely Outperforms AI-Based Traders









There's a long tradition of research using computational intelligence (methods from artificial intelligence (AI) and machine learning (ML)), to automatically discover, implement, and fine-tune strategies for autonomous adaptive automated trading in financial markets, with a sequence of research papers on this topic published at AI conferences such as IJCAI and in journals such as Artificial Intelligence: we show here that this strand of research has taken a number of methodological mis-steps and that actually some of the reportedly best-performing public-domain AI/ML trading strategies can routinely be out-performed by extremely simple trading strategies that involve no AI or ML at all. The results that we highlight here could easily have been revealed at the time that the relevant key papers were published, more than a decade ago, but the accepted methodology at the time of those publications involved a somewhat minimal approach to experimental evaluation of trader-agents, making claims on the basis of a few thousand test-sessions of the trader-agent in a small number of market scenarios. In this paper we present results from exhaustive testing over wide ranges of parameter values, using parallel cloud-computing facilities, where we conduct millions of tests and thereby create much richer data from which firmer conclusions can be drawn. We show that the best public-domain AI/ML traders in the published literature can be routinely outperformed by a "sub-zero-intelligence" trading strategy that at face value appears to be so simple as to be financially ruinous, but which interacts with the market in such a way that in practice it is more profitable than the well-known AI/ML strategies from the research literature. That such a simple strategy can outperform established AI/ML-based strategies is a sign that perhaps the AI/ML trading strategies were good answers to the wrong question.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.