Évaluer plus rigoureusement les stratégies de trading simples face aux traders AI

Résumé

L’article remet en question des affirmations publiées sur les agents de trading AI et d’apprentissage automatique. Il soutient que certaines évaluations antérieures reposaient sur un nombre limité de sessions de test et de scénarios de marché, ce qui fournissait trop peu d’éléments pour juger fiablement les performances des agents. Pour y remédier, les auteurs indiquent avoir effectué des tests sur de larges plages de paramètres et de nombreuses sessions à l’aide de calculs infonuagiques parallèles, afin de constituer un ensemble plus vaste de résultats expérimentaux.

Selon le document, des stratégies simples sans AI ni apprentissage automatique surpassent régulièrement certains traders AI ou d’apprentissage automatique accessibles au public et issus de la littérature de recherche. La leçon proposée est méthodologique : les comparaisons nécessitent une évaluation approfondie sur différents paramètres et conditions de marché, et un modèle sophistiqué doit être comparé à des références simples. L’extrait ne précise ni les règles des stratégies, ni les marchés, ni les mesures de performance, ni les agents AI concernés ; ses résultats ne peuvent donc pas être évalués indépendamment ni convertis, à partir de ce seul texte, en système de trading déployable. Les résultats rapportés concernent les agents et les cadres de recherche testés ; ils n’établissent pas que les stratégies simples surpassent généralement les approches fondées sur AI sur les marchés réels.

Idées clés

• L’article se demande si les évaluations antérieures d’agents de trading AI ont testé suffisamment de sessions et de scénarios de marché.
• Les auteurs rapportent des tests approfondis couvrant de larges plages de paramètres, réalisés par calcul parallèle.
• Dans les tests rapportés, certaines stratégies simples sans AI ont surpassé des traders AI issus de la littérature publiée et des traders fondés sur l’apprentissage automatique.
• Des références simples peuvent aider à déterminer si une méthode de trading complexe apporte une valeur ajoutée.
• L’extrait omet les détails des stratégies, les marchés, les mesures et les éléments nécessaires pour évaluer les performances en trading réel.

Étiquettes

# Methods Matter: A Trading Agent with No Intelligence Routinely Outperforms AI-Based Traders


# Methods Matter: A Trading Agent with No Intelligence Routinely Outperforms AI-Based Traders









There's a long tradition of research using computational intelligence (methods from artificial intelligence (AI) and machine learning (ML)), to automatically discover, implement, and fine-tune strategies for autonomous adaptive automated trading in financial markets, with a sequence of research papers on this topic published at AI conferences such as IJCAI and in journals such as Artificial Intelligence: we show here that this strand of research has taken a number of methodological mis-steps and that actually some of the reportedly best-performing public-domain AI/ML trading strategies can routinely be out-performed by extremely simple trading strategies that involve no AI or ML at all. The results that we highlight here could easily have been revealed at the time that the relevant key papers were published, more than a decade ago, but the accepted methodology at the time of those publications involved a somewhat minimal approach to experimental evaluation of trader-agents, making claims on the basis of a few thousand test-sessions of the trader-agent in a small number of market scenarios. In this paper we present results from exhaustive testing over wide ranges of parameter values, using parallel cloud-computing facilities, where we conduct millions of tests and thereby create much richer data from which firmer conclusions can be drawn. We show that the best public-domain AI/ML traders in the published literature can be routinely outperformed by a "sub-zero-intelligence" trading strategy that at face value appears to be so simple as to be financially ruinous, but which interacts with the market in such a way that in practice it is more profitable than the well-known AI/ML strategies from the research literature. That such a simple strategy can outperform established AI/ML-based strategies is a sign that perhaps the AI/ML trading strategies were good answers to the wrong question.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.