Более тщательная проверка простых торговых стратегий против трейдеров AI

Сводка

В статье оспариваются опубликованные заявления об эффективности торговых агентов на основе AI и машинного обучения. Авторы утверждают, что в некоторых предыдущих оценках использовалось мало тестовых сессий и рыночных сценариев, поэтому свидетельств было недостаточно для надёжной оценки эффективности агентов. В качестве решения авторы сообщают о тестировании в широких диапазонах параметров и на множестве сессий с использованием параллельных облачных вычислений, что позволило собрать больше экспериментальных результатов.

Согласно документу, простые стратегии без AI или машинного обучения регулярно превосходят некоторых общедоступных трейдеров на основе AI или машинного обучения, описанных в научной литературе. Методологический вывод: сравнения требуют масштабной оценки на разных параметрах и рыночных условиях, а сложную модель нужно проверять относительно простых базовых стратегий. В отрывке не указаны правила стратегий, рынки, показатели эффективности или конкретные агенты AI, поэтому по одному этому тексту нельзя независимо оценить результаты или превратить их в готовую к использованию торговую систему. Представленные результаты относятся к протестированным исследовательским агентам и условиям; они не доказывают, что простые стратегии в целом превосходят подходы на основе AI при торговле на реальных рынках.

Ключевые идеи

• В статье ставится под вопрос, охватывали ли предыдущие оценки торговых агентов на основе AI достаточное число сессий и рыночных сценариев.
• Авторы сообщают о масштабном тестировании в широких диапазонах параметров с использованием параллельных вычислений.
• В описанных тестах некоторые простые стратегии без AI превзошли опубликованных трейдеров на основе AI и машинного обучения.
• Простые базовые стратегии помогают понять, даёт ли сложный торговый метод преимущество.
• В отрывке нет сведений о стратегиях, рынках, метриках и данных, необходимых для оценки эффективности на реальном рынке.

Теги

# Methods Matter: A Trading Agent with No Intelligence Routinely Outperforms AI-Based Traders


# Methods Matter: A Trading Agent with No Intelligence Routinely Outperforms AI-Based Traders









There's a long tradition of research using computational intelligence (methods from artificial intelligence (AI) and machine learning (ML)), to automatically discover, implement, and fine-tune strategies for autonomous adaptive automated trading in financial markets, with a sequence of research papers on this topic published at AI conferences such as IJCAI and in journals such as Artificial Intelligence: we show here that this strand of research has taken a number of methodological mis-steps and that actually some of the reportedly best-performing public-domain AI/ML trading strategies can routinely be out-performed by extremely simple trading strategies that involve no AI or ML at all. The results that we highlight here could easily have been revealed at the time that the relevant key papers were published, more than a decade ago, but the accepted methodology at the time of those publications involved a somewhat minimal approach to experimental evaluation of trader-agents, making claims on the basis of a few thousand test-sessions of the trader-agent in a small number of market scenarios. In this paper we present results from exhaustive testing over wide ranges of parameter values, using parallel cloud-computing facilities, where we conduct millions of tests and thereby create much richer data from which firmer conclusions can be drawn. We show that the best public-domain AI/ML traders in the published literature can be routinely outperformed by a "sub-zero-intelligence" trading strategy that at face value appears to be so simple as to be financially ruinous, but which interacts with the market in such a way that in practice it is more profitable than the well-known AI/ML strategies from the research literature. That such a simple strategy can outperform established AI/ML-based strategies is a sign that perhaps the AI/ML trading strategies were good answers to the wrong question.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.