Бэктестинг торговых агентов на данных книги ордеров рынков прогнозов

Сводка

В документе представлен бенчмарк для оценки алгоритмических торговых агентов и агентов на основе языковых моделей на рынках прогнозов. Исторические эпизоды формируются из обновлений книги ордеров, сделок, событий жизненного цикла контрактов и расчётов, а затем воспроизводятся детерминированно, чтобы стратегии сталкивались с одинаковой последовательностью рыночных условий. Интерфейс агента позволяет обычным алгоритмам и языковым моделям с доступом к инструментам взаимодействовать с симуляцией.

Симулятор моделирует исполнение ордеров мейкера и тейкера, а также комиссии, что позволяет оценивать результаты с учётом торговых ограничений и риска расчётов. Описаны четыре эпизода на рынках криптовалют, погоды и спорта. Базовые результаты показывают, что простые агенты могут терять деньги из-за транзакционных издержек или исходов расчётов, тогда как стратегии, учитывающие комиссии, могут оставаться конкурентоспособными в волатильных эпизодах. Данные ограничены этими четырьмя эпизодами и указанными базовыми стратегиями; в резюме нет подробных показателей эффективности или более общих утверждений о результатах на других рынках.

Ключевые идеи

• Исторические потоки рынка можно детерминированно воспроизводить, чтобы сравнивать агентов в одинаковых условиях.
• Бенчмарк объединяет данные книги ордеров, сделки, события жизненного цикла контрактов и расчёты в эпизоды.
• Симулятор моделирует поведение мейкеров и тейкеров, а также комиссии.
• Наивные торговые стратегии могут терять эффективность из-за издержек и убытков при расчётах.
• Сообщается, что алгоритмы, учитывающие комиссии, конкурентоспособны в волатильных эпизодах; данные ограничены четырьмя эпизодами.

Теги

# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets


# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets









Prediction markets offer a natural testbed for trading agents: contracts have binary payoffs, prices can be interpreted as probabilities, and realized performance depends critically on market microstructure, fees, and settlement risk. We introduce PredictionMarketBench, a SWE-bench-style benchmark for evaluating algorithmic and LLM-based trading agents on prediction markets via deterministic, event-driven replay of historical limit-order-book and trade data. PredictionMarketBench standardizes (i) episode construction from raw exchange streams (orderbooks, trades, lifecycle, settlement), (ii) an execution-realistic simulator with maker/taker semantics and fee modeling, and (iii) a tool-based agent interface that supports both classical strategies and tool-calling LLM agents with reproducible trajectories. We release four Kalshi-based episodes spanning cryptocurrency, weather, and sports. Baseline results show that naive trading agents can underperform due to transaction costs and settlement losses, while fee-aware algorithmic strategies remain competitive in volatile episodes.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.