Backtesting de agentes de trading mediante reproducción de libros de órdenes de mercados de predicción

Resumen

El documento presenta un referente para evaluar agentes de trading algorítmicos y basados en modelos de lenguaje en mercados de predicción. Construye episodios históricos a partir de actualizaciones del libro de órdenes, operaciones, eventos del ciclo de vida de los contratos y liquidaciones, y después los reproduce de forma determinista para que las estrategias se enfrenten a una secuencia coherente de condiciones de mercado. Una interfaz de agente permite que tanto los algoritmos convencionales como los modelos de lenguaje que usan herramientas interactúen con la simulación.

El simulador modela la ejecución como creador y tomador de liquidez, además de las comisiones, para evaluar resultados con fricciones de trading y riesgo de liquidación. Se describen cuatro episodios basados en mercados de criptomonedas, meteorología y deportes. Los resultados de referencia indican que los agentes simples pueden perder debido a los costes de transacción o a los resultados de liquidación, mientras que las estrategias que tienen en cuenta las comisiones pueden seguir siendo competitivas en episodios volátiles. La evidencia se limita a esos cuatro episodios y a los referentes indicados; el resumen no ofrece cifras detalladas de rendimiento ni afirmaciones más amplias sobre otros mercados.

Ideas clave

• Los flujos históricos del mercado pueden reproducirse de forma determinista para comparar agentes en condiciones coherentes.
• El referente combina datos del libro de órdenes, operaciones, eventos del ciclo de vida de los contratos y liquidaciones en episodios.
• El simulador modela el comportamiento de quienes aportan y toman liquidez, además de las comisiones.
• Los costes y las pérdidas por liquidación pueden perjudicar el trading ingenuo.
• Se informa que los algoritmos que tienen en cuenta las comisiones son competitivos en episodios volátiles; la evidencia se limita a cuatro mercados.

Etiquetas

# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets


# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets









Prediction markets offer a natural testbed for trading agents: contracts have binary payoffs, prices can be interpreted as probabilities, and realized performance depends critically on market microstructure, fees, and settlement risk. We introduce PredictionMarketBench, a SWE-bench-style benchmark for evaluating algorithmic and LLM-based trading agents on prediction markets via deterministic, event-driven replay of historical limit-order-book and trade data. PredictionMarketBench standardizes (i) episode construction from raw exchange streams (orderbooks, trades, lifecycle, settlement), (ii) an execution-realistic simulator with maker/taker semantics and fee modeling, and (iii) a tool-based agent interface that supports both classical strategies and tool-calling LLM agents with reproducible trajectories. We release four Kalshi-based episodes spanning cryptocurrency, weather, and sports. Baseline results show that naive trading agents can underperform due to transaction costs and settlement losses, while fee-aware algorithmic strategies remain competitive in volatile episodes.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.