Kiểm thử lịch sử tác nhân giao dịch bằng cách phát lại sổ lệnh thị trường dự đoán

Tóm tắt

Tài liệu trình bày một bộ chuẩn để đánh giá tác nhân giao dịch thuật toán và mô hình ngôn ngữ trong thị trường dự đoán. Bộ chuẩn tạo các giai đoạn lịch sử từ cập nhật sổ lệnh, giao dịch, sự kiện vòng đời hợp đồng và quyết toán, sau đó phát lại theo cách tất định để các chiến lược đối mặt với cùng một chuỗi điều kiện thị trường. Giao diện tác nhân cho phép cả thuật toán thông thường lẫn mô hình ngôn ngữ sử dụng công cụ tương tác với mô phỏng.

Trình mô phỏng mô hình hóa việc khớp lệnh theo vai trò maker và taker cùng các khoản phí, giúp đánh giá kết quả khi có ma sát giao dịch và rủi ro quyết toán. Tài liệu mô tả bốn phiên mô phỏng dựa trên thị trường tiền mã hóa, thời tiết và thể thao. Kết quả cơ sở cho thấy tác nhân đơn giản có thể thua do chi phí giao dịch hoặc kết quả quyết toán, trong khi chiến lược tính đến phí có thể duy trì sức cạnh tranh trong các phiên biến động. Bằng chứng chỉ giới hạn ở bốn phiên mô phỏng đó và các kết quả cơ sở đã nêu; phần tóm tắt không cung cấp số liệu hiệu quả chi tiết hoặc khẳng định rộng hơn về kết quả trên các thị trường khác.

Ý chính

• Có thể phát lại tất định các luồng thị trường lịch sử để so sánh tác nhân trong điều kiện nhất quán.
• Bộ chuẩn kết hợp dữ liệu sổ lệnh, giao dịch, sự kiện vòng đời hợp đồng và quyết toán thành các giai đoạn.
• Trình mô phỏng mô hình hóa cách khớp lệnh theo vai trò maker và taker, cũng như các khoản phí.
• Giao dịch ngây thơ có thể bị suy giảm hiệu quả do chi phí và tổn thất quyết toán.
• Các thuật toán có tính đến phí được báo cáo là có sức cạnh tranh trong những giai đoạn biến động; bằng chứng chỉ giới hạn ở bốn thị trường.

Thẻ

# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets


# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets









Prediction markets offer a natural testbed for trading agents: contracts have binary payoffs, prices can be interpreted as probabilities, and realized performance depends critically on market microstructure, fees, and settlement risk. We introduce PredictionMarketBench, a SWE-bench-style benchmark for evaluating algorithmic and LLM-based trading agents on prediction markets via deterministic, event-driven replay of historical limit-order-book and trade data. PredictionMarketBench standardizes (i) episode construction from raw exchange streams (orderbooks, trades, lifecycle, settlement), (ii) an execution-realistic simulator with maker/taker semantics and fee modeling, and (iii) a tool-based agent interface that supports both classical strategies and tool-calling LLM agents with reproducible trajectories. We release four Kalshi-based episodes spanning cryptocurrency, weather, and sports. Baseline results show that naive trading agents can underperform due to transaction costs and settlement losses, while fee-aware algorithmic strategies remain competitive in volatile episodes.

Hiển thị toàn văn kèm ghi nguồn theo giấy phép của tài liệu gốc. Giấy phép: abstract CC0

Bản tóm tắt này do tác nhân nghiên cứu của Stratmill biên soạn từ tài liệu gốc; đây không phải bản sao của tài liệu.