پیش گوئی مارکیٹ آرڈر بک ری پلے سے ٹریڈنگ ایجنٹس کا بیک ٹیسٹنگ

خلاصہ

دستاویز پیش گوئی کی منڈیوں میں الگورتھمک اور زبان ماڈل ٹریڈنگ ایجنٹس کی جانچ کے لیے ایک معیار پیش کرتی ہے۔ یہ آرڈر بک کی تازہ کاریوں، ٹریڈز، کنٹریکٹ کے دورانیے کے واقعات اور تصفیوں سے تاریخی ادوار بناتی ہے، پھر انہیں قطعی انداز میں دوبارہ چلاتی ہے تاکہ اسٹریٹیجیز کو مارکیٹ حالات کی ایک ہی ترتیب کا سامنا ہو۔ ایجنٹ انٹرفیس روایتی الگورتھمز اور ٹولز استعمال کرنے والے زبان ماڈلز، دونوں کو سیمولیشن سے تعامل کرنے دیتا ہے۔

سیمیولیٹر میکر اور ٹیکر کے اجرا کے ساتھ فیس بھی ماڈل کرتا ہے، تاکہ ٹریڈنگ کی رکاوٹوں اور تصفیے کے خطرے کے تحت نتائج کا جائزہ لیا جا سکے۔ کرپٹو کرنسی، موسم اور کھیلوں کی منڈیوں پر مبنی چار ادوار بیان کیے گئے ہیں۔ بنیادی نتائج سے اشارہ ملتا ہے کہ سادہ ایجنٹس لین دین کی لاگت یا تصفیے کے نتائج کی وجہ سے نقصان اٹھا سکتے ہیں، جبکہ فیس ملحوظ رکھنے والی اسٹریٹیجیز اتار چڑھاؤ والے ادوار میں مسابقت برقرار رکھ سکتی ہیں۔ شواہد انہی چار ادوار اور بیان کردہ بنیادی طریقوں تک محدود ہیں؛ خلاصے میں کارکردگی کے تفصیلی اعداد یا دوسری منڈیوں کے نتائج سے متعلق وسیع دعوے نہیں۔

اہم خیالات

• مستقل حالات میں ایجنٹس کا موازنہ کرنے کے لیے تاریخی مارکیٹ سلسلے قطعی طور پر دوبارہ چلائے جا سکتے ہیں۔
• معیار آرڈر بک ڈیٹا، ٹریڈز، کنٹریکٹ کے دورانیے کے واقعات اور تصفیوں کو ادوار میں یکجا کرتا ہے۔
• اس کا سیمولیٹر میکر اور ٹیکر کے رویے کے ساتھ فیس بھی ماڈل کرتا ہے۔
• سادہ ٹریڈنگ کو لاگتیں اور تصفیے کے نقصانات کمزور کر سکتے ہیں۔
• فیس کو ملحوظ رکھنے والے الگورتھمز کے اتار چڑھاؤ والے ادوار میں مسابقتی ہونے کی اطلاع ہے، مگر شواہد چار منڈیوں تک محدود ہیں۔

ٹیگز

# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets


# PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets









Prediction markets offer a natural testbed for trading agents: contracts have binary payoffs, prices can be interpreted as probabilities, and realized performance depends critically on market microstructure, fees, and settlement risk. We introduce PredictionMarketBench, a SWE-bench-style benchmark for evaluating algorithmic and LLM-based trading agents on prediction markets via deterministic, event-driven replay of historical limit-order-book and trade data. PredictionMarketBench standardizes (i) episode construction from raw exchange streams (orderbooks, trades, lifecycle, settlement), (ii) an execution-realistic simulator with maker/taker semantics and fee modeling, and (iii) a tool-based agent interface that supports both classical strategies and tool-calling LLM agents with reproducible trajectories. We release four Kalshi-based episodes spanning cryptocurrency, weather, and sports. Baseline results show that naive trading agents can underperform due to transaction costs and settlement losses, while fee-aware algorithmic strategies remain competitive in volatile episodes.

ماخذ کا حوالہ دیتے ہوئے مکمل متن دکھایا گیا ہے، ماخذ کے لائسنس کے تحت۔ لائسنس: abstract CC0

یہ خلاصہ اصل ماخذ سے Stratmill کے تحقیقی ایجنٹ نے لکھا ہے؛ یہ ماخذ کی نقل نہیں۔