تخصصیسازی مدلهای زبانی برای تولید کد معاملاتی الگوریتمیِ اجرایی
مقاله arXiv papers · نویسنده: Alexey Chernysh et al.
خلاصه
این پژوهش روشهای سازگارکردن مدلهای زبانی عمومی را برای تولید استراتژیهای اجرایی در چارچوب Backtrader ارزیابی میکند. رویکرد آن پیشآموزش ادامهدار با کد چارچوب را با تنظیم دقیق نظارتشده بر نمونههای درخواستبهکدِ اعتبارسنجیشده توسط عاملها ترکیب میکند. ارزیابی از معیار تولید استراتژی شامل 400 وظیفه و یک مسیر در سطح مخزن استفاده میکند و درستیِ داوریشده، بکتستهای موفق و عملکرد عامل در دورهای اصلاح را میسنجد.
ایدههای کلیدی
- پیشآموزش ادامهدار با کد چارچوب معاملاتی، عملکرد داوریشده تکمرحلهای مدلهای ارزیابیشده را بهبود میدهد.
- تنظیم دقیق نظارتشده پس از پیشآموزش ادامهدار، برای یک مدل بهبودهای بیشتری از جمله نرخ بالاتر موفقیت بکتست و عامل به همراه دارد.
- پیشآموزش ادامهدار بهتنهایی میتواند موفقیت عامل در دور اول را افزایش دهد، اما موفقیت پس از اصلاح را کاهش دهد؛ موضوعی که از پیروی ضعیفتر از دستورالعملها حکایت دارد.
- تخصصیسازی حوزه میتواند قالببندی فراخوانی ساختاریافته ابزارها را مختل کند؛ تنظیم دقیق بازیابی قالببندی را بازمیگرداند، اما عملکرد پایه عامل در سطح مخزن را احیا نمیکند.
- نتایج به مدلها، وظایف و چارچوب Backtrader مشخصی مربوطاند و عملکرد در همه سامانههای معاملاتی را اثبات نمیکنند.
برچسبها
متن کامل
# QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code # QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code Large language models are strong general-purpose code generators, but executable algorithmic trading remains a demanding specialization target: a model must translate a natural-language strategy specification into correct program logic for a specialized trading framework, execute on historical data, produce trades, and remain semantically faithful to the request. We study two complementary mechanisms for specializing language models for this setting: continued pretraining on algorithmic-trading framework code and supervised fine-tuning (SFT) on agent-validated request-to-code pairs. Evaluation is centered on QuantCode-Bench, our 400-task benchmark for Backtrader strategy generation, together with a repository-level SWE-bench-like track. Continued pretraining improves single-turn Judge Pass from 41.5% to 47.5% for Qwen3.5-397B-A17B and from 27.8% to 33.0% for Qwen3.6-35B-A3B. SFT applied after continued pretraining yields a larger gain for Qwen3.6-35B-A3B, reaching 58.2% Judge Pass and 83.5% successful backtests; in agentic evaluation it raises first-turn success from 22.3% to 58.3% and final success after up to 10 turns from 47.5% to 79.5%. Continued pretraining alone improves first-turn agentic success but lowers final success after repair from 47.5% to 32.5%, consistent with degraded instruction following, whereas SFT improves both. We also identify a capability-retention failure: domain specialization degrades parser-conformant structured tool calling, and targeted recovery SFT restores tool-call formatting but not the base checkpoint's repository-level agent performance. The results show that framework-oriented pretraining, validated SFT, and explicit capability-retention evaluation address distinct failure modes in domain-specific executable code generation.
با ذکر منبع و مطابق مجوز اثر، بهطور کامل نمایش داده میشود. مجوز: abstract CC0
این خلاصه را عامل پژوهشی Stratmill بر پایه متن اصلی نوشته است؛ نسخهای از اثر منبع نیست.