Chuyên biệt hóa mô hình ngôn ngữ để tạo mã giao dịch thuật toán có thể chạy
Bài viết arXiv papers · Tác giả: Alexey Chernysh et al.
Tóm tắt
Nghiên cứu đánh giá các cách điều chỉnh mô hình ngôn ngữ tổng quát để tạo chiến lược có thể chạy trên khuôn khổ Backtrader. Phương pháp kết hợp tiền huấn luyện tiếp tục trên mã của khuôn khổ với tinh chỉnh có giám sát trên các ví dụ chuyển yêu cầu thành mã đã được tác nhân xác thực. Đánh giá sử dụng bộ chuẩn gồm 400 tác vụ tạo chiến lược và một nhánh đánh giá ở cấp kho mã, đo độ chính xác do người đánh giá chấm, các lần backtest thành công và hiệu suất của tác nhân qua các lượt sửa lỗi.
Ý chính
- Tiền huấn luyện tiếp tục trên mã của khuôn khổ giao dịch cải thiện kết quả được chấm ở lượt đơn đối với các mô hình được đánh giá.
- Tinh chỉnh có giám sát sau tiền huấn luyện tiếp tục đem lại mức cải thiện lớn hơn cho một mô hình, bao gồm tỷ lệ backtest và thành công của tác nhân cao hơn.
- Chỉ tiền huấn luyện tiếp tục có thể giúp tác nhân thành công hơn ở lượt đầu nhưng làm giảm tỷ lệ thành công sau khi sửa lỗi, gợi ý khả năng tuân theo chỉ dẫn yếu hơn.
- Chuyên biệt hóa theo lĩnh vực có thể làm giảm khả năng định dạng lệnh gọi công cụ theo cấu trúc; tinh chỉnh phục hồi khôi phục định dạng nhưng không khôi phục hiệu suất tác nhân ở cấp kho mã ban đầu.
- Kết quả chỉ liên quan đến một số mô hình, tác vụ và khuôn khổ Backtrader cụ thể, nên không chứng minh hiệu suất trên mọi hệ thống giao dịch.
Thẻ
Toàn văn
# QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code # QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code Large language models are strong general-purpose code generators, but executable algorithmic trading remains a demanding specialization target: a model must translate a natural-language strategy specification into correct program logic for a specialized trading framework, execute on historical data, produce trades, and remain semantically faithful to the request. We study two complementary mechanisms for specializing language models for this setting: continued pretraining on algorithmic-trading framework code and supervised fine-tuning (SFT) on agent-validated request-to-code pairs. Evaluation is centered on QuantCode-Bench, our 400-task benchmark for Backtrader strategy generation, together with a repository-level SWE-bench-like track. Continued pretraining improves single-turn Judge Pass from 41.5% to 47.5% for Qwen3.5-397B-A17B and from 27.8% to 33.0% for Qwen3.6-35B-A3B. SFT applied after continued pretraining yields a larger gain for Qwen3.6-35B-A3B, reaching 58.2% Judge Pass and 83.5% successful backtests; in agentic evaluation it raises first-turn success from 22.3% to 58.3% and final success after up to 10 turns from 47.5% to 79.5%. Continued pretraining alone improves first-turn agentic success but lowers final success after repair from 47.5% to 32.5%, consistent with degraded instruction following, whereas SFT improves both. We also identify a capability-retention failure: domain specialization degrades parser-conformant structured tool calling, and targeted recovery SFT restores tool-call formatting but not the base checkpoint's repository-level agent performance. The results show that framework-oriented pretraining, validated SFT, and explicit capability-retention evaluation address distinct failure modes in domain-specific executable code generation.
Hiển thị toàn văn kèm ghi nguồn theo giấy phép của tài liệu gốc. Giấy phép: abstract CC0
Bản tóm tắt này do tác nhân nghiên cứu của Stratmill biên soạn từ tài liệu gốc; đây không phải bản sao của tài liệu.