Spécialiser les modèles de langage pour produire du code de trading algorithmique exécutable
Résumé
L’étude évalue différentes façons d’adapter des modèles de langage généraux afin de générer des stratégies exécutables pour le cadre Backtrader. L’approche combine un préentraînement continu sur le code du cadre avec un réglage fin supervisé sur des exemples de demandes converties en code et validés par des agents. L’évaluation utilise un benchmark de génération de stratégies de 400 tâches et un volet au niveau des dépôts, mesurant la justesse évaluée, les backtests réussis et les performances des agents au fil des tentatives de correction.
Idées clés
- Le préentraînement continu sur le code du cadre de trading améliore les performances évaluées sur un seul tour pour les modèles testés.
- Après le préentraînement continu, le réglage fin supervisé produit des gains plus importants pour un modèle, notamment des taux de réussite supérieurs au backtest et pour les agents.
- Le préentraînement continu seul peut améliorer la réussite des agents IA au premier tour, tout en réduisant leur réussite après correction, ce qui suggère un suivi des instructions moins efficace.
- La spécialisation du domaine peut dégrader le formatage des appels d’outils structurés ; un affinement destiné à rétablir ce formatage y parvient sans restaurer les performances de base des agents au niveau des dépôts.
- Les résultats concernent certains modèles, certaines tâches et le cadre Backtrader ; ils n’établissent pas les performances sur l’ensemble des systèmes de trading.
Étiquettes
Texte intégral
# QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code # QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code Large language models are strong general-purpose code generators, but executable algorithmic trading remains a demanding specialization target: a model must translate a natural-language strategy specification into correct program logic for a specialized trading framework, execute on historical data, produce trades, and remain semantically faithful to the request. We study two complementary mechanisms for specializing language models for this setting: continued pretraining on algorithmic-trading framework code and supervised fine-tuning (SFT) on agent-validated request-to-code pairs. Evaluation is centered on QuantCode-Bench, our 400-task benchmark for Backtrader strategy generation, together with a repository-level SWE-bench-like track. Continued pretraining improves single-turn Judge Pass from 41.5% to 47.5% for Qwen3.5-397B-A17B and from 27.8% to 33.0% for Qwen3.6-35B-A3B. SFT applied after continued pretraining yields a larger gain for Qwen3.6-35B-A3B, reaching 58.2% Judge Pass and 83.5% successful backtests; in agentic evaluation it raises first-turn success from 22.3% to 58.3% and final success after up to 10 turns from 47.5% to 79.5%. Continued pretraining alone improves first-turn agentic success but lowers final success after repair from 47.5% to 32.5%, consistent with degraded instruction following, whereas SFT improves both. We also identify a capability-retention failure: domain specialization degrades parser-conformant structured tool calling, and targeted recovery SFT restores tool-call formatting but not the base checkpoint's repository-level agent performance. The results show that framework-oriented pretraining, validated SFT, and explicit capability-retention evaluation address distinct failure modes in domain-specific executable code generation.
Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0
Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.