Mélange d’experts pour l’exécution crypto : stabilité et risque extrême

Résumé

Cette étude compare le Double Deep Q-Learning aux mélanges d’experts partitionnés par K-means et aux réseaux denses à nombre de paramètres équivalent pour l’exécution d’ordres sur BTC/USDT. L’évaluation utilise des données du carnet d’ordres à cours limité de Binance agrégées en moyennes sur cinq minutes et porte sur le déficit d’exécution, la variation selon la graine d’entraînement, l’effondrement de la politique et le risque extrême au sein de la politique. Les résultats sont comparés au prix moyen pondéré dans le temps et aux références de liquidation immédiate dans un environnement de rejeu où la liquidation anticipée est presque sans coût en raison de la conception indiquée des récompenses et des pénalités.

Aucune configuration apprise n’améliore significativement le déficit moyen par rapport à l’apprenant de référence, et chacune affiche un déficit moyen supérieur à celui des deux références simples dans cette spécification. Les analyses avec graines répétées et par ablation associent la prévention des effondrements à une exploration décroissante, plutôt qu’à un avantage intrinsèque du mélange d’experts ; combiner des changements d’exploration et de récompense peut faire réapparaître les effondrements. La configuration comportant le plus d’experts présente la plus faible dispersion entre graines, mais ce résultat ne résiste pas à la correction pour comparaisons multiples, tandis que le risque extrême au sein de la politique augmente avec le nombre d’experts. Ces résultats sont propres à l’environnement et aux spécifications testés, et l’évolution de l’attribution selon le nombre de graines souligne l’incertitude de l’évaluation.

Idées clés

• Les configurations de mélange d’experts testées ne réduisent pas significativement le déficit moyen par rapport au Double Deep Q-Learning classique.
• Dans l’environnement de rejeu spécifié, le prix moyen pondéré dans le temps et la liquidation immédiate affichent un déficit moyen inférieur à celui des configurations apprises.
• L’exploration décroissante supprime les effondrements de politique observés sans nécessiter de partitionnement en experts.
• La dispersion entre graines et le risque extrême au sein de la politique évoluent différemment lorsque le nombre d’experts augmente.
• L’attribution des modes d’échec peut varier selon le nombre de graines d’entraînement ; l’évaluation avec graines répétées est donc importante.

Étiquettes

# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes


# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes









Deep reinforcement-learning policies for order execution can vary substantially across training seeds, so apparent architectural gains may reflect favourable training realisations rather than reproducible properties of the architecture. We evaluate vanilla Double Deep Q-Learning (DDQL), K-means-partitioned mixtures of DDQL experts at $K \in \{2, 4, 8\}$, and dense networks parameter-matched to the $K{=}4$ and $K{=}8$ expert budgets on 5-minute mean-aggregated BTC/USDT limit order book data from Binance. No learned configuration significantly improves mean implementation shortfall over DDQL. Under the reported specification, all have higher mean shortfall than TWAP (0.39 bps) and immediate liquidation (0.21 bps) in an environment whose frictionless replay and terminal-urgency penalty make early liquidation nearly costless; 11/100 vanilla-DDQL runs, versus none in either MoE $K{\geq}4$ arm, converge to a policy that waits until forced liquidation. We then decompose this specification on a device-matched baseline. Annealed exploration alone eliminates observed collapses (12/100 to 0/100; exact McNemar $p{=}4.9{\times}10^{-4}$), matching the elimination under expert partitioning. Combining annealed exploration with the aligned reward restores collapse in 19/30 runs; with all three specification changes, it rises to 48/100. In this environment, expert partitioning is unnecessary to suppress collapse and appears to mask a training-specification failure rather than confer an intrinsic performance benefit. No MoE $K{=}8$ run collapses under any of the six specifications tested. Across-seed dispersion is lowest at $K{=}8$ but non-monotone and not robust to family-wise adjustment, while within-policy tail risk worsens monotonically with $K$. The apparent attribution of the failure mode reverses between 30 and 100 seeds, illustrating the importance of repeated-seed evaluation.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: abstract CC0

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.