Mixture-of-Experts für Krypto-Orderausführung: Stabilität und Tail-Risiko

Zusammenfassung

Diese Studie vergleicht Double Deep Q-Learning mit durch K-means partitionierten Mixture-of-Experts-Modellen und dichten Netzen mit entsprechender Parameterzahl für die Orderausführung von BTC/USDT. Die Evaluation verwendet über fünf Minuten gemittelte Binance-Limit-Orderbuchdaten und konzentriert sich auf Implementation Shortfall, Variation zwischen Trainings-Seeds, Policy-Kollaps und Tail-Risiko innerhalb einer Policy. Die Ergebnisse werden mit zeitgewichteten Durchschnittspreisen und Benchmarks für sofortige Liquidation in einer Replay-Umgebung verglichen, in der eine frühe Liquidation aufgrund des angegebenen Belohnungs- und Strafdesigns nahezu kostenlos ist.

Keine gelernte Konfiguration verbessert den durchschnittlichen Shortfall gegenüber dem Baseline-Lernverfahren signifikant; bei jeder ist der durchschnittliche Shortfall in dieser Spezifikation höher als bei beiden einfachen Benchmarks. Analysen mit wiederholten Seeds und Ablationen bringen die Verhinderung von Kollaps mit annealierter Exploration und nicht mit einem inhärenten Vorteil von Mixture-of-Experts in Verbindung. Werden Exploration und Belohnung gemeinsam verändert, kann der Kollaps zurückkehren. Die größte Expertenkonfiguration weist die geringste Streuung über Seeds auf, doch ist dieser Befund gegenüber einer Korrektur für multiple Vergleiche nicht robust; zugleich verschlechtert sich das Tail-Risiko innerhalb einer Policy mit steigender Expertenzahl. Diese Ergebnisse gelten speziell für die getestete Umgebung und Spezifikationen. Die wechselnde Zuordnung bei unterschiedlicher Zahl von Seeds verdeutlicht die Unsicherheit der Evaluation.

Kernaussagen

• Die getesteten Mixture-of-Experts-Konfigurationen senken den durchschnittlichen Shortfall gegenüber einfachem Double Deep Q-Learning nicht signifikant.
• In der spezifizierten Replay-Umgebung schneiden zeitgewichteter Durchschnittspreis und sofortige Liquidation beim durchschnittlichen Shortfall besser ab als die gelernten Konfigurationen.
• Annealierte Exploration unterdrückt die beobachteten Policy-Kollapse, ohne eine Partitionierung in Experten zu erfordern.
• Die Streuung über Seeds und das Tail-Risiko innerhalb einer Policy entwickeln sich mit steigender Expertenzahl unterschiedlich.
• Die Zuordnung von Fehlerursachen kann sich mit der Anzahl der Trainings-Seeds ändern; deshalb sind Evaluationen mit wiederholten Seeds wichtig.

Schlagwörter

# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes


# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes









Deep reinforcement-learning policies for order execution can vary substantially across training seeds, so apparent architectural gains may reflect favourable training realisations rather than reproducible properties of the architecture. We evaluate vanilla Double Deep Q-Learning (DDQL), K-means-partitioned mixtures of DDQL experts at $K \in \{2, 4, 8\}$, and dense networks parameter-matched to the $K{=}4$ and $K{=}8$ expert budgets on 5-minute mean-aggregated BTC/USDT limit order book data from Binance. No learned configuration significantly improves mean implementation shortfall over DDQL. Under the reported specification, all have higher mean shortfall than TWAP (0.39 bps) and immediate liquidation (0.21 bps) in an environment whose frictionless replay and terminal-urgency penalty make early liquidation nearly costless; 11/100 vanilla-DDQL runs, versus none in either MoE $K{\geq}4$ arm, converge to a policy that waits until forced liquidation. We then decompose this specification on a device-matched baseline. Annealed exploration alone eliminates observed collapses (12/100 to 0/100; exact McNemar $p{=}4.9{\times}10^{-4}$), matching the elimination under expert partitioning. Combining annealed exploration with the aligned reward restores collapse in 19/30 runs; with all three specification changes, it rises to 48/100. In this environment, expert partitioning is unnecessary to suppress collapse and appears to mask a training-specification failure rather than confer an intrinsic performance benefit. No MoE $K{=}8$ run collapses under any of the six specifications tested. Across-seed dispersion is lowest at $K{=}8$ but non-monotone and not robust to family-wise adjustment, while within-policy tail risk worsens monotonically with $K$. The apparent attribution of the failure mode reverses between 30 and 100 seeds, illustrating the importance of repeated-seed evaluation.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.