Mezcla de expertos para ejecutar órdenes cripto | Stratmill

Resumen

Este estudio compara Double Deep Q-Learning con mezclas de expertos particionadas mediante K-means y redes densas con el mismo número de parámetros para la ejecución de órdenes de BTC/USDT. La evaluación utiliza datos del libro de órdenes límite de Binance agregados en intervalos de cinco minutos y se centra en el déficit de ejecución, la variación entre semillas de entrenamiento, el colapso de políticas y el riesgo de cola dentro de cada política. Los resultados se comparan con referencias de precio medio ponderado por tiempo y liquidación inmediata en un entorno de reproducción donde la liquidación anticipada tiene un coste casi nulo debido al diseño indicado de recompensas y penalizaciones.

Ninguna configuración aprendida mejora significativamente el déficit medio frente al algoritmo de referencia, y todas presentan un déficit medio mayor que las dos referencias simples bajo esta especificación. Los análisis con semillas repetidas y de ablación relacionan la prevención del colapso con la exploración amortiguada, no con un beneficio inherente de la mezcla de expertos; combinar cambios en exploración y recompensas puede provocar de nuevo el colapso. La configuración con más expertos presenta la menor dispersión entre semillas, pero esto no resiste el ajuste por comparaciones múltiples, mientras que el riesgo de cola dentro de cada política empeora al aumentar el número de expertos. Estos hallazgos corresponden al entorno y las especificaciones evaluados, y los cambios en la atribución según el número de semillas destacan la incertidumbre de la evaluación.

Ideas clave

• Las configuraciones de mezcla de expertos evaluadas no reducen significativamente el déficit medio frente a Double Deep Q-Learning estándar.
• En el entorno de reproducción especificado, el precio medio ponderado por tiempo y la liquidación inmediata superan a las configuraciones aprendidas en déficit medio.
• La exploración amortiguada evita los colapsos de política observados sin necesitar una partición de expertos.
• La dispersión entre semillas y el riesgo de cola dentro de cada política evolucionan de forma distinta al aumentar el número de expertos.
• La atribución de los modos de fallo puede cambiar con el número de semillas de entrenamiento, por lo que es importante evaluar con semillas repetidas.

Etiquetas

# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes


# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes









Deep reinforcement-learning policies for order execution can vary substantially across training seeds, so apparent architectural gains may reflect favourable training realisations rather than reproducible properties of the architecture. We evaluate vanilla Double Deep Q-Learning (DDQL), K-means-partitioned mixtures of DDQL experts at $K \in \{2, 4, 8\}$, and dense networks parameter-matched to the $K{=}4$ and $K{=}8$ expert budgets on 5-minute mean-aggregated BTC/USDT limit order book data from Binance. No learned configuration significantly improves mean implementation shortfall over DDQL. Under the reported specification, all have higher mean shortfall than TWAP (0.39 bps) and immediate liquidation (0.21 bps) in an environment whose frictionless replay and terminal-urgency penalty make early liquidation nearly costless; 11/100 vanilla-DDQL runs, versus none in either MoE $K{\geq}4$ arm, converge to a policy that waits until forced liquidation. We then decompose this specification on a device-matched baseline. Annealed exploration alone eliminates observed collapses (12/100 to 0/100; exact McNemar $p{=}4.9{\times}10^{-4}$), matching the elimination under expert partitioning. Combining annealed exploration with the aligned reward restores collapse in 19/30 runs; with all three specification changes, it rises to 48/100. In this environment, expert partitioning is unnecessary to suppress collapse and appears to mask a training-specification failure rather than confer an intrinsic performance benefit. No MoE $K{=}8$ run collapses under any of the six specifications tested. Across-seed dispersion is lowest at $K{=}8$ but non-monotone and not robust to family-wise adjustment, while within-policy tail risk worsens monotonically with $K$. The apparent attribution of the failure mode reverses between 30 and 100 seeds, illustrating the importance of repeated-seed evaluation.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.