Modelos de especialistas na execução cripto: estabilidade e risco de cauda

Resumo

Este estudo compara Double Deep Q-Learning com misturas de especialistas particionadas por K-means e redes densas com número equivalente de parâmetros para execução de ordens de BTC/USDT. A avaliação usa dados do livro de ofertas limite da Binance agregados pela média em intervalos de cinco minutos e se concentra no déficit de implementação, na variação entre sementes de treinamento, no colapso da política e no risco de cauda dentro da política. Os resultados são comparados com os benchmarks de preço médio ponderado pelo tempo e liquidação imediata em um ambiente de reprodução no qual a liquidação antecipada tem custo quase nulo devido ao desenho declarado da recompensa e da penalidade.

Nenhuma configuração aprendida melhora significativamente o déficit médio em relação ao aprendiz de referência, e todas apresentam déficit médio maior que os dois benchmarks simples nesta especificação. As análises com sementes repetidas e de ablação associam a prevenção de colapsos à exploração com decaimento gradual, e não a um benefício intrínseco das misturas de especialistas; combinar mudanças na exploração e na recompensa pode fazer o colapso voltar. A configuração com mais especialistas apresenta a menor dispersão entre sementes, mas esse resultado não é robusto ao ajuste por comparações múltiplas, enquanto o risco de cauda dentro da política piora à medida que aumenta o número de especialistas. Essas conclusões são específicas ao ambiente e às especificações testados, e a mudança na atribuição conforme o número de sementes destaca a incerteza da avaliação.

Ideias principais

• As configurações de mistura de especialistas testadas não reduzem significativamente o déficit médio em comparação com o Double Deep Q-Learning padrão.
• No ambiente de reprodução especificado, o preço médio ponderado pelo tempo e a liquidação imediata superam as configurações aprendidas em déficit médio.
• A exploração com decaimento gradual suprime os colapsos de política observados sem exigir a partição em especialistas.
• A dispersão entre sementes e o risco de cauda dentro da política variam de formas diferentes conforme aumenta o número de especialistas.
• A atribuição dos modos de falha pode mudar conforme o número de sementes de treinamento, por isso a avaliação com sementes repetidas é importante.

Tags

# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes


# Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes









Deep reinforcement-learning policies for order execution can vary substantially across training seeds, so apparent architectural gains may reflect favourable training realisations rather than reproducible properties of the architecture. We evaluate vanilla Double Deep Q-Learning (DDQL), K-means-partitioned mixtures of DDQL experts at $K \in \{2, 4, 8\}$, and dense networks parameter-matched to the $K{=}4$ and $K{=}8$ expert budgets on 5-minute mean-aggregated BTC/USDT limit order book data from Binance. No learned configuration significantly improves mean implementation shortfall over DDQL. Under the reported specification, all have higher mean shortfall than TWAP (0.39 bps) and immediate liquidation (0.21 bps) in an environment whose frictionless replay and terminal-urgency penalty make early liquidation nearly costless; 11/100 vanilla-DDQL runs, versus none in either MoE $K{\geq}4$ arm, converge to a policy that waits until forced liquidation. We then decompose this specification on a device-matched baseline. Annealed exploration alone eliminates observed collapses (12/100 to 0/100; exact McNemar $p{=}4.9{\times}10^{-4}$), matching the elimination under expert partitioning. Combining annealed exploration with the aligned reward restores collapse in 19/30 runs; with all three specification changes, it rises to 48/100. In this environment, expert partitioning is unnecessary to suppress collapse and appears to mask a training-specification failure rather than confer an intrinsic performance benefit. No MoE $K{=}8$ run collapses under any of the six specifications tested. Across-seed dispersion is lowest at $K{=}8$ but non-monotone and not robust to family-wise adjustment, while within-policy tail risk worsens monotonically with $K$. The apparent attribution of the failure mode reverses between 30 and 100 seeds, illustrating the importance of repeated-seed evaluation.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.