Aprendizado por reforço multiagente com foco em equidade para execução de ações

Resumo

O artigo analisa como uma mesa de trading deve executar ordens de vários clientes interessados nos mesmos ativos, mas com tamanhos de ordem, horizontes e preferências de risco diferentes. Execuções anteriores podem mover os preços, então maximizar a receita total do trading pode prejudicar os clientes cujas ordens são executadas depois. A estrutura proposta usa aprendizado por reforço multiagente para desenvolver estratégias para cada cliente e equilibrar os resultados entre o grupo.

Um Índice de Gini Generalizado agrega as receitas dos clientes e permite controlar o objetivo de equidade junto com a otimização da receita. Os autores relatam evidências empíricas de que a abordagem melhora a equidade mantendo a otimização da receita e argumentam que o aprendizado por reforço pode adaptar estratégias às mudanças nas condições de mercado. A descrição fornecida não informa conjunto de dados, configuração experimental, resultados numéricos ou detalhes das comparações; portanto, não é possível avaliar apenas com esse texto a força e a abrangência da afirmação empírica.

Ideias principais

• A execução de ordens de clientes pode gerar conflito entre maximizar a receita total e tratar os clientes com equidade.
• Ordens executadas antes podem afetar os preços e elevar os custos de implementação das execuções posteriores.
• A estrutura usa aprendizado por reforço multiagente para aprender estratégias de execução específicas para cada cliente.
• Um Índice de Gini Generalizado incorpora a equidade distributiva à agregação das receitas.
• O documento afirma que há melhora na equidade mantendo a otimização da receita, mas fornece poucos detalhes para avaliar as evidências.

Tags

# Fairness in Multi-agent Reinforcement Learning for Stock Trading


# Fairness in Multi-agent Reinforcement Learning for Stock Trading









Unfair stock trading strategies have been shown to be one of the most negative perceptions that customers can have concerning trading and may result in long-term losses for a company. Investment banks usually place trading orders for multiple clients with the same target assets but different order sizes and diverse requirements such as time frame and risk aversion level, thereby total earning and individual earning cannot be optimized at the same time. Orders executed earlier would affect the market price level, so late execution usually means additional implementation cost. In this paper, we propose a novel scheme that utilizes multi-agent reinforcement learning systems to derive stock trading strategies for all clients which keep a balance between revenue and fairness. First, we demonstrate that Reinforcement learning (RL) is able to learn from experience and adapt the trading strategies to the complex market environment. Secondly, we show that the Multi-agent RL system allows developing trading strategies for all clients individually, thus optimizing individual revenue. Thirdly, we use the Generalized Gini Index (GGI) aggregation function to control the fairness level of the revenue across all clients. Lastly, we empirically demonstrate the superiority of the novel scheme in improving fairness meanwhile maintaining optimization of revenue.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.