Многоагентное обучение с подкреплением для справедливого исполнения заявок на акции

Сводка

В работе рассматривается, как торговому отделу исполнять заявки нескольких клиентов, желающих купить или продать одни и те же активы, если различаются объёмы заявок, горизонты и отношение к риску. Раннее исполнение заявок может сдвигать цены, поэтому максимизация общей выручки от торговли способна поставить в невыгодное положение клиентов, чьи заявки исполняются позже. Предлагаемая модель использует многоагентное обучение с подкреплением для выработки индивидуальных стратегий клиентов при балансировании результатов группы.

Обобщённый индекс Джини объединяет выручку клиентов и позволяет учитывать цель справедливого распределения наряду с оптимизацией выручки. Авторы приводят эмпирические данные о том, что подход повышает справедливость, сохраняя оптимизацию выручки, и утверждают, что обучение с подкреплением позволяет адаптировать стратегии к меняющимся рыночным условиям. В предоставленном описании нет данных, экспериментальной схемы, численных результатов или подробностей сравнения, поэтому по одному этому тексту нельзя оценить силу и обобщаемость эмпирического вывода.

Ключевые идеи

• При исполнении клиентских заявок может возникнуть конфликт между максимизацией общей выручки и справедливым отношением к клиентам.
• Ранние заявки могут влиять на цены и повышать издержки исполнения более поздних заявок.
• Модель использует многоагентное обучение с подкреплением для выработки индивидуальных стратегий исполнения заявок клиентов.
• Обобщённый индекс Джини учитывает справедливость распределения при объединении выручки.
• В документе заявлено повышение справедливости при сохранении оптимизации выручки, однако для оценки доказательств приведено мало подробностей.

Теги

# Fairness in Multi-agent Reinforcement Learning for Stock Trading


# Fairness in Multi-agent Reinforcement Learning for Stock Trading









Unfair stock trading strategies have been shown to be one of the most negative perceptions that customers can have concerning trading and may result in long-term losses for a company. Investment banks usually place trading orders for multiple clients with the same target assets but different order sizes and diverse requirements such as time frame and risk aversion level, thereby total earning and individual earning cannot be optimized at the same time. Orders executed earlier would affect the market price level, so late execution usually means additional implementation cost. In this paper, we propose a novel scheme that utilizes multi-agent reinforcement learning systems to derive stock trading strategies for all clients which keep a balance between revenue and fairness. First, we demonstrate that Reinforcement learning (RL) is able to learn from experience and adapt the trading strategies to the complex market environment. Secondly, we show that the Multi-agent RL system allows developing trading strategies for all clients individually, thus optimizing individual revenue. Thirdly, we use the Generalized Gini Index (GGI) aggregation function to control the fairness level of the revenue across all clients. Lastly, we empirically demonstrate the superiority of the novel scheme in improving fairness meanwhile maintaining optimization of revenue.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.