Как опыт пузырей меняет трейдеров с обучением с подкреплением

Сводка

В исследовании выясняется, меняют ли трейдеры с обучением с подкреплением свои стратегии после опыта торговли в периоды пузырей на рынках активов и влияет ли такое обучение на последующие пузыри. Исследователи обучают агентов в мультиагентной рыночной симуляции ABIDES и сравнивают трейдеров, обученных на опыте пузырей, с трейдерами без такого опыта. Согласно описанию, агенты без опыта пузырей ведут себя как краткосрочные трейдеры на импульсе, тогда как агенты, наблюдавшие пузыри, больше напоминают стоимостных трейдеров.

В симуляции неопытные агенты усиливают пузыри, тогда как опытные обычно сдерживают их, а иногда предотвращают. Авторы трактуют это как возможный механизм бума и спада: память о крахе пузыря может на некоторое время снизить вероятность новых пузырей, а затем вероятность снова растет по мере угасания этого опыта. Эти результаты получены на симулируемом рынке с обученными агентами, поэтому они не показывают, как вели бы себя люди-трейдеры или реальные рынки. В кратком описании также нет сведений о параметрах симуляции, проверках устойчивости или длительности эффекта памяти.

Ключевые идеи

• Исследование сравнивает трейдеров с обучением с подкреплением, обученных с опытом пузырей и без него, в ABIDES.
• Согласно описанию, трейдеры без опыта торговли в периоды пузырей торгуют по краткосрочному импульсу.
• Трейдеры с опытом пузырей ведут себя скорее как стоимостные трейдеры.
• В симуляции неопытные агенты усиливают пузыри, а опытные обычно сдерживают их.
• Авторы предполагают, что по мере угасания памяти о крахе риск пузырей может со временем вернуться.

Теги

# Once Burned, Twice Shy? The Effect of Stock Market Bubbles on Traders that Learn by Experience


# Once Burned, Twice Shy? The Effect of Stock Market Bubbles on Traders that Learn by Experience









We study how experience with asset price bubbles changes the trading strategies of reinforcement learning (RL) traders and ask whether the change in trading strategies helps to prevent future bubbles. We train the RL traders in a multi-agent market simulation platform, ABIDES, and compare the strategies of traders trained with and without bubble experience. We find that RL traders without bubble experience behave like short-term momentum traders, whereas traders with bubble experience behave like value traders. Therefore, RL traders without bubble experience amplify bubbles, whereas RL traders with bubble experience tend to suppress and sometimes prevent them. This finding suggests that learning from experience is a mechanism for a boom and bust cycle where the experience of a collapsing bubble makes future bubbles less likely for a period of time until the memory fades and bubbles become more likely to form again.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.