Глубокое обучение с подкреплением для управления криптовалютным портфелем

Сводка

В статье представлен не основанный на модели подход к обучению с подкреплением для перераспределения портфеля между финансовыми активами. Он включает ансамбль независимых оценщиков, память о предыдущих весах портфеля, онлайн-обучение на стохастических пакетах данных и явную функцию вознаграждения. Подход реализован с помощью сверточных, рекуррентных нейросетей и сетей с долгой краткосрочной памятью.

В описанной оценке использованы три бэктеста на данных по криптовалютам с периодами торговли по 30 минут. Авторы сравнивают модели с другими стратегиями выбора портфеля и сообщают, что их три реализации занимают первые три места во всех экспериментах, несмотря на комиссии в размере 0.25%, а доходность за 50 дней как минимум в четыре раза выше. Это результаты бэктестов на исторических данных, а не свидетельство будущей эффективности. Во фрагменте не указаны активы, разделение данных, меры риска или проверки устойчивости, поэтому сведений для оценки переобучения и возможности торговли на реальном счете мало.

Ключевые идеи

• Подход обучается перераспределять портфель без явной финансовой модели рынка.
• Он сочетает независимых оценщиков активов с памятью о предыдущих весах портфеля.
• Ключевые элементы метода — онлайн-обучение на стохастических пакетах данных и явная функция вознаграждения.
• Авторы тестируют реализации CNN, RNN и LSTM в бэктестах на криптовалютных данных.
• Рейтинги и доходность в бэктестах не доказывают эффективность на реальном рынке.

Теги

# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem


# A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem









Financial portfolio management is the process of constant redistribution of a fund into different financial products. This paper presents a financial-model-free Reinforcement Learning framework to provide a deep machine learning solution to the portfolio management problem. The framework consists of the Ensemble of Identical Independent Evaluators (EIIE) topology, a Portfolio-Vector Memory (PVM), an Online Stochastic Batch Learning (OSBL) scheme, and a fully exploiting and explicit reward function. This framework is realized in three instants in this work with a Convolutional Neural Network (CNN), a basic Recurrent Neural Network (RNN), and a Long Short-Term Memory (LSTM). They are, along with a number of recently reviewed or published portfolio-selection strategies, examined in three back-test experiments with a trading period of 30 minutes in a cryptocurrency market. Cryptocurrencies are electronic and decentralized alternatives to government-issued money, with Bitcoin as the best-known example of a cryptocurrency. All three instances of the framework monopolize the top three positions in all experiments, outdistancing other compared trading algorithms. Although with a high commission rate of 0.25% in the backtests, the framework is able to achieve at least 4-fold returns in 50 days.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.