Học tăng cường sâu cho hoạt động tạo lập thị trường tiền mã hóa

Tóm tắt

Bài báo phác thảo một khung học tăng cường sâu cho hoạt động tạo lập thị trường tiền mã hóa, trong đó các tác nhân học cách quản lý tồn kho khi tương tác với môi trường giao dịch mô phỏng. Môi trường biểu diễn quan sát thị trường bằng dữ liệu sổ lệnh giới hạn và thống kê thời điểm dòng lệnh đến. Các thuật toán gradient chính sách đóng vai trò tác nhân, còn mạng nơ-ron truyền thẳng xấp xỉ chính sách hoặc hàm giá trị của chúng.

Thử nghiệm so sánh hai hàm thưởng và đánh giá các tổ hợp tác nhân-hàm thưởng bằng lợi suất giao dịch hằng ngày và trung bình. Các tác giả trình bày khung này như một cách xử lý bài toán kiểm soát tồn kho ngẫu nhiên mà nhà tạo lập thị trường phải đối mặt. Mô tả được cung cấp không nêu thuật toán cụ thể, định nghĩa hàm thưởng, bộ dữ liệu hay kết quả số, nên chưa xác định được hiệu suất sẽ chuyển sang thị trường thực hoặc các điều kiện thị trường khác như thế nào.

Ý chính

• Khung này áp dụng học tăng cường sâu cho hoạt động tạo lập thị trường tiền mã hóa.
• Các tác nhân quan sát thông tin sổ lệnh (limit order book) và thống kê thời điểm dòng lệnh đến.
• Phương pháp gradient chính sách tương tác với môi trường thị trường bằng mạng nơ-ron truyền thẳng.
• Hai hàm thưởng được so sánh bằng lợi suất giao dịch hằng ngày và trung bình.
• Ứng dụng được nêu là kiểm soát tồn kho ngẫu nhiên cho nhà tạo lập thị trường, dù mô tả được cung cấp thiếu chi tiết về triển khai và khả năng chuyển giao.

Thẻ

# Deep Reinforcement Learning in Cryptocurrency Market Making


# Deep Reinforcement Learning in Cryptocurrency Market Making









This paper sets forth a framework for deep reinforcement learning as applied to market making (DRLMM) for cryptocurrencies. Two advanced policy gradient-based algorithms were selected as agents to interact with an environment that represents the observation space through limit order book data, and order flow arrival statistics. Within the experiment, a forward-feed neural network is used as the function approximator and two reward functions are compared. The performance of each combination of agent and reward function is evaluated by daily and average trade returns. Using this DRLMM framework, this paper demonstrates the effectiveness of deep reinforcement learning in solving stochastic inventory control challenges market makers face.

Hiển thị toàn văn kèm ghi nguồn theo giấy phép của tài liệu gốc. Giấy phép: abstract CC0

Bản tóm tắt này do tác nhân nghiên cứu của Stratmill biên soạn từ tài liệu gốc; đây không phải bản sao của tài liệu.