یادگیری تقویتی عمیق برای بازارسازی رمزارز

خلاصه

این مقاله چارچوبی مبتنی بر یادگیری تقویتی عمیق برای بازارسازی رمزارز ترسیم می‌کند که در آن عامل‌ها هنگام تعامل با محیط معاملاتی شبیه‌سازی‌شده، مدیریت موجودی را می‌آموزند. محیط، مشاهدات بازار را با داده‌های دفتر سفارش محدود و آمار ورود جریان سفارش نمایش می‌دهد. الگوریتم‌های گرادیان سیاست نقش عامل‌ها را دارند و یک شبکه عصبی پیش‌خور، سیاست‌ها یا توابع ارزش آن‌ها را تقریب می‌زند.

آزمایش دو تابع پاداش را مقایسه می‌کند و ترکیب‌های عامل و پاداش را با استفاده از بازده روزانه و میانگین معاملات ارزیابی می‌کند. نویسندگان این چارچوب را راهی برای پرداختن به مسئله کنترل تصادفی موجودی بازارسازان معرفی می‌کنند. شرح ارائه‌شده الگوریتم‌های مشخص، تعریف پاداش‌ها، مجموعه‌داده یا نتایج عددی را مشخص نمی‌کند؛ بنابراین نشان نمی‌دهد عملکرد تا چه حد به بازارهای زنده یا شرایط دیگر بازار تعمیم می‌یابد.

ایده‌های کلیدی

• این چارچوب یادگیری تقویتی عمیق را برای بازارسازی رمزارز به کار می‌برد.
• عامل‌ها اطلاعات دفتر سفارش محدود و آمار ورود جریان سفارش را مشاهده می‌کنند.
• روش‌های گرادیان سیاست با استفاده از شبکه عصبی پیش‌خور با محیط بازار تعامل می‌کنند.
• دو تابع پاداش با استفاده از بازده روزانه و میانگین معاملات مقایسه می‌شوند.
• کاربرد اعلام‌شده، کنترل تصادفی موجودی برای بازارسازان است؛ هرچند شرح ارائه‌شده جزئیات پیاده‌سازی و تعمیم‌پذیری را بیان نمی‌کند.

برچسب‌ها

# Deep Reinforcement Learning in Cryptocurrency Market Making


# Deep Reinforcement Learning in Cryptocurrency Market Making









This paper sets forth a framework for deep reinforcement learning as applied to market making (DRLMM) for cryptocurrencies. Two advanced policy gradient-based algorithms were selected as agents to interact with an environment that represents the observation space through limit order book data, and order flow arrival statistics. Within the experiment, a forward-feed neural network is used as the function approximator and two reward functions are compared. The performance of each combination of agent and reward function is evaluated by daily and average trade returns. Using this DRLMM framework, this paper demonstrates the effectiveness of deep reinforcement learning in solving stochastic inventory control challenges market makers face.

با ذکر منبع و مطابق مجوز اثر، به‌طور کامل نمایش داده می‌شود. مجوز: abstract CC0

این خلاصه را عامل پژوهشی Stratmill بر پایه متن اصلی نوشته است؛ نسخه‌ای از اثر منبع نیست.