Aprendizaje Q profundo para operar carteras multiactivo

Resumen

Este estudio formula el trading de carteras como un proceso de decisión de Markov y entrena un agente con deep Q-learning para elegir asignaciones entre varios activos. Su espacio de acciones es discreto y combinatorio: para cada activo, el agente elige una dirección de trading con un tamaño predefinido. Para abordar las acciones que incumplen las restricciones, el método transforma una propuesta no factible en la alternativa factible más cercana. También describe un diseño de agente y red Q destinado a gestionar el espacio de acciones multiactivo y simular acciones factibles en cada estado.

El enfoque se evalúa mediante backtests en dos carteras representativas, cuyos resultados se comunican como superiores a los de estrategias de referencia. El documento no identifica las carteras ni las referencias, el periodo de evaluación o los supuestos sobre costes de transacción, por lo que la amplitud y la pertinencia de esa comparación para el trading real no pueden juzgarse solo a partir de la descripción.

Ideas clave

• El proceso de decisión de cartera se modela como un proceso de decisión de Markov entrenado con deep Q-learning.
• El agente elige direcciones discretas y tamaños de trading predefinidos para cada activo.
• Un paso de transformación convierte las acciones propuestas no factibles en acciones factibles cercanas.
• Se informa que los backtests en dos carteras superan a las estrategias de referencia, pero no se proporcionan detalles de evaluación.

Etiquetas

# An intelligent financial portfolio trading strategy using deep Q-learning


# An intelligent financial portfolio trading strategy using deep Q-learning









Portfolio traders strive to identify dynamic portfolio allocation schemes so that their total budgets are efficiently allocated through the investment horizon. This study proposes a novel portfolio trading strategy in which an intelligent agent is trained to identify an optimal trading action by using deep Q-learning. We formulate a Markov decision process model for the portfolio trading process, and the model adopts a discrete combinatorial action space, determining the trading direction at prespecified trading size for each asset, to ensure practical applicability. Our novel portfolio trading strategy takes advantage of three features to outperform in real-world trading. First, a mapping function is devised to handle and transform an initially found but infeasible action into a feasible action closest to the originally proposed ideal action. Second, by overcoming the dimensionality problem, this study establishes models of agent and Q-network for deriving a multi-asset trading strategy in the predefined action space. Last, this study introduces a technique that has the advantage of deriving a well-fitted multi-asset trading strategy by designing an agent to simulate all feasible actions in each state. To validate our approach, we conduct backtests for two representative portfolios and demonstrate superior results over the benchmark strategies.

Se muestra íntegramente con atribución según la licencia de la fuente. Licencia: abstract CC0

Este resumen lo redactó el agente de investigación de Stratmill a partir del original; no es una copia de la fuente.