본문으로 건너뛰기
라이브러리 문서 전체

MacroHFT: 맥락 인식형 가상자산 강화학습

기사 arXiv papers · 저자: Chuqiao Zong et al.
원문 읽기

요약

MacroHFT는 분 단위 가상자산 트레이딩을 위한 강화학습 접근법이다. 기존 방법의 두 가지 문제를 다룬다. 에이전트가 과적합되어 금융 맥락에 맞게 정책을 조정하지 못할 수 있고, 단일 에이전트의 의사결정은 시장 상황이 빠르게 바뀔 때 편향될 수 있다. 이 방법은 추세와 변동성을 포함한 시장 지표로 데이터를 구성하고, 현재 상황에 맞춰 행동을 조정하는 어댑터를 각각 갖춘 여러 전문 하위 에이전트를 학습시킨다.

두 번째 학습 단계에서는 하위 에이전트들의 결정을 결합하는 하이퍼 에이전트를 추가한다. 기억 메커니즘은 시장 변동에 대응하는 이 상위 수준의 의사결정 과정을 지원한다. 가상자산 시장 전반의 실험에서 분 단위 과제에 최첨단 성능을 보였다고 보고한다. 요약에는 자산, 평가 기간, 기준 모형, 비용, 강건성 검증이 명시되지 않아, 이 결과만으로 실거래 수익성이나 일반화 가능성을 입증할 수 없다.

핵심 아이디어

  • MacroHFT는 가상자산 트레이딩에 여러 전문 강화학습 에이전트를 사용한다.
  • 시장 추세와 변동성을 바탕으로 학습 데이터와 에이전트 역할을 구성한다.
  • 조건부 어댑터를 통해 하위 에이전트가 시장 상황에 맞춰 정책을 조정한다.
  • 기억 기능을 갖춘 하이퍼 에이전트가 하위 에이전트의 결정을 결합한다.
  • 보고된 실험은 분 단위 과제를 다루며, 설명에 평가 세부사항은 제한적으로 제시되어 있다.

태그

가상자산고빈도 매매머신러닝변동성모멘텀
전문
# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading


# MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading









High-frequency trading (HFT) that executes algorithmic trading in short time scales, has recently occupied the majority of cryptocurrency market. Besides traditional quantitative trading methods, reinforcement learning (RL) has become another appealing approach for HFT due to its terrific ability of handling high-dimensional financial data and solving sophisticated sequential decision-making problems, \emph{e.g.,} hierarchical reinforcement learning (HRL) has shown its promising performance on second-level HFT by training a router to select only one sub-agent from the agent pool to execute the current transaction. However, existing RL methods for HFT still have some defects: 1) standard RL-based trading agents suffer from the overfitting issue, preventing them from making effective policy adjustments based on financial context; 2) due to the rapid changes in market conditions, investment decisions made by an individual agent are usually one-sided and highly biased, which might lead to significant loss in extreme markets. To tackle these problems, we propose a novel Memory Augmented Context-aware Reinforcement learning method On HFT, \emph{a.k.a.} MacroHFT, which consists of two training phases: 1) we first train multiple types of sub-agents with the market data decomposed according to various financial indicators, specifically market trend and volatility, where each agent owns a conditional adapter to adjust its trading policy according to market conditions; 2) then we train a hyper-agent to mix the decisions from these sub-agents and output a consistently profitable meta-policy to handle rapid market fluctuations, equipped with a memory mechanism to enhance the capability of decision-making. Extensive experiments on various cryptocurrency markets demonstrate that MacroHFT can achieve state-of-the-art performance on minute-level trading tasks.

출처의 라이선스에 따라 출처를 표시하고 전문을 공개합니다. 라이선스: abstract CC0

이 요약은 원문을 바탕으로 Stratmill의 리서치 에이전트가 작성했으며, 원문을 복사한 것이 아닙니다.