コンテンツへスキップ
ライブラリの全資料

外国為替取引の強化学習におけるDQNとPPOの比較

記事 arXiv papers · 著者: Yun-Cheng Tsai et al.
原文を読む

サマリー

この研究は、価格を直接予測するのではなく、一連の意思決定として取引選択を捉え、深層強化学習を外国為替取引に適用します。Sure-Fire統計的アービトラージ方策を3つの行動に適応させ、連続する価格履歴をGramian Angular Field画像に変換します。著者らは、EUR/USD、GBP/USD、AUD/USDの4時間足データを使ってDeep Q LearningとProximal Policy Optimizationを比較しています。

学習には18月から3011月2018までのデータを使い、テスト期間は201812月です。著者らは、複雑でランダムな市場の動きと取引環境を適切に表す状態を捉えられるモデルについて、良好な投資成績を報告しています。提示された説明にはリターン、リスク指標、手数料の前提、モデル設定の詳細がないため、結果の強さや比較可能性は評価できません。証拠は3つの通貨ペアを短い過去データの分割で検証した実現可能性テストであり、どちらのアルゴリズムも別の期間や実運用条件で安定して機能することを立証するものではありません。

主なアイデア

  • 強化学習を用い、外国為替取引を逐次意思決定問題として扱います。
  • 適応した統計的アービトラージ方策の中で、3種類の取引行動を定義します。
  • 価格ウィンドウをGramian Angular Field画像に変換してモデルに入力します。
  • 3つの通貨ペアを対象に、Deep Q LearningとProximal Policy Optimizationを比較します。
  • 短い過去データによる評価では良好な成績が報告されていますが、詳細な指標や取引コストの前提は示されていません。

タグ

外国為替機械学習裁定取引バックテスト
全文
# Deep Reinforcement Learning for Foreign Exchange Trading


# Deep Reinforcement Learning for Foreign Exchange Trading









Reinforcement learning can interact with the environment and is suitable for applications in decision control systems. Therefore, we used the reinforcement learning method to establish a foreign exchange transaction, avoiding the long-standing problem of unstable trends in deep learning predictions. In the system design, we optimized the Sure-Fire statistical arbitrage policy, set three different actions, encoded the continuous price over a period of time into a heat-map view of the Gramian Angular Field (GAF) and compared the Deep Q Learning (DQN) and Proximal Policy Optimization (PPO) algorithms. To test feasibility, we analyzed three currency pairs, namely EUR/USD, GBP/USD, and AUD/USD. We trained the data in units of four hours from 1 August 2018 to 30 November 2018 and tested model performance using data between 1 December 2018 and 31 December 2018. The test results of the various models indicated that favorable investment performance was achieved as long as the model was able to handle complex and random processes and the state was able to describe the environment, validating the feasibility of reinforcement learning in the development of trading strategies.

出典を明記したうえで、ライセンスに従って全文を掲載しています。 ライセンス: abstract CC0

この要約は原文をもとにStratmillのリサーチエージェントが作成したもので、出典の複製ではありません。