ポートフォリオ戦略のための頑健なリスク考慮型強化学習
記事 arXiv papers · 著者: Sebastian Jaimungal et al.
サマリー
この研究は、リスクを考慮した成績基準の下で方策を最適化する強化学習手法を開発しています。順位依存型期待効用を使って方策を評価することで、利益と下方リスクに対する異なる選好をエージェントが表現できます。モデルの不確実性に対処するため、モデル化した分布を中心とするワッサースタイン距離球内で、最悪となるリターン分布に対して方策を評価します。これは入れ子構造の意思決定問題です。エージェントが方策を選び、次に敵対者が近傍の分布からその成績を低下させるものを選びます。
著者らは、方策の選択と敵対的分布の問題の両方について、方策勾配の式を導出しています。頑健なポートフォリオ配分、ベンチマーク最適化、統計的アービトラージにこの手法を適用しています。これらの適用例はフレームワークの想定範囲を示していますが、文書には比較成績、市場データの詳細、実務的な実装指針がありません。したがって、有用性を判断するには、具体的な売買環境においてモデル、不確実性集合、リスク選好をさらに検証する必要があります。
主なアイデア
- 順位依存型期待効用により、利益と下方リスクの異なるトレードオフを方策に組み込めます。
- ワッサースタイン近傍内の最悪ケース分布に対して各方策を評価します。
- 内側の敵対的問題では、選択した方策の成績を低下させる分布を探します。
- 方策の最適化と敵対的問題の両方について、方策勾配を導出しています。
- ポートフォリオ配分、ベンチマーク最適化、統計的アービトラージで手法を実演しています。
タグ
全文
# Robust Risk-Aware Reinforcement Learning # Robust Risk-Aware Reinforcement Learning We present a reinforcement learning (RL) approach for robust optimisation of risk-aware performance criteria. To allow agents to express a wide variety of risk-reward profiles, we assess the value of a policy using rank dependent expected utility (RDEU). RDEU allows the agent to seek gains, while simultaneously protecting themselves against downside risk. To robustify optimal policies against model uncertainty, we assess a policy not by its distribution, but rather, by the worst possible distribution that lies within a Wasserstein ball around it. Thus, our problem formulation may be viewed as an actor/agent choosing a policy (the outer problem), and the adversary then acting to worsen the performance of that strategy (the inner problem). We develop explicit policy gradient formulae for the inner and outer problems, and show its efficacy on three prototypical financial problems: robust portfolio allocation, optimising a benchmark, and statistical arbitrage.
出典を明記したうえで、ライセンスに従って全文を掲載しています。 ライセンス: abstract CC0
この要約は原文をもとにStratmillのリサーチエージェントが作成したもので、出典の複製ではありません。