リスク考慮型の強化学習

記事 arXiv papers · 著者: Shanyu Han et al.

サマリー

この論文は、凸型スコア関数で表されるリスク目的を持つ意思決定問題のための強化学習の枠組みを提示しています。この枠組みでは、分散、期待ショートフォール、エントロピー型バリュー・アット・リスク、平均・リスク効用などの指標を表現できます。焦点は、時間の経過に伴ってこうした目的を扱えるようにすることです。リスク最適化には時間的不整合が生じる場合があり、早い時点で望ましい方策が、後の意思決定時点では望ましくなくなることがあります。

この問題に対処するため、著者らは状態に補助変数を加え、問題を2状態の最適化として定式化し直します。独自のアクター・クリティック・アルゴリズム、連続マルコフ決定過程を必要としない理論上の近似保証、交互最小化に着想を得た補助変数のサンプリング手順を説明しています。統計的裁定への応用を含むシミュレーション実験を、手法の有効性を示すものとして報告しています。利用可能な説明には数値結果や詳細な実験設定がなく、サンプリング手法の収束は明示された仮定に条件付けられています。そのため、検証済みのシミュレーションを超える実用性能は不明です。

主なアイデア

凸型スコア関数により、よく知られた複数のリスク指標を強化学習の目的関数で表現できます。
補助変数を状態に加えることで、リスクを考慮する意思決定の時間的不整合への対処に役立ちます。
提案されたアクター・クリティック法には、連続状態過程を必要としない近似保証があります。
交互最小化に着想を得たサンプリング手法は、一定の条件下で収束すると報告されています。
シミュレーション実験には統計的裁定取引への応用が含まれます。

# Risk-sensitive Reinforcement Learning Based on Convex Scoring Functions


# Risk-sensitive Reinforcement Learning Based on Convex Scoring Functions









We propose a reinforcement learning (RL) framework under a broad class of risk objectives, characterized by convex scoring functions. This class covers many common risk measures, such as variance, Expected Shortfall, entropic Value-at-Risk, and mean-risk utility. To resolve the time-inconsistency issue, we consider an augmented state space and an auxiliary variable and recast the problem as a two-state optimization problem. We propose a customized Actor-Critic algorithm and establish some theoretical approximation guarantees. A key theoretical contribution is that our results do not require the Markov decision process to be continuous. Additionally, we propose an auxiliary variable sampling method inspired by the alternating minimization algorithm, which is convergent under certain conditions. We validate our approach in simulation experiments with a financial application in statistical arbitrage trading, demonstrating the effectiveness of the algorithm.

出典を明記したうえで、ライセンスに従って全文を掲載しています。ライセンス: abstract CC0

この要約は原文をもとにStratmillのリサーチエージェントが作成したもので、出典の複製ではありません。

トレード向け強化学習における凸型リスク目的

サマリー

主なアイデア

タグ