Robustes risikobewusstes Reinforcement Learning für Portfoliostrategien

Zusammenfassung

Diese Arbeit entwickelt einen Reinforcement-Learning-Ansatz zur Optimierung von Strategien anhand risikobewusster Leistungskriterien. Sie bewertet Strategien mit rangabhängigem Erwartungsnutzen, der es einem Agenten ermöglicht, unterschiedliche Präferenzen hinsichtlich Gewinnen und Verlusten auszudrücken. Um Modellunsicherheit zu berücksichtigen, wird die Strategie anhand der ungünstigsten Renditeverteilung innerhalb einer Wasserstein-Kugel um die modellierte Verteilung bewertet. Daraus entsteht ein verschachteltes Entscheidungsproblem: Der Agent wählt eine Strategie, anschließend wählt ein Gegenspieler eine nahegelegene Verteilung, die deren Leistung verschlechtert.

Die Autoren leiten Policy-Gradient-Formeln sowohl für die Strategiewahl als auch für das Problem der gegnerischen Verteilung her. Sie demonstrieren die Methode anhand robuster Portfolioallokation, Benchmark-Optimierung und statistischer Arbitrage. Diese Anwendungen zeigen den vorgesehenen Einsatzbereich des Rahmens; das Dokument liefert jedoch weder vergleichende Leistungskennzahlen und Einzelheiten zu Marktdaten noch praktische Hinweise zur Umsetzung. Der Nutzen hängt daher davon ab, das Modell, die Unsicherheitsmenge und die Risikopräferenzen für einen konkreten Handelskontext weiter zu validieren.

Kernaussagen

• Rangabhängiger Erwartungsnutzen ermöglicht es Strategien, unterschiedliche Abwägungen zwischen Gewinnen und Verlustrisiko abzubilden.
• Der Rahmen bewertet jede Strategie anhand einer ungünstigsten Verteilung innerhalb einer Wasserstein-Umgebung.
• Ein inneres gegnerisches Problem sucht eine Verteilung, die die Leistung der gewählten Strategie mindert.
• Die Autoren leiten Policy-Gradienten sowohl für die Strategieoptimierung als auch für das gegnerische Problem her.
• Die Demonstrationen umfassen Portfolioallokation, Benchmark-Optimierung und statistische Arbitrage.

Schlagwörter

# Robust Risk-Aware Reinforcement Learning


# Robust Risk-Aware Reinforcement Learning









We present a reinforcement learning (RL) approach for robust optimisation of risk-aware performance criteria. To allow agents to express a wide variety of risk-reward profiles, we assess the value of a policy using rank dependent expected utility (RDEU). RDEU allows the agent to seek gains, while simultaneously protecting themselves against downside risk. To robustify optimal policies against model uncertainty, we assess a policy not by its distribution, but rather, by the worst possible distribution that lies within a Wasserstein ball around it. Thus, our problem formulation may be viewed as an actor/agent choosing a policy (the outer problem), and the adversary then acting to worsen the performance of that strategy (the inner problem). We develop explicit policy gradient formulae for the inner and outer problems, and show its efficacy on three prototypical financial problems: robust portfolio allocation, optimising a benchmark, and statistical arbitrage.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.