PPO im Vergleich zu einer analytischen Broker-Handelsstrategie untersuchen

Artikel arXiv papers · Autor: Siu Tung Wong (Institute of Finance and Technology et al.

Zusammenfassung

Diese Studie prüft, ob Proximal Policy Optimization die Handelsgeschwindigkeitsentscheidungen eines Brokers in einem zeitkontinuierlichen Broker-Trader-Spiel mit analytischer Lösung erlernen kann. Sie leitet eine diskrete Belohnung aus dem zeitkontinuierlichen Ziel ab und überprüft die Implementierung mithilfe einer Gitterverfeinerung und einer Ein-Schritt-Identität. Anschließend vergleicht sie gelernte Strategien mit der analytischen Benchmark, sowohl mit als auch ohne stochastischen Orderfluss uninformierter Marktteilnehmer und partieller Information.

Ohne uninformierten Orderfluss nähert sich eine Feedforward-PPO-Strategie der Referenzaktion an. Bei stochastischem Orderfluss bleiben Feedforward- und rekurrente PPO-Strategien ungenau, obwohl überwachtes Lernen darauf hindeutet, dass ihre Akteure das Ziel darstellen können. Monte-Carlo-Diagnosen weisen darauf hin, dass Kritiker Schwierigkeiten haben, nahe beieinanderliegende Aktionen zu bewerten; Reward Shaping hilft nicht zuverlässig. Ein auf der Historie basierender Certainty-Equivalent-Controller liegt bei partieller Information näher an der Benchmark. PPO passt eine eingefrorene analytische Strategie an geänderte Ausführungskosten an, doch der berichtete Gewinn schließt nur einen kleinen Teil der Lücke zur neuen Referenz. Die Ergebnisse zeigen sowohl den Wert analytischer Benchmarks als auch die Grenzen der getesteten RL-Methoden.

Kernaussagen

Ein analytisch gelöstes Handelsspiel bietet eine direkte Benchmark zur Bewertung einer Reinforcement-Learning-Strategie.
PPO nähert sich ohne stochastischen Orderfluss uninformierter Marktteilnehmer der Referenzaktion an, ist im getesteten stochastischen Szenario aber ungenau.
Die Darstellungsfähigkeit des Akteurs garantiert keine genauen Entscheidungen, wenn der Kritiker Aktionen unzuverlässig bewertet.
Ein kausaler Controller auf Basis beobachtbarer Historie bleibt bei partieller Information näher an der Referenz.
Der Start von PPO mit der analytischen Strategie ermöglicht eine gewisse Anpassung an geänderte Ausführungskosten.

Schlagwörter

Maschinelles Lernen Orderausführung Marktmikrostruktur Backtesting

Volltext

# When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game

Reinforcement learning (RL) is increasingly used for financial optimal-control problems when complex dynamics make analytical strategies difficult to obtain. There are financial mathematics literactures which provides many solved models whose equations and controls could evaluate and guide learning; we ask whether RL can exploit these results. We place a proximal policy optimisation (PPO) agent in an analytically solved continuous-time broker--trader game. PPO replaces the broker and chooses its trading speed while interacting with an informed trader and stochastic uninformed order flow. We derive a finite-step reward from the broker's continuous-time payoff and verify its discrete implementation through grid refinement and an exact one-step identity. With zero uninformed flow, a validation-selected PPO--FFNN approaches the reference action. With stochastic uninformed flow, the tested PPO--FFNN and PPO--LSTM remain inaccurate, although supervised learning confirms that their actors can represent the action. Monte Carlo diagnostics show that their critics do not reliably rank nearby actions; potential-based reward shaping also gives no reliable improvement. Under partial information, a causal certainty-equivalent controller based on the broker's observable history remains close to the reference, while PPO has larger errors and lower payoffs. Finally, we freeze the analytical policy and train PPO to adjust it after the execution cost changes. Halving the cost yields a repeatable improvement that closes \(2.22\%\) of the gap to the changed-cost reference. The analytical solution therefore provides both a benchmark for diagnosing RL and a useful starting policy for adaptation.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.