ADAM zum populationsbasierten Optimierer für numerische Suche erweitern

Zusammenfassung

Der Artikel beschreibt, wie ADAM, ursprünglich ein gradientenbasierter Optimierer für neuronale Netze, in ein populationsbasiertes Verfahren für allgemeine Optimierungsprobleme umgewandelt wird. Er erläutert die Aktualisierungen der ersten und zweiten Momente von ADAM und beschreibt anschließend, wie die Populationsvariante Kandidatenlösungen initialisiert, numerische Gradienten aus Änderungen der Zielfunktionswerte und Koordinaten schätzt und Kandidaten anhand von Momentenschätzungen aktualisiert. Zufälligkeit kommt durch die Initialisierung der Population und spätere Änderungen an der Suchdynamik hinzu. Dadurch kann das Verfahren Zielfunktionen ohne analytische Gradienten durchsuchen.

Der Artikel berichtet über Tests des Optimierers und einer modifizierten Variante, ADAMm, mit Benchmarkfunktionen. Die Ergebnisse werden in Vergleichsdiagrammen und einer Bewertungstabelle zusammengefasst. Die Verfahren werden als gut bei niedrigdimensionalen Problemen und mit relativ geringer Ergebnisstreuung beschrieben; als Nachteil wird die Anzahl externer Parameter genannt. Die Benchmark-Belege gelten für den jeweiligen Testaufbau. Der Artikel weist darauf hin, dass sich Implementierungen von kanonischen Versionen unterscheiden können und experimentelle Schlussfolgerungen keine Leistung mit Trading-Daten oder auf Live-Märkten belegen.

Kernaussagen

• ADAM aktualisiert Parameter anhand verzerrungskorrigierter Schätzungen der Gradientenmittelwerte und quadrierten Gradienten.
• Eine Populationsvariante kann Gradienten numerisch schätzen und das Verfahren dadurch auf Zielfunktionen ohne analytische Ableitungen ausweiten.
• Zufällige Ausgangspositionen der Kandidaten sorgen für Populationsvielfalt; der Artikel untersucht außerdem Zufälligkeit in der Suchdynamik.
• Die berichteten Tests sprechen für eine gute Leistung bei niedrigdimensionalen Benchmarkproblemen, belegen jedoch keine Wirksamkeit im Trading.
• Das Verfahren hat mehrere externe Parameter, die ausgewählt werden müssen.

Schlagwörter

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.