Zum Inhalt springen
Alle Bibliotheksdokumente

Bewertung selbstlernender Fähigkeiten in der langfristigen Alpha-Forschung

Artikel arXiv papers · Autor: Siyuan Li et al.

Zusammenfassung

EverMine ist ein Rahmenwerk, mit dem geprüft wird, ob Forschungsagenten ihre Fähigkeiten bei der langfristigen Alpha-Suche durch wiederverwendbare Kompetenzen, Werkzeuge und Regeln verbessern. Es bildet den Forschungsstand anhand der Forschungshistorie, des aktuellen Faktorportfolios und der angesammelten Fähigkeiten ab. Läufe mit identischen Ressourcen vergleichen feste und sich weiterentwickelnde Fähigkeiten; zusätzliche Zweigexperimente tauschen Fähigkeiten aus, während Historie und Portfoliostand konstant bleiben. Eine Wiederholung auf Basis historischer Zustände untersucht, wie erfahrungsbasierte Kandidatenauswahl die Portfolioergebnisse beeinflusst.

Über 18 Trajektorien hinweg zeigen sich bei sich weiterentwickelnden Fähigkeiten keine konsistenten Verbesserungen vom Anfang bis zum Ende; auch über 48 Fortsetzungszweige hinweg schneiden angesammelte Fähigkeiten nicht durchgängig besser ab als die ursprüngliche Auswahl. Eine Anpassung bestehender Faktorstrukturen kann weiterhin helfen. In einer explorativen Wiederholung zweier Auswahlrunden aus einem einzelnen Lauf mit sich entwickelnden Fähigkeiten senken einzeln vielversprechende, zuvor abgelehnte Kandidaten den endgültigen Informationskoeffizienten des Portfolios geringfügig, wenn sie nacheinander hinzugefügt werden. Die Ergebnisse unterstreichen, dass der Wert eines Kandidaten vom Portfoliostand und von der Reihenfolge der Einreichung abhängt. Die Evidenz aus der Wiederholung ist jedoch begrenzt und zeigt nicht, dass sich jede Methode zur Weiterentwicklung von Fähigkeiten gleich verhält.

Kernaussagen

  • Das Rahmenwerk unterscheidet zwischen Forschungshistorie, aktuellem Faktorportfolio und wiederverwendbaren Fähigkeiten.
  • Läufe mit identischen Ressourcen und kontrollierte Fähigkeitswechsel im selben Forschungsstand schätzen den Wert von Fähigkeiten aus verschiedenen Blickwinkeln.
  • Die Weiterentwicklung von Fähigkeiten führte in den berichteten Trajektorien und Fortsetzungszweigen nicht zu konsistenten Verbesserungen.
  • Der Grenzwert eines Kandidaten hängt vom aktuellen Portfolio und von der Reihenfolge ab, in der Kandidaten hinzugefügt werden.
  • Die Wiederholung mit ausgewählten Kandidaten ist explorativ und stammt nur aus einer Trajektorie mit sich entwickelnden Fähigkeiten.

Schlagwörter

Volltext
# EverMine: Dissecting the Self-Evolution of Research Capabilities in Long-Horizon Alpha Research


# EverMine: Dissecting the Self-Evolution of Research Capabilities in Long-Horizon Alpha Research









Self-evolving agents aim to turn research feedback into reusable skills, tools, and research rules. Whether these accumulated capabilities continue to improve later research requires controlled evaluation. Long-horizon alpha discovery provides a state-dependent setting: once a new factor enters the portfolio, the predictive information already covered changes, so the value of the same candidate or experience may change over time. We introduce EverMine, an empirical framework for studying self-evolving research capabilities in long-horizon alpha discovery. EverMine decomposes the research state into history (Hist), the current factor portfolio (Frontier), and reusable capabilities (Cap). Under matched resource limits, we compare complete runs with fixed or evolving Cap, and replace Cap while holding Hist and Frontier fixed to estimate the conditional value of accumulated capabilities. We also combine full trajectories with historical-state replay to examine how experience-based decisions affect candidate selection and portfolio outcomes. Across 18 long-horizon trajectories, end-to-end comparisons show no consistent gain from Cap evolution. Across 48 continuation branches from shared Hist and Frontier states, accumulated Cap also does not consistently outperform the initial Cap. Parameter tuning of existing factor structures can still improve the portfolio. In an exploratory replay of two screening batches from one Evolving trajectory, some screened-out candidates have positive marginal value at the original state, yet submitting all screened-out candidates sequentially slightly lowers final portfolio IC in both batches. These results show that candidate value depends on the evolving portfolio and submission order, and motivate evaluating self-evolving research capabilities through end-to-end outcomes, conditional capability value, and the consequences of experience-based decisions.

Vollständig mit Quellenangabe unter der Lizenz der Quelle angezeigt. Lizenz: abstract CC0

Diese Zusammenfassung wurde vom Research-Agenten von Stratmill anhand des Originals verfasst; sie ist keine Kopie der Quelle.