Тестирование факторов, предложенных LLM агентами, с контролем ошибки в любой момент

Сводка

Исследование разделяет поиск факторов и их одобрение. Агент может предлагать кандидатов и создавать диагностические проверки, а зафиксированный статистический арбитр оценивает каждое предложение по рыночным результатам, наблюдаемым только после подачи. Арбитр использует тесты на основе ставок, разработанные для контроля ложных обнаружений в любой момент остановки, независимо от того, как агент выбирает свои предложения.

Исследователи сравнивают скрипт, бандита и языковую модель с зафиксированным арбитром и тремя арбитрами с утечкой информации. Данные получены в синтетической среде с заложенными истинными факторами, среде для создания проверок и в десятилетнем исследовании с walk-forward-анализом на CSI 500. При использовании скрипта-предложителя зафиксированный арбитр принимает намного меньше факторов ниже порогового уровня; смена предложителя не устраняет этот разрыв. Языковая модель выдаёт больше факторов, чем скрипт, показывает сопоставимые результаты с бандитом и может создавать диагностические проверки. Компромисс — задержка: истинным факторам требуется около 500 торговых дней, чтобы соответствовать критериям, а сертифицированный портфель имеет более низкий коэффициент Шарпа, чем портфель без фильтра. Результаты зависят от дизайна исследований и не доказывают, что все факторы или рынки будут вести себя так же.

Ключевые идеи

• Зафиксированный арбитр может оценивать кандидатов по результатам, ставшим известными после подачи.
• Тесты на основе ставок призваны сохранять контроль над ложными обнаружениями при любом моменте остановки.
• Выбор арбитра существенно влияет на число принимаемых слабых факторов.
• Языковые модели могут предлагать факторы и создавать диагностические проверки.
• Сертификация может задержать использование истинных факторов и снизить коэффициент Шарпа портфеля относительно отбора без фильтра.

Теги

# Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors


# Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors









Language-model agents now run the whole of quantitative factor research: they propose investment factors, backtest them, select the survivors and retire them. We ask which of those jobs an agent should keep. Our answer is governed self-evolution: the agent may propose, and a frozen statistical referee that the agent cannot touch must judge. The referee scores each candidate only on market outcomes revealed after submission, by betting, so its false-discovery guarantee holds at every stopping time for any proposal policy. We cross three proposers (a script, a bandit and a language model) with this referee and with three deliberately leaky ones, in a synthetic world with planted truth, a probe-authoring environment and a ten-year walk-forward on the CSI 500. Who judges sets the number of false admissions: the frozen referee admits 5-11 times fewer sub-threshold factors than the leaky referees under a scripted proposer, and no proposer closes that gap. Who proposes sets the yield: the language model beats the script, matches the bandit, and adds the one capability a bandit lacks, writing its own diagnostic probes. The certificate's price is time: an admitted true factor waits about 500 trading days, and the certified portfolio's Sharpe ratio therefore trails an ungated one. Judging belongs to the procedure; proposing and instrument-making belong to the agent.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.