Auditorias baseadas em evidências para agentes modulares de trading

Resumo

Este artigo propõe uma auditoria em nível de afirmação para agentes modulares que planejam, agem, verificam e refinam, motivada pelos limites de depender de uma única pontuação agregada da tarefa. A auditoria registra as evidências de cada conclusão, atribui um parecer de sustentada, não sustentada, não resolvida ou não avaliada e declara o limite dentro do qual a conclusão se aplica. Seu objetivo é esclarecer o que uma avaliação demonstra sobre um agente e seus componentes.

Três métodos contribuem com evidências: políticas oráculo medem a melhoria alcançável para um conjunto específico de ações; a substituição, um componente por vez, por um componente ideal ajuda a localizar valor perdido, considerando a possibilidade de mascaramento em etapas posteriores; e um teste separado verifica se a pontuação de um verificador realmente sustenta o limite atribuído a ela. Em um mercado sintético com regimes ocultos, a auditoria constata que o valor medido da informação perfeita sobre o regime varia conforme o conjunto de ações, que um gerador de cenários perde grande parte do sinal do regime e que um verificador em tempo de execução pode ser contornado sem mudanças visíveis nos resultados. Essas constatações dizem respeito a um agente e ambiente; a contribuição mais ampla é o protocolo.

Ideias principais

• Pontuações agregadas da tarefa, por si só, podem não identificar qual componente causou um resultado nem o que um verificador certifica.
• A auditoria associa evidências, um parecer com quatro possibilidades e um limite de escopo a cada afirmação.
• Políticas oráculo estimam ganhos alcançáveis em relação a um conjunto de ações definido explicitamente.
• A substituição de componentes pode localizar valor perdido, mas efeitos posteriores podem deixar as constatações sem resolução.
• As constatações sobre o mercado sintético são específicas ao agente e ao ambiente estudados.

Tags

# Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents


# Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents









When developers change one component of an agent, such as its controller, a learned model or its verifier, they usually judge the change by an aggregate task score. That score cannot tell whether improvement was attainable, which component lost value, or what the agent's own checks certify. We introduce a claim-specific verification audit for modular agents that plan, act, check and refine. Instead of scoring the agent, the audit scores the evidence: each conclusion is recorded with the evidence behind it, one of four verdicts (supported, unsupported, unresolved or not evaluated) and the boundary within which it holds. Three tools supply that evidence. Oracle policies measure attainable improvement under an explicitly stated action set, so that a low value can be traced to the evaluation rather than to the environment. Replacing one component at a time with a perfect counterpart locates lost value, with null results read as unresolved whenever a downstream component could mask them. A separate test asks whether the verifier's score identifies the quantity it is read as bounding. Applied to a constrained portfolio-allocation agent in a synthetic market with known hidden regimes, the audit shows that the value of perfect regime information depends on the action set used to measure it, that the scenario generator discards most of the regime signal while better local fidelity does not improve decisions, and that the runtime verifier can be bypassed with no visible change in outcomes. The contribution is the protocol and the evidential distinctions it enforces; the empirical findings are specific to the agent and environment studied.

Exibido na íntegra, com atribuição conforme a licença da fonte. Licença: abstract CC0

Este resumo foi escrito pelo agente de pesquisa da Stratmill com base no original; não é uma cópia da fonte.