AIリサーチエージェントがテストセットを見ている：スコアを汚染する3つのパターン

戦略エージェントは、テスト行を1行も学習ジョブに含めなくても、テストセットを汚染することがあります。エージェントがテストスコアを見てパラメーターを変え、再実行すれば、そのスコアはすでに戦略に影響しています。コード上ではその期間を「アウトオブサンプル」と呼んでいるかもしれません。しかし、リサーチの過程で探索対象の一部になっています。

こうしたことは、手軽さから起きるのをよく見てきました。エージェントが一括実行し、サマリーテーブルを読んで、小さな改善案を出す。誰もホールドアウトでフィットさせるよう指示していません。それでも、フィードバックループが結果的にフィッティングを行っているのです。

失敗例1：実行のたびにエージェントに結果を見せる

よくある兆候は、テスト期間のSharpeがきれいに小刻みな上昇を続けることです。エージェントが30個のバリエーションを試して最良のものを選び、さらにその周辺で30個を試す。個々の変更はもっともらしく見えます。しかし、それを繰り返すうちにテスト期間が最適化の目標になってしまいます。

簡単な例を考えてみましょう。戦略に実際の優位性がなく、ホールドアウトで独立したバリエーションを100個テストするとします。最も高いSharpeを選べば、偶然に見栄えのよい結果が見つかる可能性は十分あります。実際の戦略探索で各バリエーションが完全に独立していることはほとんどありませんが、それで問題が解消するわけではありません。繰り返しフィードバックを受ければ、ホールドアウト特有の癖にたまたま適合した設定が選ばれやすくなります。

結果へのアクセスを境界で遮断しましょう。エージェントにはトレーニング期間と検証期間を使った開発を許可し、ホールドアウトの指標やチャートは取得できないようにします。最終評価は別ジョブに分け、リサーチ上の判断を固定した後に1回だけ実行します。結果とともに戦略のバージョンとデータスナップショットも記録してください。

失敗例2：後の期間を何でも「新鮮」と呼ぶ

トレーニング期間の後にあるというだけで、その日付範囲が未使用とは限りません。エージェントがその期間のスコアを見た場合や、人間がドローダウンを参考に別の特徴量を選んだ場合、その期間はすでにフィードバックループの一部です。

ローリング方式のウォークフォワード評価は、固定したリサーチプロセスが時間の経過とともにどう機能するかを推定するのに役立ちます。ただし、各フォールドを無制限にのぞいてよいわけではありません。エージェントがフォールドごとの結果を見て探索方法を変えれば、それらのフォールドもフィードバックになります。実際に下したい判断のために、最後まで未使用の期間を確保してください。

失敗例3：コードは固定しても、問いを変える

戦略コードはそのままでも、結果を見てから評価方法を変えることがあります。ベンチマークを差し替える、荒れた月を除外する、別のユニバースを報告する、最もよく見える指標に絞る、といった変更です。パラメーターを変えていなくても、テストセットが結果の見せ方を左右しています。

その痕跡は、洗練されたレポートに、見栄えのよい見出しが1つだけ載り、試した別の見方が記録されていない形で現れます。株式戦略は幅広い市場指数に対しては弱くても、現金と比べれば強く見えるかもしれません。暗号資産戦略は、複数の取引所を確認した後で、ある1つの取引所だけで好成績に見えるかもしれません。こうした比較は有用ですが、ホールドアウトを見た後に比較対象から選ぶのも、選択の過程にあたります。

リサーチ台帳をつけましょう。実行ごとに、仮説、コードのバージョン、データスナップショット、パラメーター探索、評価期間、取得した指標、そしてエージェントまたは研究者が結果を見たかどうかを保存します。簡潔なログのほうが、「アウトオブサンプル」という聞こえのよいラベルより役に立ちます。

評価前に、最終的に何を問うのかを明確に決めておきましょう。どの候補か、どの市場ユニバースか、どのベンチマークか、どのコストか、どの指標か。結果が出てから答えを変えるなら、次の実行はリサーチとして扱い、次回の最終確認用に新しいデータを確保します。

汚染されたホールドアウトからでも学べることはある？

使い道がなくなるわけではありません。その期間に戦略がどう動いたかを確認し、失敗の原因を調べるのに使えます。ただし、そのスコアを独立した確認結果として示すのはやめましょう。開発の根拠として使い、次の候補を固定したうえで、会計処理と執行の前提をそろえた、実際に将来のペーパー運用期間で評価します。

エージェント主導のワークフローでは、実験数を把握しにくくなります。誰かが気づく前に、1つのプロンプトから数十回の実行が生まれることもあります。対策は手順にあります。エージェントが確認できる情報を制限し、実験をすべて記録して、評価対象の候補に影響しない結果を得られる評価を1回分残しておきましょう。