バックテストは、戦略を選ぶよりも退けるのに向いています。過去の成績を使って多くのバリエーションから選んだ瞬間、バックテスト自体が実験の一部となり、見かけ上の勝者には見えにくい代償、つまり選択バイアスが伴い始めます。
逆説的に聞こえるかもしれません。どの戦略が機能するかを知りたいから、バックテストをするのです。しかし、同じ履歴に導かれて選択を重ねるたびに、その証拠の一部を使ってしまいます。結果を見たあとで、参照期間や閾値、対象銘柄、リバランス日、損切りルールを変えれば、データにまた別の問いを投げかけたことになります。やがて、データは偶然でもっともらしい答えを返せるほど、問いを聞かされることになります。
戦略をたくさん試すほど、最良の結果を信頼しにくくなるのはなぜでしょうか？
実際の優位性がない戦略を100個テストするとします。それでも、それぞれのリターンには差が出ます。成績の推定値がおおむね独立し、ノイズが正規分布に従うなら、どの戦略の真のSharpeもゼロであっても、最良のSharpeはプラスになるでしょう。
独立した標準正規乱数を100個取った場合、最大値の期待値は平均より約2.5標準偏差高くなるという大まかな近似があります。これは説明のための例であり、レポートにそのまま貼り付けられる補正式ではありません。実際の戦略バリエーション同士には相関があり、Sharpeの推定にもサンプリング誤差があり、リターンがきれいな正規乱数のように振る舞うこともめったにありません。こうした注意点を踏まえても、実務上の要点は変わりません。候補を調べるほど、最高スコアが好都合なノイズを反映している可能性は高まります。
また、「候補」とは保存されたバックテストだけではありません。結果を見たあとに行うあらゆる選択が含まれます。チャートが不安定に見えるから対象銘柄を増やす、成績を悪くする年を外す、損益曲線が回復するまで手数料の前提を変える、といった判断です。バージョン番号が付いていなくても、そうした判断はすべて数に入ります。
次のバリエーションを回す前にリサーチ台帳をつける
却下した案も含め、探索の全記録と、それぞれの変更理由を残しましょう。そうすることで、結果がどれほど選び取られたものかをより正直に把握でき、魅力的な試行だけを覚えておくことも防げます。
| 記録項目 | 例 | 重要な理由 |
|---|---|---|
| 仮説 | BTC無期限先物が異例の大幅変動をした後は、短期リバーサルが強まる | アイデアと最終的なパラメーター設定を区別できる |
| バリエーションと日時 | 48時間シグナル、2026-10-09、実行014 | 探索の件数を把握し、結果をコードとデータに結び付けられる |
| 選択ルール | ネットSharpeで選択、最低100回の取引 | 比較を始める前に「最良」の意味を明確にできる |
| 却下したバリエーション | 12、24、72時間の期間。すべて記録に残す | 目についた勝者によって、競合案が消えてしまうのを防ぐ |
台帳をつけても、探索をなかったことにはできません。探索の経緯を見える形にすることで、勝者にどれほどの信頼を置けるかを判断する第一歩になります。
リサーチの過程で何度も見返せないデータを確保する
データを時間軸で分割し、最後の期間を保護しましょう。ある期間で戦略を開発し、検証期間のデータで判断を行い、その後のホールドアウトで凍結した戦略を1回だけ評価します。たとえば、2018–2022年を開発、2023年を検証に使い、2024–2025年を確保しておく方法があります。これらの日付はあくまで例です。分割方法は、市場や戦略の時間軸、データのカバー範囲に応じて決めましょう。
何をもって「凍結」とするのかを書き残してください。シグナル、対象銘柄、ポジションサイズ、執行の前提、欠損データの扱いに関するルールなどです。ホールドアウトの結果が期待外れで、そのデータに合わせて戦略を調整すれば、その期間は検証データになっています。次に正直な評価を行うには、新たな証拠が必要です。
ここではサンプル数の少なさも問題になります。ホールドアウト期間中に18回しか取引していない戦略では、精密な結論は出せません。リターンの統計値と併せて取引回数と不確実性も報告しましょう。平均値だけでは、サンプルが少なくても結論が出たように見えてしまいます。
ということは、戦略選びにバックテストは役立たないのでしょうか？
いいえ。厳格なホールドアウトは非効率だという批判にも一理あります。市場は変化し、過去データは短く、手を付けていない期間が1つの特殊な相場環境しか表さないこともあります。慎重に設計したウォークフォワード検証なら、利用可能な履歴を前に進めながら戦略がどう振る舞うかを確認できます。それでも、繰り返し調整するコストがなくなるわけではありません。各フォールドを確認して戦略を修正すれば、そのフォールドはリサーチに影響を与えています。
バックテストは、失敗のパターンを明らかにし、市場の仕組みに根差した少数のアイデアを比較し、妥当な手数料、ファンディング、マーケットインパクト、パラメーターの変化に対して結果が保たれるかを調べるために使いましょう。台帳をつけ、最後のホールドアウトを確保します。そのうえで、有望な凍結済みバージョンをペーパートレードに移し、運用上の食い違いが表面化するかを確認します。
バックテストがもっとも力強く示すのは、「このアイデアは、すでに把握できる条件下で破綻する」ということです。「これが最良の戦略だ」と示されたら、ほかに何通りの答えを求めたのかを考えてみてください。
← 記事一覧
