戦略探索に市場を追加すると、証拠の確かさが弱まる一方で、バックテストの最良成績が強く見えることがあります。シンボルを増やした後にSharpeが上がると、分散効果だと受け取られがちです。しかし、そのシンボル群から勝者を探したのなら、偶然うまくいく機会も増えています。
この違いは、エージェントが何百ものシグナルを提案する場合でも、研究者が少数の候補を手作業で検証する場合でも重要です。最終的な選択に影響した市場、時間足、特徴量、パラメータの組み合わせはすべて探索空間に含まれます。「採用した戦略は1つだけ」では、候補が何件選考を受けたかは分かりません。
市場ユニバースを広げると、なぜ最良のSharpeが水増しされるのでしょうか？
同じ戦略テンプレートを、互いに無関係な40市場で検証するとします。単純化のため、すべての市場の真のSharpeはゼロで、各Sharpe推定値の標準誤差は0.5と仮定します。推定値はゼロの周りでばらつきます。ところが最高値を選ぶと、最大値を選んだというだけで、通常は正の値になります。
おおまかな正規近似では、独立したノイズ推定値40個の最大値は、ゼロより標準誤差約1.3個分高い位置になると期待されます。この例ならSharpe約0.65です。正確な値は、相関、サンプル期間、リターンの分布によって変わります。重要なのは、どの戦略にも優位性がないのに、選択によって楽観的な結果が生まれることです。
探索ログを残しましょう。失敗した実行や放棄したバリエーションも含め、調べた市場と候補をすべて記録してください。最終戦略の試行回数は、整理後に何個のファイルが残ったかではなく、選択に何が影響したかで決まります。
市場は互いに独立したコイントスではありません。BTCとETHはしばしば連動し、2つの株価指数がリスクの大半を共有することもあります。その分、独立した試行の実効数は減りますが、問題がなくなるわけではありません。また、相関の高い市場でも、手数料、ファンディング、流動性、シグナルが機能する時間帯は異なることがあります。
市場を増やして検証することは、多重検定に当たりますか？
検証結果を採否の判断に使うなら、当たります。最初の仮説が「このルールは主要な無期限先物でファンディングの効果を捉える」なら、市場を横断して調べることも仮説検証の一部です。50市場を検証して最良の市場を見つけ、その挙動に合わせて仮説を書いたのなら、ユニバース選択も最適化の一部になっています。
あらかじめ決めた範囲と、結果を見てから選んだ範囲には大切な違いがあります。固定したバスケットなら、明示した対象領域でアイデアが頑健かを確かめられます。目を引くエクイティカーブが出る銘柄が見つかるまでバスケットを広げるなら、それは探索手順です。どちらも正当な研究になり得ますが、答えている問いは異なります。
| 研究上の選択 | 裏付けられること | それだけでは立証できないこと |
|---|---|---|
| 事前に定めたバスケットで均等に扱う | 選んだ市場群でルールがどう機能するか | そのバスケットが取引可能な全市場を代表すること |
| 検証後に最も成績のよい市場を選ぶ | 検証した市場のうち、どこが過去に最も強い結果を示したか | 選んだ市場のSharpeが偏りのない推定値であること |
| 探索前に留保した市場 | 固定したルールが未使用の市場にも通用するか | 将来の環境が留保期間と一致すること |
新しい市場にも優位性が通用するか、どう検証すればよいですか？
ホールドアウトを開く前に、研究上の選択を固定します。シグナルの定義、パラメータ、ユニバースのルール、リバランス日程、執行の前提が対象です。そのうえで、選択に影響していない市場に、変更していない戦略を適用して評価します。
たとえば、BTCとETHの無期限先物を使い、2023年までのデータで暗号資産のモメンタムルールを開発したとします。テスト期間より前に得られる情報だけを使うルールで流動性の高い別の無期限先物群を選び、チューニングには一切使わずに留保できます。固定したルールを2024年と2025年にそれらの銘柄で適用します。各取引所の実際の手数料ティア、ファンディング支払い、契約仕様、妥当な価格インパクトの前提を含めましょう。市場ごとの取引コストを考慮しない移植テストでは、コスト差をシグナルの失敗と誤認したり、逆に失敗を見えなくしたりする可能性があります。
プールしたSharpeだけでなく、ホールドアウト市場全体の分布を報告してください。プールしたポートフォリオでは、リターンのほぼすべてを1市場が生み出した事実が隠れることがあります。各市場のネット成績、取引回数、ドローダウン、総P&Lに占める最大市場の寄与率を示しましょう。1つの契約でしか機能しないなら、契約固有の結果と呼びます。
期間の分割も適切に行いましょう。市場を未使用にしていても、そのデータ期間が開発時の成績を押し上げた局面と重なっている場合があります。市場横断のホールドアウトで問うのは、ルールが銘柄をまたいで通用するかです。後続期間のホールドアウトで問うのは、時間を経ても通用するかです。これは別々の検証であり、一方で良い結果が出ても、もう一方の代わりにはなりません。
戦略で本当に市場を増やすべき場合はどうすればよいですか？
その場合は追加して構いませんが、方法を決めておきましょう。固定シグナルに従って取引可能な全市場を売買するポートフォリオルールと、過去成績が最もよい市場を勝者とする競争は別物です。適格性は将来の成績を見ずに決める必要があります。たとえば、その時点での流動性しきい値や最低履歴期間を使います。市場の採用・除外にもタイムスタンプが必要です。そうしないと、現在の「流動性の高い市場」リストから、過去のバックテストに今日まで生き残った市場が紛れ込むおそれがあります。
狭いユニバースでは脆い戦略になり得ること、広範な検証は有益な頑健性チェックであることを批判する人たちが指摘するのはもっともです。答えは市場の検証を避けることではありません。アイデアの発見に使う市場と、固定したアイデアを試す市場を分け、発見までの作業も証拠の一部として数えることです。
ユニバースを広げれば、戦略が実験室の外でも通用しやすくなることがあります。同時に、運よく当たったバックテストが実験室の選抜で勝ちやすくなることもあります。探索ログとホールドアウトを見れば、あなたのSharpeがどちらの筋書きを裏付けるのかが分かります。
← 記事一覧
