バックテストと検証

アイデアを検証し、結果を確かめる

ファクトリーは、設定された手数料と約定に関する前提条件を用いて、過去のデータで戦略コードをテストします。最適化ツールがパラメータの安定性を検証し、AIアナリストが根拠を評価して次のステップを推奨します。

backtest_review.py

net_pnl = gross_pnl - fees
peak = equity.cummax()
drawdown = equity / peak - 1
assert train_end < test_start

イメージ図・実際の運用結果ではありません

戦略ファクトリーの動きを見る。

イメージ図・実際の運用結果ではありません

AIエージェントが戦略を構築し、レビューする様子を見る。

AIエージェントがアイデアを発展させ、コードを記述し、テスト結果を評価します。レビュー結果により、戦略が次の反復に戻されることがあります。

記述する
構築・検証
バックテスト
ストレステスト
ペーパートレード

トレーディング条件をモデル化する

バックテストでは過去のデータ、設定された取引所の手数料、該当する執行に関する前提を使用します。データのカバレッジ、資金調達コスト、スリッページ、マーケットインパクトは結果に大きな影響を与える可能性があります。

リターン以上のものを検証する

エクイティカーブ、ドローダウン、リターン分布、個々のトレードを確認してください。主要指標と合わせて、期間、サンプルサイズ、前提条件もチェックしましょう。

頑健性を検証する

感度分析、ウォークフォワード最適化、ホールドアウト検証により、選択したパラメータやトレーニング期間の外で結果がどのように変化するかを調べます。

前提条件を結果と一緒に確認する。

魅力的なチャートはレビューの出発点にすぎません。トレーディングコストを期待されるエッジと比較し、アウトオブサンプルの挙動を確認し、少数のトレードや期間への集中がないかを調べてください。

入力
データ期間、取引所、手数料
テスト
バックテスト、ウォークフォワード、ホールドアウト
エビデンス
指標、トレード、レビューメモ

後のデータに、それより前の選択を試させる。

ウォークフォワードテストは、前の期間でフィットさせ、後の期間で評価します。予約されたホールドアウトは最適化期間の外に保持されます。

実際の分割日とトレード数を確認してください。ホールドアウトからのフィードバックを何度も参照して再利用すると、その独立性が弱まる可能性があります。

フィット検証ホールドアウト

概念図: 3つのフィット・検証期間が時系列に沿って進み、ホールドアウトは右側に予約されたまま保持されます。期間の長さや間隔は設定により異なります。

小さなコストが大きな優位性を食い尽くすことがある。

戦略の取引頻度が高いほど、その結果は実行に関する前提に大きく依存します。スリッページの設定を変えて、同じグロス結果が異なるコスト下でどうなるかを確認してください。

回転率: 初期エクイティに対する累計取引ノーショナル。すべての買いと売りが対象。
手数料とスリッページ: 実際のレポートに記載された取引所の手数料と価格の前提を確認してください。
ネットの結果: 残された優位性を、ドローダウン、サンプルサイズ、アウトオブサンプル結果と比較してください。

実行コストが結果をどのように変えるかを確認する。

取引ノーショナルあたりのスリッページ3 ベーシスポイント

グロスリターン12.0%

モデル化されたコスト2.0%

これらのコスト後のネット10.0%

前提例: グロスリターン12%、累計取引ノーショナルは初期エクイティの40倍、取引ノーショナルあたりの手数料は2ベーシスポイント。コスト = 回転率 × (手数料 + スリッページ); 1ベーシスポイント = 0.01%。線形の説明用モデルであり、複利、ファンディング、マーケットインパクトは含みません。

よくある質問。

その他の質問と回答

優れたバックテストは将来のリターンを保証しますか?

いいえ。バックテストは仮定に基づくものであり、データ、前提条件、選択バイアスに影響を受けます。検証は弱点を調べる助けにはなりますが、トレーディングリスクを排除するものではありません。

手数料は私のアカウントのリアルタイムの見積もりですか?

いいえ。これらは設定されたシミュレーションのデフォルト値です。あなたの取引所の料金体系や銘柄ルールとは異なる場合があります。結果を解釈する前に前提条件を確認してください。

ウォークフォワードテストとホールドアウト検証はどう違いますか?

ウォークフォワードテストは、より前の期間のデータで繰り返しフィッティングを行い、それより後の期間で評価します。ホールドアウト検証は、選択されたパラメータを、それらの最適化期間の外にある保留期間で確認します。実際の日付、トレード数、レポートを確認してください。ホールドアウトのフィードバックを繰り返し利用すると、その独立性が損なわれる可能性があります。

総リターン以外にどの結果を確認すべきですか?

ドローダウン、取引コスト、トレードの件数と分布、保有期間、アウトオブサンプルの結果を確認してください。少数のトレードや特定の市場局面への依存がないか注意してください。高いリターンだけでは、戦略がどのようにそれを稼いだのか、その過程での損失については説明されません。

最良の設定を採用するのではなく、近傍のパラメータをテストするのはなぜですか?

近傍の設定の成績が悪いのに、ある設定だけが非常に優れて見える場合、その結果は脆弱である可能性があります。感応度分析は、選択したパラメータの周辺で結果がどのように変化するかを示します。そのパターンが特定の一つの結果にとどまらず、より広く成り立つかどうかを評価する際には、ウォークフォワードおよびホールドアウトの証拠と併せて利用してください。

似たようなアイデアの2つのバックテストの結果が食い違うのはなぜですか?

対象銘柄、データ期間、バー間隔、エントリーとエグジットのルール、手数料、あるいは執行に関する前提の違いによって結果が変わることがあります。差異を改善とみなす前に、設定内容と利用可能なデータを、トレード記録と併せて比較してください。