ナレッジライブラリ

このノートブックでは、SHAP特徴量の寄与度が、モデルの削減、リスク判断、報告に使えるほど安定しているかを検討します。ETF予測タスクを用い、予測値は近い一方でSHAPのプロファイルが異なるテストサンプルを探します。次に、異なる乱数シードで学習したLightGBMモデルとRandom…

このノートブックでは、20通貨ペアの候補特徴量を一つずつ先行リターンと照合して評価します。分析対象をウォークフォワード検証期間に限定し、各セッションにフォールドを記録します。また、ホールドアウト前にバッファ期間を設け、ラベルがその期間内に確定しないようにします。ホールドアウト自体は測定しません。まず十分なカバレッジと変動がある特徴量を選別し、次に特徴量の値と次セッションのリターンの間で、日次の横断面スピアマン順位相関を測定します。隣接セッション間の関連を許容して不確実性を推定し、効果の方向がフォールド間で維持され…

このノートブックでは、複数のエージェントによる確率予測を組み合わせ、得られた確率を校正する方法を説明します。パネルの規模と仮定したペア間相関に応じて平均予測を基準率から遠ざける、ネイマン極値化を紹介します。仮定する相関が低いほど複数の証拠源としてパネルを重視し、高いほどエージェント同士を似たものとして扱います。例と合成データのプロットは、この仮定が変わると集約値が大きく変わり得ることを示します。この方法は予測間の不一致を考慮しません。同じ平均値のパネルでも、予測のばらつきは大きく異なることがあります。…

このデータツールは、株式リターン、企業特性、マクロ経済系列、分割前の特性テンソルを含むChen、Pelger、Zhuの資産価格データセットを扱う作業を支援します。変換機能は、公開された学習、検証、テスト用テンソルからParquetファイルを作成します。データアーカイブには各ブロック内で継続する匿名企業の位置情報がありますが、ブロック間の対応情報はありません。そのため変換ツールは、各ブロックに重複しない識別子の範囲を割り当てます。これによりブロック内の企業識別を維持しつつ、同じ識別子がブロック間で同一の既知企業を指…

このモジュールでは、複数のモデル群でウォークフォワードの学習・検証分割を共通の方法で準備します。時間ウィンドウの切り出し、分割ごとのモデルベース特徴量の適用、ラベルが欠損した行の除外、学習データのサンプリングなど、モデルに依存しない時間のかかる処理を、後続のモデル固有の変換から分けます。生の分割を再利用することで、構成ごとに同じ準備を繰り返さずに済みます。線形モデルには欠損値補完と標準化を適用し、勾配ブースティング木では欠損値を保持して、木が備える欠損値の振り分け機能を使います。…

このノートブックでは、無期限先物のファンディング研究における複数モデル群の検証予測を比較します。情報係数は予測値とその後のリターンの順位相関、AUCは上昇・下落ラベルの順位付け、対数損失は確信度の高い誤りに大きなペナルティを課す確率予測の精度を測る指標だと説明します。それぞれ異なる問いに答えるため、AUCが改善する一方で対数損失が悪化することもあります。また、どちらの順位指標も、有用なリターンの大きさや確率の較正を示すものではありません。…

この実装では、深層学習研究のパネルデータに使う系列ウィンドウをまとめて構築する方法を説明します。各資産の観測値を連続した行に詰めるのではなく、パネルが想定するカレンダーに沿ってウィンドウを作ります。欠損セッションは未観測セルのまま保持し、観測状況とデータの古さを示す指標を付けます。これにより、設定上の過去参照期間が意図せず実際より長い期間をまたぐことを防ぎます。適格性の規則では、観測済みデータの最低割合を定め、連続する欠損の数を制限します。…

このノートブックでは、重複データの処理、欠損区間のフラグ付け、ドメインフィルター、反転に基づく急変検出、外れ値のクリッピング、カテゴリ変数のエンコーディング、頻度の異なるデータセット間の整列など、市場データや企業データを扱う実践的なクリーニング方法を紹介します。中心となる教訓は、スケーリングやクリッピングの境界など、データから学習する前処理パラメーターは学習用分割で適合し、その後に検証データまたはテストデータへ適用する必要があるということです。サンプル全体を使って適合すると、モデル開発に未来の情報が漏れる可能性が…

このノートブックでは、予測値が似ている場合や、異なる乱数シードやアーキテクチャでモデルを再適合した場合に、SHAPの寄与度が安定するかを調べます。ETFの将来リターンを使い、予測値は近くてもSHAPのプロファイルが異なるサンプルの組を探し、複数のLightGBM適合結果とRandom Forestの特徴量重要度を比較します。予測性能の評価にはクロスセクション情報係数を使い、寄与度プロファイルの比較には平均絶対SHAP値を使います。…

この文書は、SECの8-K報告書を構造化された企業イベントに変換するパイプラインを説明しています。言語モデルがイベント間の関係を抽出し、明示的なスキーマ検査でエンティティ名、関係の種類、カテゴリ、日付を検証します。決定論的な正規化でエンティティ表記を整え、裏付けのない値を含む記録はレビュー用に未解決のままにします。提出書類の項目番号は文脈として渡し、複数の項目は保持します。欠落した項目は推測せず、欠落として識別します。…

このノートブックは、暦年にわたるUS株式の2つの線形モデル構成から得た実際の検証データ上の予測誤差に、2種類の逐次検出器を適用しています。2期間の平均シフト検出器は誤差の大きさの変化を探し、悪化日頻度モニターは方向予測が外れる頻度を追跡します。各検出器は初期期間のデータで較正し、その後のセッションを監視するため、評価対象期間に合わせたしきい値の調整を避けています。アラートを移動ボラティリティに基づく市場混乱の代理指標と比較し、混乱局面に対するアラートの符号付き時間差も保持して、早期警告と遅れた検知を区別しています…

このノートブックでは、株式特徴量とインプライド・ボラティリティ、スキュー、期間構造などのオプション由来指標を組み合わせたS&P 500のクロスセクション研究について、予測モデル、構造モデル、因果モデルの証拠を比較します。週次の将来リターン順位に加え、別のラベル期間、潜在因子の結果、因果推定、十分位ごとの動き、シグナル間の相関を評価します。中心となる問いは、オプション特徴量が直接または潜在因子を通じて有用な情報を加えるか、そしてどの知見が後続の戦略シミュレーションに値するかです。…

このノートブックでは、実際に損失となった取引をモデルのSHAP説明に結び付ける、取引単位の診断ワークフローを示します。価格の遅行特徴量とボラティリティ特徴量にマクロ指標を加えてLightGBMモデルを学習し、次のセッションのSPYリターンを予測します。固定した予測閾値で1セッションのロング取引を決めます。その後、実際の損失が大きかった取引を選び、対応するSHAPベクトルをクラスタリングして、得られたパターンからモデルや特徴量の見直しに向けた仮説を作ります。…

このノートブックでは、執行記録から学習する行動クローニングと逆強化学習（IRL）を比較します。実演データはTWAPスケジュールから得ています。リスク中立の目的は既知で、タイミングリスクへのエクスポージャーを受け入れながら、取引を均等に分散してインパクトを抑えます。行動クローニングは状態と行動の組から直接行動を学習します。一方、IRLはその行動を説明しうる報酬を推定し、別の設定へ移転するための基礎となる可能性があります。…

このコードは、アウトオブサンプル予測テーブルから標準化されたパフォーマンス指標を計算し、フォールドごとと全体の主要指標を別々に示します。情報係数、誤差指標、識別指標、主体数など、回帰と分類の両方に対応します。分類では、情報係数の計算に連続値のリターン列を必要とし、AUC、対数損失、正解率などの指標にはクラスラベルを使います。この区別によって、二値ラベルをリターン順位の代わりに使うことを避けます。…

このノートブックでは、観測された交絡因子を調整した後も、インプライド・ボラティリティと実現ボラティリティの差と将来の株式リターンとの関連が続くかを、二重機械学習で検証します。同じクロスフィット観測値を使って調整後の推定値と単純な通常最小二乗法を比較し、主体内のブロック置換プラセボも用います。時間的な制御では、結果の期間、処置変数のローリング構築、フォールドのエンバーゴ、観測値間の依存を考慮します。最終ホールドアウト期間に及ぶ可能性のある結果は分析から除外します。 結果が対象とするのは、開発期間中の現行S&P…

このノートブックでは、証拠を検索し、二者択一の問いに対する確率を構造化して返すリサーチエージェントを構築します。アクションの解析と検証、ターン数の上限、論拠と実行の詳細を記録した予測成果物の保存について説明します。無効な応答は修正のため再送し、予測を出さずにターン数を使い切ったエージェントは、確率を出したエージェントと区別します。…

このノートブックでは、特徴量を使わない潜在因子ベースラインとしてPCAを取り上げ、ETFリターンを予測します。各ラベルの学習期間におけるリターン行列を分解し、ファンドごとのローディングと推定した因子プレミアムから予測を組み立てます。期間を通じて同じファンドが列として維持されるため、この手法は固定されたETFユニバースに適しています。対象の識別子が時系列で変わる場合には適しません。特徴量ベースのモデルとの違いに加え、ウォークフォワード学習と予測記録についても説明します。…

このノートブックでは、Interactive Brokersを実データの取得元と執行先の両方に用いて、日次FX通貨ペアモデルを導入する一連の手順を説明します。過去のパネルデータでRidge回帰モデルを学習し、日次リターン、モメンタム、ボラティリティ、価格から得られる少数の特徴量を計算します。直近のバーを取得して通貨ペアのユニバースをスコアリングし、予測リターンが最も高いペアのバスケットを計画します。監視と監査用に、モデル成果物と実行記録も保存します。…

このノートブックでは、CME先物のパネルデータを対象としたニューラル確率的割引ファクターモデルを紹介します。キャリー、モメンタム、ボラティリティなど、商品リターンと観測可能な特性の両方を使って潜在因子を構築し、事前に定めた将来リターン期間の予測を生成します。リターンのみを使うPCAと対比し、特性がリターンの共分散を超える価格情報を加えるかを比較で検証する方法を説明します。…

このユーティリティでは、公開されているSECの10-Q、10-K、8-K提出書類を収集し、後続の分析向けに共通の表形式データセットへ変換するワークフローを説明します。書類の種類に応じてテキストを抽出します。四半期報告書からは経営陣による説明を取り出し、年次報告書ではサプライヤー関連のテキストを優先し、見つからない場合は代替の抜粋を使います。臨時報告書では冒頭部分を保持します。記録には識別子、提出日と対象期間、抽出テキスト、テキスト長が含まれ、企業開示を市場データと照合できます。…

このモジュールでは、複数エージェントによる予測パイプラインの2つの構成要素を説明します。ディベートエージェントは強気と弱気の主張を交互に提示し、双方に相手の主張への応答と、根拠を添えた確率推定を求めます。各ラウンドを記録し、設定された合意範囲内に2つの推定値が収まれば、最大ラウンド数に達する前に終了できます。…

このノートブックでは、事前に因果グラフを指定せず、ETFとボラティリティのリターン間に時間差のある関係があるかをPCMCIで探索します。パネルデータに基づく条件付き独立性の検定を、ペアごとのグレンジャー検定と比較します。グレンジャー検定は目的変数自身の過去を考慮しますが、他の変数を条件にしません。最大ラグは取引日5日と事前に定めます。自己相関図は各系列の持続性を示す記述的なものですが、系列間のどの時間差を検定するかは決めません。…

この資料では、線形モデルや勾配ブースティングモデルと同じ加工済み特徴量行とウォークフォワード・フォールドを使う、CME先物のTabM実験を説明します。TabMはパラメーター効率の高いニューラルアンサンブルです。アンサンブルの各メンバーで重みの大部分を共有するため、複数のネットワークを平均する分散低減効果を一部得ながら、計算コストを抑えます。設定によってモデルの容量を変え、後の検証用バックテストとシャープレシオに基づく選定のため、宣言したすべての学習チェックポイントを出力します。…