L1ロジスティック回帰のソルバーと許容誤差

コード Machine Learning for Trading

サマリー

この設定メモでは、3クラス分類ラベルに対するL1ロジスティック回帰で、sagaソルバーとより厳しい収束許容誤差を選んだ理由を説明します。Nasdaqの市場マイクロ構造パネルで計測した実行時間と、報告されたアウト・オブ・サンプルの対数損失および正解率を挙げ、sagaとliblinearを比較します。計測した実行では速度と予測指標の両方でsagaが優れていましたが、パネル全体での実行時間は不確かだと報告されています。

許容誤差の選択は、小さな係数が厳密にゼロになるかどうかにも影響します。L1のスイープでは厳密な疎性を目的とするため、ゼロの係数数と、ゼロに近いだけの係数数を比較します。許容誤差が緩い場合、非常に小さいもののゼロではない係数がありました。より厳しい設定では両者の数がそろい、計測した条件下でより疎な解が得られました。この強い正則化のケースでは、小さい方の許容誤差を採用します。

これらの観測は特定のデータセットとソルバーの比較に基づくもので、一般的な保証ではありません。最大規模での計算コストは明らかになっておらず、大規模パネルの推定値も限られた実行時間の証拠からの外挿です。そのため、対象環境で実行時間と疎性の挙動を確認する必要があります。

主なアイデア

Nasdaqの対象パネルでは、多クラスL1ロジスティック回帰にsagaを選び、liblinearより大幅に速いと計測されました。
その比較では、報告されたsagaの実行でアウト・オブ・サンプルの対数損失と正解率も良好でした。
許容誤差を厳しくすると、厳密なゼロと非常に小さいだけの係数を区別しやすくなります。
大規模パネルの実行時間推定は限られたスケーリングの証拠に基づくため、不確かです。
対象データセットと環境で、ソルバーの性能と疎性を検証する必要があります。

# logistic_l1_C0.001.yaml


```yaml
# L1 logistic regression. The solver is `saga` rather than `liblinear`, and the tolerance
# is set explicitly rather than left at scikit-learn's 1e-4 default.
#
# Two reasons, and the first one is not optional. These labels are three-class (-1, 0, 1),
# and scikit-learn 1.8 makes multiclass `liblinear` a hard error; #740 already moved our
# floor to 1.7. `OneVsRestClassifier(liblinear)` would reproduce the current objective
# exactly - liblinear multiclass IS one-vs-rest - and would keep the problem below.
#
# The second is that `liblinear` does not finish. It is single-threaded coordinate descent
# and scales about N^1.4 here. Measured on nasdaq100_microstructure's `fwd_dir_15m` panel:
#
#     rows      liblinear 1000/1e-4     saga 200/1e-2
#     400,000     144.4s  converged      11.0s  converged
#   1,200,000     716.9s  converged      44.8s  converged
#
# which extrapolates to roughly eight hours per configuration at the full 16.9M rows against
# about twenty minutes. That is not a projection: `06_linear` ran 7h23m at 100% of one core
# on 2026-09-05 and was killed with two of thirteen configurations still unfinished, both of
# them these L1 ones.
#
# saga is also better out of sample at every C measured here: log loss 1.0273-1.0276 against
# liblinear's 1.0293-1.0294, and accuracy 0.415-0.420 against 0.404-0.410.
#
# `tol: 0.001` here rather than the 0.01 the weakly-penalised configurations use, because
# this is where the penalty binds and exact sparsity is the point of the sweep. At 1e-2 saga
# leaves coefficients stranded NEAR zero instead of AT zero, which `coef_ != 0` then counts
# as live. Measured on the same panel, exact zeros against coefficients below 1e-8, out of
# 198:
#
#     C        liblinear 1e-4     saga 1e-2        saga 1e-3
#     0.001      128 / 128         148 / 149        157 / 157
#     0.01        40 /  40          24 /  52         87 /  87
#     0.1          8 /   8           3 /   4         24 /  26
#
# The 24-against-52 at C=0.01 is the defect: twenty-eight coefficients below 1e-8 that are
# not zero. At 1e-3 the two counts agree and saga is *more* sparse than liblinear at every C
# here, so the tighter tolerance is not a concession - it is what makes the L1 solution an
# L1 solution.
#
# Cost at 1.2M rows: 226s, 352s and 287s for C=0.001, 0.01 and 0.1 against liblinear's 30s,
# 202s and 499s. **The full-panel cost of this arm is not established** - the 16.9M-row
# extrapolation is uncertain because it rests on a single scaling estimate taken from the
# tol=1e-2 timings. Watch it on the first run rather than assuming it is small.
model_class: LogisticRegression
params:
  C: 0.001
  max_iter: 200
  penalty: l1
  solver: saga
  tol: 0.001

```

出典を明記したうえで、ライセンスに従って全文を掲載しています。ライセンス: MIT

この要約は原文をもとにStratmillのリサーチエージェントが作成したもので、出典の複製ではありません。

L1ロジスティック回帰のソルバーと許容誤差

サマリー

主なアイデア

タグ