Passer au contenu
Tous les documents de la bibliothèque

Guide pratique des données US sur les marchés actions, déclarations et positions

Article Machine Learning for Trading

Résumé

Ce guide organise les jeux de données US sur les actions en données de marché, fondamentaux d’entreprise, positions des investisseurs et caractéristiques des sociétés. Il répertorie les chargeurs de barres quotidiennes et intrajournalières, d’options et de données de microstructure de marché, ainsi que les textes de déclarations SEC, les faits XBRL, les participations institutionnelles, les transactions d’initiés et un panel de caractéristiques d’entreprises prêt à l’emploi. Il indique aussi la couverture générale ou les périodes mentionnées pour certains jeux de données.

Le guide indique les types de recherche que chaque collection peut appuyer, notamment l’étude des caractéristiques, les signaux tirés des textes de déclarations, les études de cas sur les options et les graphes de participations. Il fournit des points d’accès aux téléchargements et renvoie à la documentation des sous-répertoires pour les licences, les besoins de stockage et la structure des fichiers. Il s’agit d’un catalogue, et non d’un résultat de recherche ou d’une évaluation de la qualité des données : la couverture varie selon la source, certaines collections sont des échantillons limités et le guide ne compare pas les jeux de données ni ne recommande de stratégie de trading.

Idées clés

  • Les jeux de données sont regroupés en données de marché, fondamentaux, positions et caractéristiques des entreprises.
  • Les sources de marché comprennent les barres quotidiennes et à la minute, les données d’options ainsi que les données de transactions ou de carnet d’ordres.
  • Les déclarations SEC et les faits XBRL fournissent des informations textuelles et comptables structurées pour la recherche.
  • Les participations institutionnelles et les transactions d’initiés offrent des points de vue distincts sur les positions en actions.
  • Vérifiez la couverture, les licences, le stockage et la structure dans la documentation correspondant à chaque source.

Étiquettes

Texte intégral
# Equity Data


# Equity Data

Equity datasets organised by **type**: market data (OHLCV, options,
microstructure), fundamentals (SEC filings + XBRL), positioning (13F,
Form 4), and firm characteristics (standalone packaged dataset).

## Directory

```
equities/
├── loader.py                # All equities loaders
├── README.md                # (this file)
│
├── market/                  # Market data (OHLCV, options, microstructure)
│   ├── us_equities/           # NASDAQ Data Link Wiki Prices (1962-2018)
│   ├── sp500/                 # AlgoSeek daily bars + options slices
│   ├── nasdaq100/             # AlgoSeek minute bars
│   ├── microstructure/        # TAQ / MBO / ITCH / IEX tick data
│   ├── sp500.csv              # Index reference file
│   └── us_equities_profile.json
│
├── fundamentals/            # SEC regulatory filings (text + XBRL)
│   ├── 10k/sp100/             # Per-ticker 10-K text (S&P 100)
│   ├── 10q/sp500/mda.parquet  # 10-Q MD&A aggregate (S&P 500)
│   ├── 8k/sp100/              # 8-K event filings (S&P 100)
│   ├── xbrl/                  # XBRL financial facts (CIK × quarter × concept)
│   ├── filings_download.py    # Unified 10-K / 10-Q / 8-K downloader
│   ├── xbrl_download.py
│   └── README.md
│
├── positioning/             # SEC regulatory filings (positions / insider activity)
│   ├── 13f/                   # 13F institutional holdings (per-cik + bulk)
│   ├── form4/                 # Form 4 insider transactions (raw XML)
│   ├── 13f_download.py
│   ├── form4_download.py
│   └── README.md
│
└── firm_characteristics/    # Standalone packaged dataset (Chen-Pelger-Zhu)
    ├── firm_characteristics_all.parquet
    ├── download.py
    └── README.md
```

## Loaders (all in `equities/loader.py`)

### Market

| Loader                             | Dataset                                                    |
| ---------------------------------- | ---------------------------------------------------------- |
| `load_sp500_index()`               | S&P 500 index OHLCV (bundled)                              |
| `load_us_equities()`               | 3,199 US stocks (1962-2018, frozen) — NASDAQ DL            |
| `load_sp500_daily_bars()`          | S&P 500 daily OHLCV — AlgoSeek                             |
| `load_sp500_options()`             | Raw options chains (legacy) — AlgoSeek                     |
| `load_sp500_options_eda()`         | Options EDA slice (8 symbols, 2019-2020) — AlgoSeek slim   |
| `load_sp500_options_straddles_raw()` | ATM-band raw chains, lifecycle-preserving (2017-2021)    |
| `load_sp500_options_surface()`     | Daily IV surface summary                                   |
| `load_sp500_options_straddles()`   | Daily ATM straddles                                        |
| `load_nasdaq100_bars()`            | NASDAQ-100 minute bars (resampling, quotes, microstructure)|
| `load_nasdaq100_taq()`             | TAQ tick data (AAPL, 2020-03-13 / 2020-03-16)              |
| `load_mbo_data()`                  | MBO order book data — Databento                            |
| `load_nasdaq_itch()`               | NASDAQ ITCH messages                                       |
| `load_iex_hist()`                  | IEX DEEP/TOPS data (free)                                  |

### Fundamentals

| Loader                             | Dataset                                                    |
| ---------------------------------- | ---------------------------------------------------------- |
| `load_sp500_10q_mda()`             | S&P 500 10-Q MD&A text (2017-2021)                         |
| `load_sec_filings(form_type, universe)` | 10-K / 10-Q / 8-K aggregate text                      |
| `resolve_sec_filings_dir()`        | Per-ticker filings directory (Ch22 RAG)                    |
| `load_sec_xbrl_fundamentals()`     | XBRL financial facts (CIK × quarter × concept)             |

### Positioning

| Loader                             | Dataset                                                    |
| ---------------------------------- | ---------------------------------------------------------- |
| `load_institutional_holdings_13f()` | 13F holdings (per-cik, 10 curated managers)               |
| `load_13f_bulk_holdings(quarter)`  | 13F full universe (~3M rows per quarter)                   |
| `load_13f_stock_features()`        | Stock-level features (breadth, concentration, value)       |
| `load_13f_edges()`                 | Institution → stock edge list (graph construction)         |

### Firm Characteristics

| Loader                             | Dataset                                                    |
| ---------------------------------- | ---------------------------------------------------------- |
| `load_firm_characteristics()`      | Chen-Pelger-Zhu panel (~180 features; returns + accounting)|

## Quick Start

```bash
# Market
uv run python data/equities/market/us_equities/download.py

# Fundamentals
uv run python data/equities/fundamentals/filings_download.py --form 10-Q --universe sp500
uv run python data/equities/fundamentals/xbrl_download.py

# Positioning
uv run python data/equities/positioning/13f_download.py
uv run python data/equities/positioning/form4_download.py --ticker TSLA --count 20

# Firm characteristics
uv run python data/equities/firm_characteristics/download.py
```

## Book Usage

- **Ch2** — market datasets appear in `02_financial_data_universe/*_eda.py`.
- **Ch3** — microstructure (TAQ / MBO / ITCH / IEX).
- **Ch4** — fundamentals (XBRL, SEC filings), positioning (13F, Form 4).
- **Ch8** — fundamentals + macro cross-sectional features.
- **Ch10** — filing-text signals from 10-Q MD&A; asset embeddings from 13F.
- **Ch11-14** — firm characteristics as the standard ML asset-pricing benchmark.
- **Ch16-20** — NASDAQ-100 + S&P 500 options case studies.
- **Ch22-23** — RAG over SP100 10-Ks; institutional ownership graph.

See the sub-READMEs in each type directory for license, disk footprint,
download commands, and on-disk layout details.

Reproduit dans son intégralité avec attribution, conformément à la licence de la source. Licence: MIT

Ce résumé a été rédigé par l’agent de recherche de Stratmill à partir de la source originale ; il n’en est pas une copie.