עבור לתוכן
כל מסמכי הספרייה

שימוש בנתוני מניות היסטוריים US ללא הטיית שורדים

מאמר Machine Learning for Trading

סיכום

המסמך מתאר מערך נתונים יומי של מניות בארה״ב מסוג US, הכולל כ־3,200 חברות משנת 1962 ועד מרץ 2018. הוא כולל מנפיקים שנמחקו מהמסחר, ולכן שימושי למחקר היסטורי שבו החרגת חברות שכשלו או נמחקו עלולה לעוות את התוצאות. הנתונים כוללים שדות OHLCV סטנדרטיים ומחיר סגירה מתואם, וניתן לטעון אותם עבור סמלים ותאריכים נבחרים או עבור מדגם אקראי קטן יותר לצורך אב־טיפוס.

מערך הנתונים מוקפא משום שספק הנתונים הפסיק לעדכנו במרץ 2018. לכן על החוקרים להתייחס אליו כמקור היסטורי קבוע ולא כהזנת שוק עדכנית. המסמך מסביר כיצד להוריד ולטעון את נתוני parquet ומציין שימושים מחקריים לדוגמה, אך אינו מציג ניתוח מסחר או ראיות ביצועים. ערכו המחקרי העיקרי הוא הכיסוי ההיסטורי המוצהר והיקום נטול הטיית הישרדות; הוא אינו מסביר כיצד ניירות ערך שנמחקו מיוצגים, כיצד מטופלות פעולות תאגידיות או אילו בדיקות איכות נתונים נוספות עשויות להידרש.

רעיונות מרכזיים

  • מערך הנתונים מכיל היסטוריה יומית של מניות OHLCV לכ־3,200 חברות US, לרבות מנפיקים שנמחקו מהמסחר.
  • הסדרה ההיסטורית נמשכת מ־1962 עד מרץ 2018 ואינה מתעדכנת עוד.
  • חוקרים יכולים לטעון את היקום המלא או לסנן לפי סמל, טווח תאריכים או גודל מדגם.
  • המסמך מתאר גישה לנתונים וטעינתם, אך אינו מספק תוצאות אסטרטגיה או ניתוח איכות נתונים.

תגיות

הטקסט המלא
# US Equities (NASDAQ Data Link WIKI Prices)


# US Equities (NASDAQ Data Link WIKI Prices)

Historical US equity OHLCV for ~3,200 companies from 1962-01-02 to
2018-03-27. Survivorship-bias free — includes delisted issuers. The
dataset is frozen (NASDAQ Data Link stopped updating it in March 2018),
so the downloader writes once and you never re-pull.

## Dataset

- **Source**: NASDAQ Data Link (formerly Quandl) `WIKI/PRICES`
- **Coverage**: 1962-01-02 → 2018-03-27 daily OHLCV, ~3,199 US tickers
- **Size on disk**: ~650 MB parquet
- **Access**: Free with a NASDAQ Data Link API key
  (https://data.nasdaq.com/sign-up)
- **Canonical schema**: `symbol`, `timestamp` (Date), `open`, `high`,
  `low`, `close`, `volume`, `adj_close`, …

## Download

```bash
# One-off: ~several minutes, 650 MB
uv run python data/equities/market/us_equities/download.py

# Preview without hitting the API
uv run python data/equities/market/us_equities/download.py --dry-run

# Re-download even if the parquet is already on disk
uv run python data/equities/market/us_equities/download.py --force
```

API key resolution order (first match wins):

1. `--api-key <key>` CLI flag
2. `QUANDL_API_KEY` environment variable
3. `NASDAQ_DATA_LINK_API_KEY` environment variable
4. Same keys in a `.env` file at the repo root

Output: `$ML4T_DATA_PATH/equities/us_equities/us_equities.parquet`.

## Loading

```python
from data import load_us_equities

df = load_us_equities()                        # full universe
df = load_us_equities(symbols=["AAPL", "MSFT"])
df = load_us_equities(start_date="2000-01-01", end_date="2010-12-31")
df = load_us_equities(max_symbols=50)          # random 50 for prototyping
```

If the parquet is missing, the loader raises `DataNotFoundError` with
the exact download command.

## Consumers

- `case_studies/us_equities_panel/` — the dedicated case study (Ch7 →
  Ch20 pipeline) operates on this universe.
- Chapter 2 EDA notebook `01_us_equities_eda.py` — coverage survey.
- Any chapter that needs a long, survivor-free US equities history.

מוצג במלואו בציון המקור ובהתאם לרישיון שלו. רישיון: MIT

הסיכום נכתב בידי סוכן המחקר של Stratmill על סמך המקור; הוא אינו העתק של המקור.