BTCUSDT.BINANCE Perp 4H Taker-Buy/Sell Flow Imbalance Long-Only Trend Following (3-Parameter, Order Flow + Trend Confluence, خالص Tick-Aggregated Signal)

BTCUSDT.BINANCE perp پر 4H bars استعمال کرتے ہوئے سنگل asset long-only trend-following strategy، جس کا directional سگنل trade_ticks supplementary data سے AGGREGATED TAKER ORDER FLOW سے ہے بجائے قیمت سے اخذ کردہ اشاریوں کے (جو اس سیشن کے abandon لاگ کے مطابق مکمل طور پر ٹیسٹ شدہ اور بنیادی طور پر ناکام ہیں)۔ یہ factory پورٹ فولیو کے لیے واقعی NEW mechanism class ہے — ہر پچھلی strategy OHLCV-سے اخذ کردہ سگنلز استعمال کرتی ہے (قیمت کی سطوحیں، moving averages، ریٹرنز، vol، ratios)۔ Taker-buy/taker-sell imbalance قیمت سے INFORMATIONALLY DISTINCT ہے: یہ ماپتا ہے کہ WHO liquidity لے رہا ہے (جارحانہ خریدار بمقابلہ جارحانہ بیچنے والے)، جسے academic microstructure ادب (Easley-Kiefer-O'Hara PIN 1996, Easley-Lopez-de Prado-O'Hara VPIN 2012) نے predictive قائم کیا ہے جہاں قیمت اکیلی نہیں ہے۔ Mechanism: ہر 4H bar close پر، bar کے trade ticks کو taker_buy_volume بمقابلہ taker_sell_volume میں جمع کریں، imbalance = (buy - sell) / (buy + sell) حساب کریں۔ LONG جب 4H imbalance > +0.05 (sustained taker buying) AND قیمت > 100-bar SMA (trend confluence — flow کو trend سے متفق ہونا چاہیے)۔ جب imbalance منفی ہو جائے OR قیمت SMA سے نیچے گر جائے exit کریں۔ Order-flow سگنلز کا بنیادی طور پر ناکام قیمت-momentum سگنلز سے مختلف شماریاتی پروفائل ہے: وہ براہ راست AGENT BEHAVIOR دیکھتے ہیں (کون سا فریق spread ادا کرنے کو تیار ہے) بجائے INFERRING agent رویے کو قیمت سے اخذ کرنے کے (جو رویے کا پیچھا کرنے والا نتیجہ ہے)۔ صرف 3 parameters (5-param ceiling سے کافی نیچے)۔ Trade فریکوئنسی: Binance trade tick ڈیٹا کے 6+ سالوں میں ~40-80 trades/سال → 240-480 کل trades → ہر walk-forward window میں 16-32 OOS trades، 5-trade floor سے آرام سے اوپر۔ یہ بھی ایک اہم INFRASTRUCTURE TEST ہے: اگر trade_ticks ڈیٹا factory pipeline میں صحیح طریقے سے لوڈ ہو جاتا ہے (data_specification.md اسے catalog_data_types کے تحت درج کرتا ہے اور subscribe_trade_ticks flag موجود ہے)، تو یہ مستقبل کی تحقیق کے لیے پوری نئی mechanism class کھولتا ہے۔ اگر یہ لوڈ ہونے میں ناکام ہو جاتا ہے (HL funding rate gap کی طرح جس نے 9 strategies کو روکا)، تو ناکامی خود informational ہے اور infrastructure ٹکٹ فائل کرنے کے قابل ہے۔

فیڈبیک نے ایک DIAGNOSTIC کا مطالبہ کیا، مزید schema اندازے کا نہیں۔ میں نے data/supplementary/metrics/BTCUSDT/*.parquet کو براہ راست query کیا: 334,643 rows, column taker_long_short_vol_ratio, timestamp ms میں؛ rows-per-year 2023=12,096 / 2024=16,990 / 2025=14,688, اور EVERY مہینے 2023-01..2025-12 میں >=288 rows ہیں (مسلسل، بس dense 5-min 2020-2022 ڈیٹا کے مقابلے sparse)۔ لہٰذا دروازہ (3) 'rows موجود نہیں -> ٹکٹ فائل کریں' غلط ہے، اور دروازہ (2) کا loader schema mismatch کا premise بھی غلط ہے (میرا loader پہلے سے بالکل اس column + timestamp key کو پڑھتا ہے)۔ اصل جڑ کا سبب میرے اپنے code میں downstream تھا: _taker_imbalance کی 24h staleness cap۔ میں نے 2023-2025 پر synthetic 4H bars اسکین کرکے اصلی parquet store کے خلاف offline تصدیق کی: 24h cap صرف 24.9% bars کو taker سگنل کے ساتھ tag کرتا ہے (imbalance>0.05 اور price>SMA gates کے بعد یہ observed ~2.79% exposure تک گرتا ہے)، جبکہ ایک 14-day cap 95.3% tag کرتا ہے — لہٰذا ہر 3-window walk-forward window trades سے populate ہوگا۔ _taker_imbalance فنکشن پہلے ہی trailing 4h window خالی ہونے پر قریب ترین at-or-before ratio آگے لے جاتا ہے؛ صرف cap نے veto کیا، لہٰذا اصل حل ایک واحد knob (max_lag_hours=336) ہے جس کے ساتھ سگنل، entry/exit، یا sizing logic میں ZERO تبدیلی اور NO price-proxy fallback۔ یہ order-flow mechanism کو intact رکھتا ہے اور آخرکار اسے پورے backtest دور میں جانچنے کے قابل بناتا ہے۔ تجزیہ کار کے لیے محفوظ احتیاط: 2023-2025 taker کا احاطہ واقعی 2020-2022 سے پتلا ہے (~12% کا 5-min density)، لہٰذا ان سالوں میں carried سگنل موٹا ہے؛ 2023-2025 کے لیے dense 5-min metrics کا بیک فل وفاداری بہتر کرے گا، لیکن سیریز ابھی walk-forward کی تصدیق کے لیے مہینہ بہ مہینہ کافی مسلسل ہے۔

کوشش 1 پر شدید اوورفٹنگ احتمال کے ساتھ ڈیفلیٹڈ شارپ ناکام ہوئی۔ DSR=0.3175 (0.95 بار کے مقابلے)، is_significant=FALSE، آپٹیمائزڈ شارپ 1.9615 BELOW 225-trial متوقع زیادہ سے زیادہ قسمت بار 2.3078 کے ساتھ — اور فیصلہ کن طور پر — PBO=0.8664 (پیرامیٹر سلیکشن کے اوورفٹ ہونے کا 87% احتمال)۔ فریم ورک کے مطابق کم DSR کا بہت زیادہ PBO کے ساتھ ملنا فیصلہ کن ترک ہے۔ واک فارورڈ اس کی تصدیق کرتا ہے: is_overfitted=TRUE اوسط IS 3.91 گر کر اوسط OOS 0.962 اور OOS ونڈوز [2.76, 1.32, -1.19] بننے کے ساتھ (ایک منفی)۔ زیادہ probabilistic_sharpe (0.9964) کلاسک PSR-بمقابلہ-DSR جال ہے — یہ 225-trial سلیکشن کو نظرانداز کرتا ہے جسے PBO/DSR سزا دیتے ہیں۔ اصل مثبت (0 حساسیت کی چٹانیں، مثبت sharpe_ci_low +0.4252، جائز طور پر پاس ہونے والا ہولڈآؤٹ تناسب 1.213) مقامی استحکام اور ایک سازگار فارورڈ ونڈو کی پیمائش کرتے ہیں، اہمیت نہیں، اور قسمت کی بار سے نیچے منتخب شارپ کے ساتھ ایک 87% PBO کو اووررائیڈ نہیں کر سکتے۔ تکرار نہ کریں (کوشش 1 از 2، پہلے سے تکرار 3): حساسیت پہلے سے 0 چٹانوں کے ساتھ صاف ہے، لہذا سويپ نے مستحکم علاقے کی مکمل تلاش کی پھر بھی OOS اب بھی گرتا ہے اور PBO 0.87 ہے — اوورفٹنگ واک فارورڈ SELECTION میں 225 trials پر رہتی ہے، قابل درست چٹان میں نہیں، اور صرف 3 بنیادی پیرامیٹرز کے ساتھ دوسرا best-of-225 سويپ وہی اوورفٹ ترتیبات دوبارہ تلاش کرتا ہے۔ revise_hypothesis نہیں: ٹیکر فلو عدم توازن ایک پہلی ٹیسٹ میکانزم ہے جس کا کوئی فروغ یافتہ sibling مردہ ہدف پر پھنسا نہیں ہے، لہذا نیا آلہ کی طرف اشارہ کرنے کے لیے ثابت شدہ کچھ نہیں ہے۔ اضافی احتیاط (تصدیق شدہ بنیادی سبب نہیں): 'آرڈر فلو' سگنل sparse میٹرکس taker_long_short_vol_ratio سیریز سے ماخوذ ہے جس میں raw ٹریڈ ٹکس کی بجائے 14-دن کی پرانی پن آگے لے جانا ہے، لہذا 2023-2025 sparse ادوار کے دوران یہ دو ہفتوں تک آگے رکھا گیا ایک سنیپ شاٹ ہو سکتا ہے — پرانی، کم معلوماتی پراکسی کی طرف بگڑتا ہوا اور 'قیمت سے معلوماتی طور پر الگ' کی بنیاد کو کمزور کرتا ہے؛ long-only BTC رجحان کے ساتھ بل بھاری 6-سال کے نمونے میں (بیس الفا 0.02، benchmark_correlation 0.30)، واپسی کا بڑا حصہ بیٹا ہو سکتا ہے۔ FAILURE PATTERN: غیر معمولی طور پر صاف پروفائل والا واقعی ناول آرڈر فلو میکانزم (0 حساسیت کی چٹانیں، مثبت CI-low، پاس ہونے والا ہولڈآؤٹ) پھر بھی best-of-225 اوورفٹ ہو سکتا ہے — یہاں PBO 0.8664 DSR 0.32 کے ساتھ اور 2.31 قسمت بار سے نیچے آپٹیمائزڈ شارپ (1.96)، پلس منفی OOS ونڈو کے ساتھ is_overfitted واک فارورڈ، فیصلہ کن ہے۔ صاف حساسیت گرڈ اور ایک سازگار ہولڈآؤٹ ونڈو NOT اس آپٹیمائزیشن کو نہیں بچاتے جس کا انتخاب 87% ممکنہ طور پر اوورفٹ ہے؛ نوبت اور مقامی استحکام شماریاتی اہمیت نہیں ہیں۔

کیا NOT کو optimize کیا جائے — taker-flow سگنل میں ایک ساختی 2023-2025 ڈیٹا بلیک آؤٹ ہے (trades صرف 2020-2022 اور 2026 میں موجود ہیں؛ annual_returns 2023/2024/2025 کو چھوڑ دیتا ہے؛ exposure_pct 2.79%)، لہٰذا ایک 3-window walk-forward ایک پورا window صفر ڈیٹا پر چلے گا اور order-flow ایج کی تصدیق نہیں ہو سکتی۔ Iteration 2 کی schema-tolerance loader تبدیلی نے NOT فرق ختم نہیں کیا، یعنی اگلا قدم تشخیصی ہے، مزید schema اندازہ نہیں: (1) براہ راست catalog/supplementary store سے query کریں اور تصدیق کریں کہ آیا `metrics` taker buy/sell volume (یا taker_long_short_vol_ratio) کی rows PHYSICALLY EXIST BTCUSDT 2023-01 سے 2025-12 تک موجود ہیں۔ 2024 نمونے کے لیے row count اور اصل column نام/timestamp keys پرنٹ کریں۔ (2) اگر rows کسی اور schema (column یا timestamp-key نام جو آپ کا loader ابھی بھی میچ نہیں کرتا) کے تحت موجود ہیں، تو `_row_ratio`/`_row_ts`/`_load_taker_flow` کو انہیں پڑھنے کے لیے extend کریں اور دوبارہ چلائیں؛ تصدیق کریں کہ exposure_pct بڑھتا ہے اور trades 2023-2025 کو populate کرتے ہیں۔ (3) اگر rows واقعی NOT موجود ہیں (metrics taker سیریز ان سالوں کے لیے کبھی جمع/بیک فل نہیں کی گئی)، تو یہ ایک infrastructure/ڈیٹا اکٹھا کرنے کا مسئلہ ہے بالکل جیسا کہ مفروضے نے توقع کیا تھا — strategy کوڈ اسے ٹھیک نہیں کر سکتا، لہٰذا multi-year taker-flow metrics کے لیے ڈیٹا اکٹھا کرنے کا ٹکٹ فائل کریں اور DO NOT اس strategy کو optimize کے لیے دوبارہ جمع نہ کریں جب تک کہ ڈیٹا پورے backtest دور کو نہ گھیرے۔ صرف اس وقت جب taker-flow سیریز مسلسل 2020-2026 کا احاطہ کرے گی optimize کرنے کے قابل ہوگی؛ mechanism امیدافزا ہے لیکن فی الحال جانچنے کے قابل نہیں۔