আমরা Binance-এ ব্যাকটেস্ট করেছি আর Bybit-এ পেপার-ট্রেড করেছি। এজটা ছিল ল্যাগ।

আমাদের একটা এক-মিনিটের BTC মোমেন্টাম স্ট্র্যাটেজি ছিল যা Binance-এ সৎ দেখাচ্ছিল। Taker ফি, ফান্ডিং, একটা বর্গমূল ইমপ্যাক্ট টার্ম যা আমরা আগে থেকেই একটু বেশি কঠোর করে রেখেছিলাম। ওয়াক-ফরওয়ার্ড যা আমাদের লজ্জা দেয়নি। পেপার অ্যাকাউন্ট বাস করত Bybit-এ, কারণ কীগুলো সেখানেই ছিল। নিজেকে বলেছিলাম BTC মানেই BTC। শুক্রবার নাগাদ আমার হাতে এমন এক স্ট্র্যাটেজি ছিল যা এমন lead-lag ট্রেড করছিল যা আমরা ফিল করতে পারতাম না, আর একটা Sharpe যা এমন এক্সচেঞ্জের যেখানে আমাদের অ্যাকাউন্টই ছিল না।

সোমবার: একটা পরিষ্কার Binance ব্যাকটেস্ট

এজেন্ট যা উগরে দিয়েছিল তা প্রায় নীরস: 15-বার রিটার্ন বনাম একটা ধীর অ্যাভারেজ, পরের বারের ওপেনে লং বা শর্ট, স্টপে অথবা বারো মিনিট পরে ফ্ল্যাটেন। আমরা এটাকে Binance USD-M BTCUSDT-এ চাপিয়ে দিয়েছি, 2023 থেকে 2026-এর শুরু পর্যন্ত, আর খরচ কাটার আগের কোনো সংখ্যা দেখতে রাজি হইনি।

4.0 bps taker, ঘণ্টার ফান্ডিং আর ইমপ্যাক্টের পর ওয়াক-ফরওয়ার্ড Sharpe বসেছিল 1.6-এ। ফিল প্রতি গড় নেট এজ ছিল 3.4 bps। ট্রেড কাউন্ট এত বেশি ছিল যে আমি আর বুটস্ট্র্যাপ নিয়ে খোঁচাখুঁচি করা বন্ধ করে দিয়েছিলাম। আমাদের নিজের স্ট্যাকের জন্য আমরা যে লেটেন্সি প্যাড আগে থেকেই যোগ করি (সিগন্যাল থেকে অর্ডার, ভালো দিনে 40 মিলিসেকেন্ড) তাতে প্রায় নড়েইনি। মনে পড়ে, এটা যে আরও ভঙ্গুর নয় তাতে হালকা বিরক্ত হয়েছিলাম।

মঙ্গলবার: পেপার অ্যাকাউন্ট "স্লিপ" করতে শুরু করে

পেপার লাইভ হয়েছিল 09:12 UTC-তে। একই কোড, একই প্যারামিটার, একই "নেক্সট ওপেন" নিয়ম, তাক করা Bybit-এর লিনিয়ার BTCUSDT-এর দিকে। প্রথম বিকেলটা দুর্ভাগ্যের ধারার মতো দেখাচ্ছিল। আমরা একই মিনিটগুলোর Binance রিপ্লের চেয়ে 2–8 bps খারাপ ফিল পাচ্ছিলাম, সবসময় ট্রেডের দিকেই। ব্লটার বলছিল স্লিপেজ। আমি ব্লটারকে বিশ্বাস করেছিলাম যতক্ষণ না মিসগুলো সেই মিনিটগুলোতে জড়ো হল যেখানে Binance আগেই দৌড় শুরু করেছিল।

রাতে গ্যাপটা নয়েজি ফিল মডেল যেভাবে মিন-রিভার্ট করে সেভাবে মিন-রিভার্ট করল না। সেখানেই বসে রইল। Bybit-এ একটা বাই এমন দামে প্রিন্ট হল যা Binance এক বিট আগে দেখিয়েছিল, তারপর Bybit এল, তারপর আমরা সেই দাম দিলাম। আর যে মিনিটগুলো স্ট্র্যাটেজি চাইছিল সেগুলোই সেই মিনিট যেখানে দুই টেপ দ্বিমত করছিল। শান্ত মিনিটগুলোতে ক্লোজগুলো একে অপরের উপর বসে থাকত আর স্ট্র্যাটেজির কিছু এসে যেত না। সে ডাইভারজেন্স বেছে নিচ্ছিল আর তাকেই আলফা বলছিল।

বুধবার: দুই টেপ, এক ঘড়ি

আমরা দুইটা লাস্ট-ট্রেড ফিড টেনে এনেছি, এক্সচেঞ্জ টাইমস্ট্যাম্পে অ্যালাইন করেছি, আর একটা বেয়াদব প্রশ্ন করেছি: BTC যখন অন্তত দুই টিক সরেছে, কোন ভেন্যু আগে প্রিন্ট করেছে? শান্ত ঘণ্টাগুলোতে সেই বার্স্টগুলোর প্রায় দুই-তৃতীয়াংশে Binance Bybit-কে লিড করেছে, মেডিয়ান লিড প্রায় 40 মিলিসেকেন্ড, যা অনেক "আমরা লেটেন্সি যোগ করেছি" কথোপকথনের ভিতরে আর একটা 1-মিনিট বারের বাইরে। মঙ্গলবারের CPI প্রিন্টের সময় লিডটা শত শত মিলিসেকেন্ডে প্রসারিত হয়েছিল, আর কয়েকটা কুৎসিত সেকেন্ডে দুই লাস্ট প্রাইস $80 আলাদা ছিল। আমি দুই ল্যাডার খোলা রেখে বসেছিলাম, Binance যে সিনেমা আগেই দেখিয়ে দিয়েছে সেটা Bybit তাড়া করছে দেখছিলাম।

সেটাই ছিল সপ্তাহের স্বাদ, আর সেটা Sharpe-এ নেই। বুদ্ধিগতভাবে জানা যায় যে ক্রিপ্টোর লাস্ট প্রাইস ভেন্যু-লোকাল। একই কয়েন দুই উইন্ডোতে দেখে বুঝতে পারা যে তাদের একটা অতীতে বাস করছে, সেটা আলাদা অভিজ্ঞতা।

তারপর আমরা সেই টেস্টটা করেছি যা সোমবারই দাবি করা আমার উচিত ছিল। Binance সিগন্যাল রাখো। Bybit-এর নেক্সট ওপেনে ফিল করো। তরল টেপের দিকে উঁকি দিয়ে অন্য জায়গায় ট্রেড করলে পেপার অ্যাকাউন্টের আসল ইনফরমেশন সেট এটাই, আর এটা এমন এক ধরনের lookahead যা তুমি সাইজে কখনো পাবে না: তুমি এমন একটা দাম ব্যবহার করছ যা এক্সিকিউশন ভেন্যু এখনো প্রিন্ট করেনি। এজ গিয়ে দাঁড়াল 0.6 bps-এ। উল্টো করো (Bybit সিগন্যাল, Binance ফিল) আর তুমি একটা ফ্যান্টাসি ছাপিয়ে ফেলো। একই-ভেন্যু Binance 3.4-এই থাকল। "স্ট্র্যাটেজি" মূলত দ্রুত বুকে থাকাই ছিল।

আমরা যে মিনিটগুলোতে ট্রেড করেছি সেগুলোর 1-মিনিট ক্লোজ গ্যাপের মেডিয়ান ছিল 4.1 bps। আনকন্ডিশনাল, সব মিনিট জুড়ে, সেটা প্রায় 1.5। অবশ্যই। সিগন্যাল ফায়ার করে যখন কেউ আগেই সরতে শুরু করেছে। আমরা সিলেক্টেড স্যাম্পলে এজ মেপেছিলাম, আর ভেন্যু-দ্বিমত বাস করে ঠিক সেখানেই।

আগে ভাবতাম সবচেয়ে খারাপ ভেন্যু বাগ হল সিম্বল ম্যাপিং, BTCUSDT বনাম BTC-PERP, এমন এক জয়েন যা চুপচাপ একটা পজিশন ডুপ্লিকেট করে। সেটা বুককিপিং। এটা ছিল CPI-এর সময় দুই বুক দেখা আর খেয়াল করা যে আমি এমন এক মার্কেট নিয়ে রিসার্চ করেছি যেখানে আমি ট্রেডই করি না।

বৃহস্পতিবার: ফান্ডিং, মার্ক আর ফি-ও একই মার্কেট ছিল না

লাস্ট প্রাইস যে আলাদা সেটা স্বীকার করলে, মার্কেট ডেটা কন্ট্রাক্টের বাকিটাও যে আলাদা সেটা স্বীকার করতে হয়। আমরা Binance-এর ফি শিডিউল কপি করে একটা Bybit পেপার অ্যাকাউন্টে বসিয়েছিলাম আর তারপর অবাক হয়েছিলাম কস্ট লাইন কেন সরে যাচ্ছে।

BTC-তে টিক আর লট মিলে গিয়েছিল। আমি সেটা থেকে সাধারণ নিয়ম টানব না। বৃহস্পতিবার রাতে আমরা যে SOL বুকে উঁকি দিয়েছিলাম, সেখানে টিক সাইজ আর মিন নোশনাল দুটোই আলাদা ছিল, আর ট্রেড মিনিটগুলোর ক্লোজ গ্যাপ ছিল 11 bps। ফান্ডিং ছিল ধীর লিক। Binance ঘণ্টায় পে করছিল। Bybit সেই লিনিয়ারের জন্য এখনো আট-ঘণ্টার ঘড়িতে ছিল। 01:00 UTC পেরিয়ে ধরে রাখা পজিশন রিসার্চ লেজারে Binance চার্জ পেত আর পেপারে নীরবতা, তারপর 08:00-এ একটা লাম্প যা ব্যাকটেস্ট আগেই ফোঁটায় ফোঁটায় বের করে দিয়েছিল। ক্যারি এক সপ্তাহে মিলত আর এক বিকেলে দ্বিমত করত, আর স্ট্র্যাটেজি বাস করত ঠিক সেই হরাইজনেই।

ফি প্রায় নীরসই ছিল, তবুও সেগুলো 3.4 bps গল্পের 1.5 bps খেয়ে ফেলেছিল। মানুষ 4.0 বনাম 5.5-কে ফুটনোট মনে করে কারণ 2% দৈনিক মুভের পাশে সেটা ছোট দেখায়। 3.4 bps এজের পাশে সেটা ছোট নয়। আমরা সেটা আগেই জানতাম। শুধু জ্ঞানটা প্রয়োগ করেছিলাম ভুল ভেন্যুর শিডিউলে।

শুক্রবার: একটা Bybit-নেটিভ রিরান

পুরো জিনিসটা Bybit OHLCV, Bybit ফান্ডিং স্ট্যাম্প, Bybit 5.5 bps-এর উপর আবার বানাও। একই কোড পাথ, একই ওয়াক-ফরওয়ার্ড কাট, একই ইমপ্যাক্ট ফাংশন। Sharpe 0.4। গড় নেট এজ 0.9 bps, যা একটা এক-মিনিটের taker স্ট্র্যাটেজির নয়েজের ভিতরেই পড়ে যখন তুমি তাকে Binance-এর ফার্স্ট লুক উপহার দেওয়া বন্ধ করো।

সেটা আলাদা মার্কেট ছিল, বেশি নয়েজি মার্কেট নয়। পেপার ব্যাকটেস্টকে রিজেক্ট করেনি এই কারণে যে পেপার বিমূর্ত অর্থে "আরও বাস্তবসম্মত"। পেপার এক্সিকিউট করছিল এমন এক বুকে যা রিসার্চ কখনো দেখেনি। 1.6 অভ্যন্তরীণভাবে কনসিস্টেন্ট ছিল। সে কনসিস্টেন্ট ছিল ভুল এক্সচেঞ্জ নিয়ে।

আমরা Binance ভার্সনটা আর্কাইভে রেখেছি রিপোর্টে একটা নোট দিয়ে: এই অ্যাকাউন্টকে এই টেপের বিরুদ্ধে পেপার করো না। Bybit ভার্সনটাই চলতে থাকার অনুমতি পায়, এমন একটা সংখ্যায় যা নিয়ে কেউ থ্রেড লিখত না। সেটাই সঠিক ফলাফল। আমি এখনো 1.6-কে একটু মিস করি, আর তাতেই বোঝা যায় সে এমন কাজ করছিল যা সে অর্জন করেনি।

পরেরবার আমরা যা এড়িয়ে যাব

শর্টকাটটা ছিল সমাজতাত্ত্বিক। Binance সেই টেপ যা প্রতিটা ভেন্ডর, প্রতিটা রিসার্চ নোটবুক, প্রতিটা এজেন্ট ডিফল্ট তোমাকে হাতে দিতে চায়। অ্যাকাউন্ট সেখানেই যেখানে তুমি আসলেই খুলতে পেরেছ। এই দুই তথ্য অপারেশনস ডিটেইল মনে হয়। এগুলোই ব্যাকটেস্ট।

1. আগে এক্সিকিউশন ভেন্যু বেছে নাও। সেই ভেন্যুর লাস্ট প্রাইস, ফান্ডিং স্ট্যাম্প, মার্ক, টিক আর ফি টিয়ার থেকে রিসার্চ টেপ বানাও। ভেন্ডরের ডিফল্ট যদি Binance হয়, সেটা ডিফল্ট নয়। সেটা আলাদা স্ট্র্যাটেজি।
2. যে ভেন্যুতে পেপার করবে তার হিস্ট্রি যদি না পাও, লিডিং টেপ বসিয়ে গ্যাপকে স্লিপেজ বলো না। হয় অপেক্ষা করো, নয়তো অন্য টেপকে ডিলেড সিগন্যাল হিসেবে ধরো আর তাকে ল্যাগ করো যতক্ষণ না সে এক্সিকিউশন বুকে দেখা যেতে পারত।
3. পেপার আর ব্যাকটেস্ট তুলনা করলে ড্রিফট ভাগ করো: ট্রেড মিনিটের লাস্ট-প্রাইস গ্যাপ, ফি লাইন, ফান্ডিং টাইমস্ট্যাম্প, স্টপের জন্য ব্যবহৃত মার্ক। মঙ্গলবারের ব্লটার চারটেই মিশিয়ে তাদের স্লিপেজ লেবেল দিয়েছিল।
4. ক্রসড টেস্ট ইচ্ছে করেই চালাও। A-তে সিগন্যাল, B-তে ফিল। পুরো এজ যদি সেখানেই থাকে, তোমার স্ট্র্যাটেজি নেই। তোমার আছে একটা lead-lag যাতে তুমি সাইজে ফিল পাবে না।

Bybit ট্রেড করার সময় আমি কি এখনো Binance-এ উঁকি দেব? ডিসক্রিশনারি স্যানিটি চেকের জন্য, অবশ্যই। ফিলের জন্য, না। পেপার অ্যাকাউন্ট আগেই বলে দিয়েছে সেই উঁকির দাম কত। সেটা অন্য ঘর আগে প্রিন্ট করা 4.1 bps-এর সমান, আর সেগুলো আমরা পাই না।