ডেটা আরও খারাপ করে দিলেও ব্যাকটেস্টকে আরও বিশ্বাসযোগ্য দেখাতে পারে। বাজে প্রিন্টগুলো বাদ দিন, ফাঁকগুলো গুছানো দামে পূরণ করুন, Sharpe বেড়ে যেতে পারে। এই উন্নতি সতর্কবার্তা হতে পারে: পরিষ্কারের নিয়মটি হয়তো ঠিক সেই বাজার পরিস্থিতিগুলো মুছে দিয়েছে, যেগুলোতে আপনার স্ট্র্যাটেজিকে টিকে থাকতে হবে।
ডেটার মান গুরুত্বপূর্ণ। বিপরীতমুখী কোট বা নকল ট্রেড এমন ফিল তৈরি করতে পারে, যা কেউ পেতেনই না। কিন্তু অসুবিধাজনক পর্যবেক্ষণগুলোকে অদৃশ্য করে দেয় এমন ফিল্টারও একটি মডেল-সংক্রান্ত সিদ্ধান্ত। নতুন সিগন্যাল ফিচারকে যতটা সন্দেহের চোখে দেখতেন, এটিকেও ততটাই দেখুন।
খারাপ দাম কখন আসলে খারাপ ডেটা?
প্রথমে জিজ্ঞেস করুন, পর্যবেক্ষণটি কী বোঝায়। প্রচলিত বাজারদর থেকে অনেক দূরের কোনো ট্রেড হতে পারে নষ্ট রেকর্ড, পাতলা লিকুইডিটির মধ্যে দিয়ে যাওয়া প্রকৃত বড় অর্ডার, অথবা কোনো নির্দিষ্ট ভেন্যুর ঘটনা। শূন্য ভলিউমের 1-minute ক্যান্ডেলের অর্থ হতে পারে কোনো ট্রেড হয়নি, আর অনুপস্থিত ক্যান্ডেলের অর্থ হতে পারে ফিডে সমস্যা হয়েছে। এই ঘটনাগুলোর ব্যবস্থাপনা আলাদা হওয়া উচিত।
একটি সরল mean-reversion স্ট্র্যাটেজির কথা ভাবুন, যা স্বল্পমেয়াদি চলমান গড়ের চেয়ে দাম 1% কমলে কেনে এবং গড়ে পৌঁছালে বিক্রি করে। রাতের বেলায় লিকুইডিটি কম থাকার সময় একটি ট্রেড আগের দামের চেয়ে 1.2% নিচে হয়, তারপর বাজার দ্রুত ঘুরে দাঁড়ায়। প্রিন্টটি প্রকৃত হলে, বাজারে রাখা limit order-সহ স্ট্র্যাটেজির অর্ডারটি পূরণ হয়ে থাকতে পারে। কিন্তু কার্যকর করা সম্ভব এমন কোনো কোট যদি দামটিকে সমর্থন না করে, অর্থাৎ সেটি bad tick হয়, তাহলে সেই ফিল গণনা করলে কাল্পনিক edge তৈরি হয়।
বারটি মুছে ফেললেই যে ঝুঁকি কমবে, তা নয়। স্ট্র্যাটেজির অর্ডারটি তখনও বাজারে অপেক্ষমাণ থাকতে পারত, আর পরের প্রকৃত ট্রেডে সেটি পূরণ হতে পারত। নির্ভরযোগ্য replay-তে মডেল করতে হবে, স্ট্র্যাটেজি কী দেখতে পেত এবং তার অর্ডার কোন দামে বাস্তবসম্মতভাবে পূরণ হতে পারত।
পরিষ্কারের নিয়ম ফলাফলকে কীভাবে বদলায়?
ডেটা ব্যবহারের স্পষ্টভাবে নির্ধারিত কয়েকটি পদ্ধতিতে স্ট্র্যাটেজি চালিয়ে পরিবর্তনগুলো তুলনা করুন। মূল সোর্সটি রেখে দিন এবং প্রতিটি বাদ দেওয়া বা সংশোধনের কারণ নথিভুক্ত করুন। এরপর রিপোর্ট করুন, ফলাফলের কতটা এই সিদ্ধান্তগুলোর ওপর নির্ভরশীল।
| ডেটা ব্যবহারের পদ্ধতি | সম্ভাব্য সুবিধা | ব্যাকটেস্টের ঝুঁকি |
|---|---|---|
| এক্সচেঞ্জের নথিভুক্ত ত্রুটি-সীমার বাইরে থাকা প্রিন্ট বাদ দিন | পরিচিত অবৈধ রেকর্ডকে চরম মান নির্ধারণ করা থেকে আটকায় | দ্রুতগতির বাজারে নিয়মটি বৈধ ট্রেডকে ভুলভাবে চিহ্নিত করতে পারে |
| অনুপস্থিত সময়সীমায় সর্বশেষ দামটি বহাল রাখুন | ফাঁকের কারণে ইন্ডিকেটর কাজ করা বন্ধ করা ঠেকায় | এমন একটি দাম তৈরি করে, যে দামে কোনো ট্রেড নাও হয়ে থাকতে পারে |
| সর্বশেষ ট্রেডের বদলে একীভূত কোট ব্যবহার করুন | দেখানো কার্যকরী দাম সম্পর্কে আরও ভালো ধারণা দেয় | কোটের পরিমাণ, ভেন্যুতে প্রবেশাধিকার এবং কিউতে অবস্থান তবু গুরুত্বপূর্ণ |
| পরিসংখ্যানভিত্তিক সীমা দিয়ে সব outlier বার বাদ দিন | চরম মানের প্রতি সংবেদনশীলতা কমায় | যে প্রকৃত সংকটকালগুলোতে স্ট্র্যাটেজির বেশির ভাগ ক্ষতি হয়, সেগুলো বাদ পড়তে পারে |
ধরা যাক, ফিল্টার না করা রানটির Sharpe 0.9, আর 0.8% বার বাদ দেওয়া রানটির Sharpe বেড়ে 1.4 হলো। শুধু এ থেকে ডেটার মান উন্নত হয়েছে বলা যায় না। বাদ দেওয়া বারগুলো ভোলাটিলিটির আকস্মিক বৃদ্ধির সময়ে জমা হয়েছে কি না, সেগুলো P&L-এর উল্লেখযোগ্য অংশের জন্য দায়ী কি না, এবং ফল দেখার আগেই বাদ দেওয়ার নিয়মটি নির্ধারণ করা হয়েছিল কি না, তা যাচাই করুন।
ডেটা-সংক্রান্ত ব্যতিক্রমের হিসাব রাখুন: সোর্স, টাইমস্ট্যাম্প, প্রভাবিত ফিল্ড, পদক্ষেপের কারণ, এবং স্ট্র্যাটেজির পারফরম্যান্স পর্যালোচনার আগে না পরে সিদ্ধান্তটি নেওয়া হয়েছিল।
পরিষ্কারের ফলে edge বদলেছে কি না, কীভাবে পরীক্ষা করব?
স্ট্র্যাটেজি অপরিবর্তিত রেখে একই তারিখে সম্ভাব্য কয়েকটি ডেটা ব্যবহারের পদ্ধতি তুলনা করুন। সম্ভব হলে মূল ডেটা দিয়ে replay, নথিভুক্ত সংশোধনের সেট এবং যেসব পর্যবেক্ষণ নিয়ে অনিশ্চয়তা আছে সেগুলোর জন্য সতর্কতামূলক execution case অন্তর্ভুক্ত করুন। প্রতিটি রানের জন্য Sharpe-এর পাশাপাশি ট্রেডের সংখ্যা, turnover, drawdown এবং প্রভাবিত সময়সীমাগুলোর P&L-এ অবদান রিপোর্ট করুন।
এরপর যেসব ট্রেড বদলে যায়, সেগুলো খতিয়ে দেখুন। সন্দেহজনক প্রিন্টের ছোট একটি গোষ্ঠী বাদ দিলে স্ট্র্যাটেজির সেরা লাভগুলো উধাও হয়ে গেলে, রেকর্ডগুলো একে একে পড়ুন। ক্ষতিগুলো উধাও হলেও একই রকম যাচাই করুন। ব্যাকটেস্টের ক্ষতি হলেই যে নিয়মটি খুঁটিয়ে দেখা হয়, সেটি ইতিমধ্যে গবেষণায় ভূমিকা রাখছে।
পুনরুৎপাদনযোগ্য গবেষণার জন্য ভেন্ডরের ফাইল বা সেগুলোর checksum, পরিষ্কারের কোড এবং ব্যতিক্রমের তালিকার সংস্করণ সংরক্ষণ করুন। ভেন্ডর অতীতের তথ্য সংশোধন করতে পারে; আপনার পরের রান এমনভাবে তৈরি হওয়া উচিত, যাতে বোঝা যায় স্ট্র্যাটেজি বদলেছে, নাকি ইনপুট।
কিন্তু ডেটা পরিষ্কার করা কি জরুরি নয়?
হ্যাঁ। স্পষ্টতই নষ্ট রেকর্ড রেখে দিলে কাল্পনিক ট্রেড তৈরি হতে পারে, ভোলাটিলিটি বিকৃত হতে পারে, কিংবা ইন্ডিকেটর কাজ করা বন্ধ করতে পারে। আর কাঁচা ফিডকে কেউই চূড়ান্ত সত্য বলে ভান করবেন না। ব্যবহারিক কথাটি আরও সীমিত: পরিষ্কারের পক্ষে প্রমাণ, স্থির নিয়ম এবং সংবেদনশীলতা যাচাই দরকার, কারণ এর ফলে ব্যাকটেস্ট যে বাজারকে তুলে ধরার দাবি করে, সেটি বদলে যেতে পারে।
ডেটা সংশোধনের পর পারফরম্যান্স বাড়লে জিজ্ঞেস করুন, কোন পর্যবেক্ষণটি বাদ পড়েছে এবং ইকুইটি কার্ভ না দেখলেও আপনি একই সিদ্ধান্ত নিতেন কি না। উত্তর অনিশ্চিত হলে, গবেষণার রেকর্ডে দুই সংস্করণই রাখুন। দুই সংস্করণের পার্থক্যও ফলাফলের অংশ।
← সব পোস্ট
