پیر کو ہمارے AI ریسرچ ایجنٹ نے کرپٹو فیوچرز کی ایک حکمتِ عملی دریافت کی، جس کا Sharpe ratio 4.1 تھا۔ جمعرات تک، تجربات گننے اور ایجنٹ کو اسی توثیقی مدت کی بنیاد پر پیرامیٹرز بہتر بنانے سے روکنے کے بعد، نتیجہ 0.8 رہ گیا۔ حکمتِ عملی نہیں بدلی تھی۔ تلاش سے حاصل شدہ کامیابی کے ہمارے اندازے میں تبدیلی آئی تھی۔
ہم نے اسے ایک مختصر تحقیقی ڈائری کے طور پر چلایا، کیونکہ ”احتیاط سے بہتر بنائیں“ کہنا آسان ہے، مگر جب کوئی ایجنٹ کوڈ لکھ سکے، بیک ٹیسٹ چلا سکے، اسکور دیکھ سکے اور چند منٹ میں دوبارہ کوشش کر سکے تو اس مشورے کو عملی جامہ پہنانا مشکل ہوتا ہے۔ یہ ہے کہ کیا کچھ بگڑا، اور کس ترتیب سے۔
پیر: ایجنٹ کو محدود سوال دیں
ہم نے ایجنٹ سے کہا کہ ایک لیکویڈ پرپیچوئل فیوچرز مارکیٹ میں سادہ گھنٹہ وار ٹرینڈ آئیڈیا آزمائے: مختصر موونگ ایوریج کے طویل موونگ ایوریج کو عبور کرنے پر پوزیشن کھولے، حجم کو مقررہ اتار چڑھاؤ کے ہدف کے مطابق رکھے، اور الٹے سگنل پر پوزیشن بند کر دے۔ ہم نے انسٹرومنٹ، تاریخیں، فیس شیڈول، فنڈنگ کی تاریخ، عمل درآمد کا مفروضہ اور وہ پیرامیٹر حدود متعین کیں جنہیں وہ تلاش کر سکتا تھا۔
تاریخی نمونہ 2021 سے 2025 تک تھا۔ ہم نے 2021–2023 کو ڈیولپمنٹ، 2024 کو توثیق کے لیے مختص کیا، اور 2025 کو آخری ہولڈ آؤٹ کے طور پر بند رکھا۔ یہ تقسیم جاب کی کنفیگریشن میں درج تھی، اس لیے ایجنٹ ڈیولپمنٹ کے نتائج اور توثیقی اسکور دیکھ سکتا تھا، مگر ہولڈ آؤٹ کے ریٹرنز حاصل نہیں کر سکتا تھا۔
ہماری پہلی غلطی یہ تھی کہ ایک ہی جاب میں 300 پیرامیٹر امتزاج آزمانے دیے، مگر تلاش کے بجٹ کو تحقیقی نتیجے کے طور پر درج نہیں کیا۔ ایجنٹ نے بہترین نتیجہ واپس کیا: 9 گھنٹے کی تیز موونگ ایوریج، 73 گھنٹے کی سست موونگ ایوریج، اور 0.8% کا اتار چڑھاؤ کا ہدف۔ اس کا توثیقی Sharpe 4.1 تھا۔ ہمیں معلوم تھا کہ ایجنٹ نے کئی سیٹنگز آزمائی تھیں۔ لیکن ہم نے ابھی اس حقیقت کو بھولنا ناممکن نہیں بنایا تھا۔
منگل: دوبارہ چلانے پر فاتح بدل گیا
ہم نے اسی جاب کو صاف ماحول سے دوبارہ چلایا۔ بہترین سیٹنگ بدل گئی، اور اس کا Sharpe گھٹ کر 2.7 رہ گیا۔ پہلے رن میں مارکیٹ ڈیٹا کیش نے فنڈنگ کی تازہ کاری شدہ سیریز دی تھی، جبکہ دوبارہ چلانے میں ایک مقررہ اسنیپ شاٹ استعمال ہوا۔ دونوں جابز کا دعویٰ تھا کہ تاریخوں کی حد ایک ہی ہے؛ مگر صرف ایک میں ڈیٹا کا قابلِ تکرار ورژن تھا۔
ہم نے اسکورز کا موازنہ روک کر پورا تجربہ درج کرنا شروع کیا: کوڈ کی نظرثانی، ڈیٹا اسنیپ شاٹ، فیس، فنڈنگ، عمل درآمد کی سیٹنگز، پیرامیٹرز کی قدریں، اور ایجنٹ کے شروع کیے ہوئے ہر ٹرائل کی تفصیل۔ اس سے واضح ہوا کہ 4.1 کوئی پراسرار مارکیٹ برتری نہیں تھی۔ یہ اسی توثیقی سال پر 300 کوششوں کی تلاش میں ایک سیٹنگ کا نتیجہ تھا۔
بدھ: ہولڈ آؤٹ کھولنے سے پہلے تلاش روک دیں
ہم نے مقررہ ڈیٹا اسنیپ شاٹ اور پہلے سے طے کردہ چھوٹے گرڈ کے ساتھ تجربہ دوبارہ چلایا: 24 امتزاج۔ ایجنٹ 2021–2023 کے ڈیولپمنٹ دورانیے پر ان کی درجہ بندی کر سکتا تھا۔ ہم نے اسے انتخاب کے لیے 2024 صرف ایک بار دکھایا، پھر منتخب سیٹنگز اور کوڈ کو لاک کر دیا۔
منتخب حکمتِ عملی نے توثیق پر 0.8 Sharpe حاصل کیا۔ بند رکھے گئے 2025 ہولڈ آؤٹ پر، مطالعے میں ہر جگہ استعمال ہونے والی ایک بار کی عمل درآمد تاخیر کے ساتھ، ٹیکر فیس اور فنڈنگ منہا کرنے کے بعد اس کا اسکور 0.3 تھا۔ یہ ایک مفید جواب تھا۔ یہ اس بات کا ثبوت نہیں تھا کہ حکمتِ عملی لائیو اکاؤنٹ میں منافع کمائے گی۔
اس ہفتے کا ایک ضمنی قصہ: ہم نے موونگ ایوریج کا کوڈ لکھنے سے زیادہ وقت اس بات پر اتفاق کرنے میں لگایا کہ ”ایک ٹرائل“ سے کیا مراد ہے۔ ہم نے بدلے ہوئے پیرامیٹر سیٹ کو ایک ٹرائل شمار کیا، اور سگنل یا پوزیشن کے حجم کا اصول بدلنے والے رنز کو بھی شمار کیا۔ نئے ڈیٹا اسنیپ شاٹ یا عمل درآمد کے مفروضے کے لیے الگ رن ریکارڈ بنایا، کیونکہ ان سے بھی درجہ بندی اتنی ہی بدل سکتی تھی۔
جمعرات: اگلی بار ہم کیا چھوڑ دیں گے
ہم شروع کی کھلی چھوٹ والی جاب چھوڑ دیں گے۔ ریسرچ ایجنٹ کو تلاش کا بجٹ اور اپنی آزمائی ہوئی چیزوں کا ریکارڈ درکار ہوتا ہے، خاص طور پر جب وہ ہر نتیجے کو اگلی کوشش کے انتخاب میں استعمال کر سکتا ہو۔ ہولڈ آؤٹ کو غیر رسمی طور پر جھانکنے سے بھی محفوظ رکھنا چاہیے: جب کوئی اس کا نتیجہ پڑھ کر حکمتِ عملی بدلتا ہے، تو وہ ایک اور توثیقی سیٹ بن جاتا ہے۔
چھوٹی تلاش کے لیے تجربات کا ایک عملی رجسٹر سادہ اور واضح ہو سکتا ہے:
| درج کریں | اہمیت |
|---|---|
| کوڈ اور ڈیٹا کے ورژن | تاکہ دوبارہ چلانے پر ان پٹ اور منطق وہی ہوں |
| آزمائے گئے ہر متبادل کی تفصیل | تاکہ فاتح کو تلاش کے تناظر میں سمجھا جا سکے |
| ڈیولپمنٹ، توثیق اور ہولڈ آؤٹ کے کردار | تاکہ آخری اسکور کو خاموشی سے دوبارہ سیٹنگز بہتر بنانے کے لیے استعمال نہ کیا جائے |
| فیس، فنڈنگ اور عمل درآمد کے مفروضے | تاکہ رپورٹ کردہ نتیجہ ایک قابلِ آزمائش سمولیشن کو بیان کرے |
ہولڈ آؤٹ کھولنے کے بعد، ایک نئے تحقیقی سوال کے ساتھ ڈیولپمنٹ کی طرف واپس جائیں اور پرانے نتیجے کو تاریخی ثبوت کے طور پر محفوظ رکھیں۔ اسی حکمتِ عملی کو اس مدت کے خلاف نکھارتے نہ رہیں جسے وہ پہلے ہی دیکھ چکی ہے۔
ایجنٹ نے اپنا کام کیا: اس نے تیزی سے تلاش کی اور ایک ایسی کنفیگریشن ڈھونڈی جس کا جائزہ لینا بنتا تھا۔ ہمارا کام تھا تلاش کو واضح بنانا، ایک غیر استعمال شدہ ٹیسٹ محفوظ رکھنا، اور اسکور کو ایک ایسی پیمائش سمجھنا جس کی اپنی تاریخ ہو۔ دلچسپ نتیجہ 4.1 یا 0.3 نہیں تھا۔ اصل دلچسپی یہ دیکھنے میں تھی کہ پہلا نمبر ٹھیک کیسے بنا۔
← تمام پوسٹس
