# GPT-6 Astra نے ایک اور AI کے لامتناہی سوچنے کے مسئلے کو حل کیا

Published: 2026-11-04

MIT سے منسلک ایک تحقیق نے GPT-6 Astra کا استعمال کرتے ہوئے ایک چھوٹے Qwen ماڈل کے وزن میں ترمیم کی اور زیادہ جوابات مکمل کرنے میں مدد کی۔ اس کے رپورٹ شدہ ریاضی کے سکور میں اضافہ کا انحصار ایک ٹارگٹڈ لوپ کی مرمت، پائتھن کے تجزیے اور پریکٹس فیڈ بیک پر تھا۔ ایک علیحدہ چھوٹے-Gemma کے فالو اپ میں کوئی ثابت شدہ فائدہ نہیں ملا۔

Canonical: https://thedailydiff.dev/ur/video/2026-11-03-astra-qwen-weights/

## اس ویڈیو میں کیا شامل ہے

- Qwen کے اسکور میں رپورٹ شدہ اضافہ دہرائے جانے والے استدلال کی ہدف شدہ مرمت سے ہوا؛ ترمیم شدہ جوابات کا تقریباً ایک تہائی اب بھی بنیادی پروٹوکول میں لمبائی کی حد تک پہنچ گیا۔
- گریڈینٹ ٹریننگ ممنوع تھی، جبکہ پائتھن، پریکٹس کے جوابات اور بیچڈ ماڈل-رن فیڈ بیک کو کئی بار استعمال کرنے کی اجازت تھی۔ حتمی تشخیصی سوالات کو ذرائع نے روک کر رکھنے کا اعلان کیا تھا۔
- چھوٹے را-ویٹ اور نو-رول آؤٹ گیم کے تجربات میں مختلف حالات استعمال کیے گئے۔ ان کے دعوے اپنی انفرادی ٹول، ان پٹ اور بیس لائن کے دائرہ کار کو برقرار رکھنے چاہیے۔
- میتھیو ہونیبل ٹول کی مدد سے کی گئی انجینئرنگ کو کریڈٹ دیتے ہیں اور تجربات کو یکجا کرنے سے پیدا ہونے والے وسیع تاثر پر اختلاف کرتے ہیں۔
- چھوٹے Gemma کے فالو اپ نے اپنا سیٹ اپ استعمال کیا اور کوئی بہتری ثابت نہیں کر سکا۔ کسی اور ماڈل پر لاگو کرنے سے پہلے یہ جانچیں کہ وزن کی ترمیم کس ناکامی کو ٹھیک کرتی ہے۔

## سوالات و جوابات

### Astra نے Qwen کے رپورٹ شدہ ریاضی کے سکور کو بہتر بنانے کے لیے کیا تبدیل کیا؟

ریکیہ تاکیہی اور شریک مصنفین کی تحقیق کے مطابق، Astra نے ہدف شدہ وزن میں ترمیم کی جس سے Qwen کو زیادہ جوابات مکمل کرنے میں مدد ملی۔ اس نے اندرونی تہوں میں منتخب کالموں سے تکرار سے منسلک حصہ کو ہٹا دیا۔ رپورٹ شدہ ریاضی کے سکور میں اضافہ ایک مقررہ تشخیصی پروٹوکول کا استعمال کرتا تھا۔ بہت سے ترمیم شدہ جوابات اب بھی لمبائی کی حد تک پہنچ گئے، لہذا نتیجہ میں کافی باقی ماندہ ناکامی کی شرح برقرار ہے۔

### Qwen وزن کی ترمیم کے دوران کن ٹولز اور فیڈ بیک کی اجازت تھی؟

پائتھن کے تجزیہ، جوابات کے ساتھ پریکٹس کے مسائل اور بیچڈ ماڈل-رن فیڈ بیک کو کئی بار استعمال کرنے کی اجازت تھی۔ محققین کی اصل ابتدائی پرامپٹ نے گریڈینٹ ٹریننگ کو ممنوع قرار دیا اور تشخیصی اور سببی جانچ کے مشورے کی وضاحت کی، جس میں دہرائے جانے والی سوچ کی مرمت کو ایک اہل ہدف کے طور پر شامل کیا گیا۔ اس سپورٹ نے Astra کو موجودہ وزن میں براہ راست ترمیم کا انتخاب کرنے میں مدد کی۔ ایک بجٹ یونٹ میں سینکڑوں پیدا شدہ جوابات شامل ہو سکتے تھے۔

### کیا حتمی تشخیصی مسائل ترمیمی ماڈل کے لیے دستیاب تھے؟

محققین کا کہنا ہے کہ حتمی تشخیصی سیٹ Astra کے لیے پوشیدہ رہے۔ پریکٹس فیڈ بیک ٹریننگ-سپلٹ مسائل سے آیا اور ترمیم کو منتخب کرنے میں مدد کی؛ علیحدہ روک کر رکھے گئے مسائل نے بعد میں جمع کردہ ماڈل کی پیمائش کی۔ ابتدائی پرامپٹ نے بینچ مارک کے ناموں اور تشخیصی پروٹوکول کو ظاہر کیا۔ یہ امتیاز بیان کرتا ہے کہ کیا روکا گیا تھا بغیر یہ دعویٰ کیے کہ ایڈیٹر کے پاس کام کے بارے میں تمام معلومات کی کمی تھی۔

### چھوٹے Gemma وزن میں ترمیم کے فالو اپ میں کیا ہوا؟

ریکیہ تاکیہی اور شریک مصنفین کے مطابق، چھوٹے Gemma کے فالو اپ میں کوئی فائدہ ثابت نہیں ہوا۔ ماڈل شاذ و نادر ہی لوپ ہوتا تھا، اور اس کی ناکامیوں میں غلط ریاضی اور غلط الجبرا شامل تھے۔ پریکٹس فیڈ بیک کے ساتھ ہدف شدہ ترامیم نے رپورٹ شدہ ریاضی کے سکور کو زیادہ سے زیادہ تقریباً ایک پوائنٹ تک بڑھایا۔ اس نے ایک علیحدہ سیٹ اپ استعمال کیا، لہذا موازنہ ایک محدود متضاد مثال فراہم کرتا ہے بجائے اس کے کہ ایک مساوی کنٹرول شدہ ابلیشن ہو۔

### The Daily Diff کا وزن میں ترمیم کے دعوے پر کیا فیصلہ تھا؟

The Daily Diff کا فیصلہ "NEEDS REVIEW" تھا۔ نیکو ہدف شدہ لوپ کی مرمت کو سنجیدگی سے لیں گے اور اس کی جانچ کریں گے، جبکہ وسیع تر دعووں کو اس ناکامی کے موڈ سے آگے کامیابی پر مشروط رکھیں گے۔ محققین کا اپنا چھوٹا ماڈل متضاد مثال اس فیصلے کو مطلع کرتا ہے۔ ڈویلپرز کو یہ شناخت کرنا چاہیے کہ ترمیم کس ناکامی کی مرمت کرتی ہے اور رپورٹ شدہ گنا کو منانے سے پہلے اپنے کاموں پر محفوظ شدہ وزن کا جائزہ لینا چاہیے۔

## ابواب

- 0:00 ریاضی کے اسکور میں اضافہ کیوں ہوا؟
- 0:58 Qwen کیا غلط کر رہا تھا؟
- 1:25 آج کا ناقد کس بات پر اختلاف کرتا ہے؟
- 1:41 Astra کو اصل میں کیا مدد ملی؟
- 2:27 اصل مرمت کتنی چھوٹی تھی؟
- 3:08 کون سے تجربات میں واقعی کوئی ٹولز نہیں تھے؟
- 3:40 زیادہ عمومی دعوے کے لیے کیا ضرورت ہوگی؟
- 4:06 اس ماڈل کو کیا ہوا جو شاذ و نادر ہی لوپ ہوتا تھا؟
- 4:47 کیا میں وزن میں ترمیم کے دعوے کو بھیجوں گا؟

## ترجمہ شدہ ٹرانسکرپٹ

اصل انگریزی بیان سے ترجمہ کیا گیا۔ دستیاب آڈیو اور کیپشنز یوٹیوب کے زیر انتظام ہیں۔

### ریاضی کے اسکور میں اضافہ کیوں ہوا؟

0:00 ایک AI کا دوسرے AI کو چھ گنا زیادہ ہوشیار بنانا فوری صلاحیت کی طرح لگتا ہے۔ Astra کا بڑا سکور جمپ Qwen کو جوابات مکمل کرنے میں مدد کرنے سے آیا جس میں یہ دہراتا رہتا تھا۔ اس ویڈیو میں، کیا بدلا؟ Astra کو کیا مدد ملی؟ اور یہ فکس کتنی دور تک جاتا ہے؟ Qwen تقریباً آٹھ فیصد سے اڑتالیس فیصد تک چلا گیا۔ محققین نے تقریباً بغیر کسی لوپ کے دوسرا ماڈل آزمایا۔ ہم فیصلہ سے پہلے دیکھیں گے کہ وہ کیسا رہا۔

0:22 منگل، 3 نومبر ہے، اور یہ The Daily Diff ہے۔ وزن-اسپیس پروگرامنگ محققین کا نام ہے ایک AI سے معائنہ کرنے یا نیورل نیٹ ورک کے اندر کے نمبر لکھنے کا۔ وہ نمبر اس کے وزن ہیں۔ اس MIT سے منسلک ٹیم نے اوپن اے آئی کے GPT سکس Astra کو ایک چھوٹے Qwen زبان ماڈل میں ترمیم کرنے کے لیے استعمال کیا، جس میں عام ٹریننگ ممنوع تھی۔ ریکیہ تاکیہی اور ان کے شریک مصنفین نے پیر کو یہ مطالعہ شائع کیا،

0:44 یہ پوچھتے ہوئے کہ کیا کوئی موجودہ AI دوسرے نیٹ ورک کے اندرونی حصوں کے بارے میں استدلال کر سکتا ہے۔ ان کا نمایاں نتیجہ بہت کلک کرنے والا ہے۔ ریاضی 500 پر، Qwen تقریباً آٹھ فیصد سے اڑتالیس فیصد تک بڑھ گیا۔ تقریباً چھ گنا زیادہ درست جوابات۔ Qwen سوچتا رہا یہاں تک کہ اس کے پاس جواب دینے کے لیے جگہ ختم ہو گئی۔

### Qwen کیا غلط کر رہا تھا؟

1:00 سوچنے کے موڈ میں، یہ اکثر اپنے استدلال کو دہراتا رہا۔ تصور کریں ایک طالب علم کو جو امتحان کی کاپی کو کام سے بھر رہا ہے جب تک کہ گھنٹی نہ بجے۔ مارکر کو پھر بھی جواب کی ضرورت ہوتی ہے۔ زیادہ تر اصل جوابات لمبائی کی حد تک پہنچ گئے۔ Astra نے دو اندرونی تہوں میں ایک دہرانے کی سمت کا پتہ لگایا، پھر منتخب وزن کے کالموں سے اس کی شراکت کو ہٹا دیا۔ اس ترمیم کے بعد، زیادہ جوابات ایک نتیجے پر پہنچے۔ رپورٹ شدہ ٹیسٹ میں تقریباً ایک تہائی اب بھی حد تک پہنچے۔

1:22 امتحانی کاپی کو آخرکار آخری لائن مل گئی۔ آج، میتھیو ہونیبل، spaCy کے خالق اور Explosion کے شریک بانی،

### آج کا ناقد کس بات پر اختلاف کرتا ہے؟

1:28 نے پیشکش کو چیلنج کیا۔ وہ کہتے ہیں کہ قاری تجربات کے مختلف حالات کو ایک غیر معمولی تکنیک کا تاثر دینے کے لیے یکجا کر سکتے ہیں۔ اس کا اعتراض ان کی مشترکہ کہانی پر ہے۔ ہم خود حالات کی جانچ کر سکتے ہیں۔ Qwen کے تجربے نے Astra کو وزن اور پریکٹس کے مسائل پر ایک پائتھن نوٹ بک دی

### Astra کو اصل میں کیا مدد ملی؟

1:44 جس میں جوابات تھے۔ کئی موڑوں پر، اس نے اندرونی سرگرمیوں کا معائنہ کیا اور اصل اور ترمیم شدہ ورژن کا موازنہ کیا۔ حتمی بجٹ نے ماڈل رن کے پچاس بیچز کی اجازت دی۔ ہر جنریشن بیچ میں سینکڑوں جوابات شامل ہو سکتے تھے۔ پریکٹس کا ڈیٹا ٹریننگ سپلٹس سے آیا تھا۔ محققین کا کہنا ہے کہ Astra نے کبھی حتمی تشخیصی سیٹ نہیں دیکھے۔ فیڈ بیک نے ترمیم کو منتخب کرنے میں مدد کی؛ روک کر رکھے گئے مسائل نے بعد میں اس کی پیمائش کی۔ نمونے لینے کی ترتیبات اصل اور ترمیم شدہ Qwen کے درمیان مستقل رہیں،

2:09 اس پروٹوکول کے سکور کا موازنہ قابل فہم بنا۔ پہلی پرامپٹ نے اسے ایک مددگار لیب سپروائزر دیا۔ ناکامیوں کی تشخیص کریں، ذمہ دار اجزاء تلاش کریں، ایک ہی مسائل پر موازنہ کریں، اور کئی طاقتوں کا تجربہ کریں۔ اس نے واضح طور پر دہرائے جانے والی سوچ کو ایک ایسی مرمت کے طور پر ذکر کیا جو شمار ہوتی ہے۔ گریجویٹ طلباء کو اس آن بورڈنگ پیکج کے لیے گفت و شنید کرنی چاہیے۔ یہ ایک متاثر کن مرمت ہے۔

### اصل مرمت کتنی چھوٹی تھی؟

2:28 Astra کی ہدف شدہ ترمیم نے تقریباً ایک سو اکتیس ہزار وزن کو چھوا۔ یہ ماڈل کا تقریباً سولہ ہزارواں فیصد ہے۔ وزن کی فائل براہ راست تبدیل ہوئی۔ گریڈینٹ ٹریننگ ممنوع رہی؛ موجودہ ماڈل نے Astra کے ترمیم سیشن ختم ہونے کے بعد جواب دیا۔ Astra's editing session ended. فائدہ ہدایات پر عمل کرنے تک بھی پہنچا۔ مجھے عملی اثر پسند ہے۔ ایک ماڈل کے پاس مفید کام ہو سکتا ہے جسے اس کی ناکامی کا طریقہ چھپاتا رہتا ہے۔

2:48 اس ناکامی کو ٹھیک کرنا قابل استعمال جوابات کو بحال کر سکتا ہے۔ ختم کرنا شمار ہوتا ہے۔ ہونیبل ٹول کی مدد سے کیے گئے کام کو کریڈٹ دیتے ہیں کہ یہ ایسے کام انجام دیتا ہے جو ایک انسانی مشین لرننگ انجینئر کر سکتا ہے۔ یہ ایک ایجنٹ کے لیے اہم ہے۔ اس کی شکایت یہ ہے کہ چھوٹے خام-نمبر کے مظاہرے اور بڑے پائتھن کی مدد سے کی گئی مرمت جب ایک ساتھ جوڑی جاتی ہیں تو ایک وسیع نتیجہ اخذ کرنے کی دعوت دیتی ہیں۔ چھوٹے گیم نیٹ ورکس کو لیں۔

### کون سے تجربات میں واقعی کوئی ٹولز نہیں تھے؟

3:09 ایک تجربے میں، Astra نے ان کے خام نمبر پڑھے اور صحیح طور پر شناخت کی کہ ہر نیٹ ورک نے کون سا گیم سیکھا تھا۔ اوزار ممنوع تھے۔ دوسرے میں، اس نے قواعد اور سورس کوڈ کا استعمال کرتے ہوئے، بغیر کسی پریکٹس رول آؤٹ کے، نئے گیم کھیلنے والے وزن کو شروع سے لکھا۔ یہ علیحدہ مظاہرے ہیں جن کے علیحدہ شواہد ہیں۔ Astra کے نیٹ ورکس نے تمام تین گیمز میں ایک سو ملین قدموں تک تربیت یافتہ بیس لائن کو شکست دی۔ طویل تربیت یافتہ بیس لائن کے خلاف، یہ سی کویسٹ اور

3:32 ایسٹرکس میں ہار گیا، جبکہ بریک آؤٹ جیتا۔ موازنہ کے کالم کو تبدیل کریں، اور فتح کی تقریر میں ترمیم کی ضرورت ہوگی۔ آسانی سے، ترمیم آج کا موضوع ہے۔ ایک وسیع تر دعوے کے لیے، ہم مختلف ناکامیوں والے ماڈلز میں بہتری چاہیں گے۔

### زیادہ عمومی دعوے کے لیے کیا ضرورت ہوگی؟

3:44 ٹریک کریں کہ ایڈیٹر نے کیا دیکھا اور کیا کامیابی کے طور پر شمار کیا گیا۔ Qwen کے ماڈل کارڈ میں پہلے ہی سوچنے کے لوپس کے بارے میں خبردار کیا گیا ہے۔ اس معلوم رکاوٹ کو ہٹانے کا ایک خاص نقطہ آغاز ہے۔ ان کے کریڈٹ کے لیے، مصنفین خود ہی غیر آرام دہ فالو اپ شائع کرتے ہیں۔ وہ وضاحت کرتے ہیں کہ لوپس کو روکنے سے Qwen کو وہ جوابات مکمل کرنے میں مدد ملتی ہے جو وہ پہلے ہی حل کر سکتا تھا۔ ان کے لاگز میں پرامپٹس، فیڈ بیک اور ترامیم شامل ہیں۔ ہم کامیابی کا جائزہ لے سکتے ہیں اور ایک مشکل سوال پوچھ سکتے ہیں۔

### اس ماڈل کو کیا ہوا جو شاذ و نادر ہی لوپ ہوتا تھا؟

4:06 اب دوسرا ماڈل، ایک چھوٹا Gemma اپنے فالو اپ سیٹ اپ میں۔ یہ شاذ و نادر ہی لوپ ہوتا تھا، لہذا اس کی ناکامیاں عام غلط ریاضی اور غلط الجبرا تھیں۔ Astra نے دوبارہ پریکٹس فیڈ بیک کے ساتھ ہدف شدہ وزن کی ترامیم کی کوشش کی۔ کسی نے بھی اس کے ریاضی کے سکور کو تقریباً ایک پوائنٹ سے زیادہ نہیں بڑھایا، اور کوئی فائدہ ثابت نہیں ہوا۔ کامیاب Qwen کی مرمت میں ایک رکاوٹ دور کرنا تھی۔ Gemma کی حسابی غلطیاں برقرار رہیں۔ یہ ڈویلپرز کے لیے مفید سوال ہے۔

4:28 ترمیم نے کس ناکامی کی مرمت کی، اور کیا آپ کے ماڈل میں واقعی وہ ہے؟ گنا کو منانے سے پہلے اپنے کاموں پر محفوظ شدہ وزن کی جانچ کریں۔ ایک مرمت شدہ رکاوٹ بہت زیادہ اہمیت رکھ سکتی ہے جبکہ اگلی رکاوٹ بالکل وہیں رہتی ہے جہاں وہ تھی۔ اگر آپ اسے سننے کے بجائے پڑھنا پسند کریں گے، تو فرق ہر صبح آپ کے ان باکس میں مفت میں thedailydiff.dev پر آتا ہے، لنک نیچے ہے۔

### کیا میں وزن میں ترمیم کے دعوے کو بھیجوں گا؟

4:47 لہذا، آج کا فیصلہ "NEEDS REVIEW" ہے۔ میں لوپ کی مرمت کو سنجیدگی سے لوں گا اور اس کی جانچ کروں گا۔ میں وسیع تر دعووں کو اس ناکامی کے موڈ سے آگے کامیابی پر مشروط رکھوں گا۔ مصنفین کا اپنا متضاد مثال فرق میں سب سے مفید لائن ہے۔ اور آج کے لیے بس اتنا ہی فرق ہے۔ میں Axrisi سے نیکو ہوں۔ ذمہ داری سے ضم کریں۔

## ذرائع

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above