# GPT-6 آسترا تفکر بی‌پایان یک هوش مصنوعی دیگر را اصلاح کرد

Published: 2026-11-04

یک مطالعه وابسته به MIT از GPT-6 آسترا برای ویرایش وزن‌های یک مدل کوچک Qwen استفاده کرد و به پاسخ‌های بیشتری کمک کرد تا به پایان برسند. جهش گزارش شده در نمره ریاضی آن به یک تعمیر حلقه هدفمند، تجزیه و تحلیل پایتون و بازخورد تمرین بستگی داشت. یک پیگیری جداگانه با مدل کوچک‌تر Gemma هیچ افزایش ثابتی را نشان نداد.

Canonical: https://thedailydiff.dev/fa/video/2026-11-03-astra-qwen-weights/

## این ویدیو چه مواردی را پوشش می‌دهد

- افزایش گزارش شده در نمره Qwen ناشی از یک تعمیر هدفمند در استدلال تکراری بود؛ حدود یک سوم از پاسخ‌های ویرایش شده هنوز در پروتکل اصلی به سقف طول می‌رسیدند.
- آموزش گرادیان ممنوع بود، در حالی که پایتون، پاسخ‌های تمرینی و بازخورد دسته‌بندی شده از اجرای مدل در چندین مرحله مجاز بود. سوالات ارزیابی نهایی به عنوان سوالات نگه داشته شده توسط منبع اعلام شدند.
- آزمایش‌های بازی کوچک با وزن خام و بدون انتشار از شرایط متفاوتی استفاده کردند. ادعاهای آن‌ها باید ابزار، ورودی و دامنه پایه خود را حفظ کنند.
- متیو هونیبال مهندسی به کمک ابزار را ستایش می‌کند و با برداشت گسترده‌تر ناشی از گروه‌بندی آزمایش‌ها مخالف است.
- پیگیری با مدل کوچک‌تر Gemma از تنظیمات خود استفاده کرد و نتوانست بهبود را اثبات کند. قبل از اعمال یک ویرایش وزن به مدل دیگر، تست کنید که آن ویرایش چه نوع خطایی را اصلاح می‌کند.

## سوالات متداول

### آسترا برای بهبود نمره ریاضی گزارش شده Qwen چه تغییری داد؟

بر اساس مطالعه ریکییا تاکاهی و همکارانش، آسترا یک ویرایش وزن هدفمند انجام داد که به Qwen کمک کرد پاسخ‌های بیشتری را به پایان برساند. این ویرایش سهم مرتبط با تکرار را از ستون‌های انتخاب شده در لایه‌های داخلی حذف کرد. افزایش گزارش شده در نمره ریاضی از یک پروتکل ارزیابی ثابت استفاده کرد. بسیاری از پاسخ‌های ویرایش شده هنوز به سقف طول می‌رسیدند، بنابراین نتیجه نرخ شکست باقیمانده قابل توجهی را حفظ می‌کند.

### چه ابزارها و بازخوردهایی در طول ویرایش وزن Qwen مجاز بودند؟

تجزیه و تحلیل پایتون، مسائل تمرینی با پاسخ‌ها و بازخورد دسته‌بندی شده از اجرای مدل در چندین مرحله مجاز بودند. فرمان اولیه محققان آموزش گرادیان را ممنوع کرده و توصیه‌های تشخیصی و علّی را مشخص کرده بود، از جمله تعمیر تفکر تکراری به عنوان یک هدف واجد شرایط. این پشتیبانی به آسترا کمک کرد تا یک ویرایش مستقیم به وزن‌های موجود را انتخاب کند. یک واحد بودجه می‌توانست صدها پاسخ تولید شده را شامل شود.

### آیا مسائل ارزیابی نهایی برای مدل ویرایشگر در دسترس بودند؟

محققان می‌گویند مجموعه‌های ارزیابی نهایی توسط آسترا دیده نشدند. بازخورد تمرین از مسائل بخش آموزشی آمد و به انتخاب ویرایش کمک کرد؛ مسائل جداگانه نگه داشته شده بعداً مدل ارسال شده را اندازه‌گیری کردند. فرمان اولیه نام‌های معیار و پروتکل ارزیابی را فاش کرد. این تمایز آنچه را که پنهان شده بود، توصیف می‌کند بدون اینکه ادعا کند ویرایشگر فاقد تمام اطلاعات در مورد وظیفه بوده است.

### چه اتفاقی در پیگیری ویرایش وزن Gemma کوچکتر افتاد؟

بر اساس ریکییا تاکاهی و همکارانش، پیگیری Gemma کوچکتر نتوانست افزایشی را اثبات کند. مدل به ندرت در حلقه می‌افتاد و شکست‌های آن شامل اشتباهات حسابی و جبر نامعتبر بود. ویرایش‌های هدفمند با بازخورد تمرین نمره ریاضی گزارش شده را حداکثر حدود یک امتیاز جابجا کردند. از تنظیمات جداگانه‌ای استفاده شد، بنابراین مقایسه یک مثال نقض محدود را ارائه می‌دهد تا یک تخریب کنترل شده برابر.

### حکم The Daily Diff در مورد ادعای ویرایش وزن چه بود؟

حکم The Daily Diff، NEEDS REVIEW بود. نیکو تعمیر حلقه هدفمند را جدی می‌گیرد و آن را تست می‌کند، در حالی که ادعاهای گسترده‌تر را منوط به موفقیت فراتر از آن حالت شکست نگه می‌دارد. مثال نقض خود محققان با مدل کوچکتر، این قضاوت را تقویت می‌کند. توسعه‌دهندگان باید نوع خطایی را که ویرایش اصلاح می‌کند شناسایی کرده و وزن‌های ذخیره شده را در وظایف خود ارزیابی کنند، قبل از جشن گرفتن یک ضریب گزارش شده.

## فصل‌ها

- 0:00 چرا نمره ریاضی جهش کرد؟
- 0:58 Qwen چه اشتباهی می‌کرد؟
- 1:25 منتقد امروز چه چیزی را مورد اختلاف قرار می‌دهد؟
- 1:41 آسترا واقعاً چه کمکی دریافت کرد؟
- 2:27 تعمیر واقعی چقدر کوچک بود؟
- 3:08 کدام آزمایش‌ها واقعاً ابزاری نداشتند؟
- 3:40 یک ادعای کلی‌تر به چه چیزی نیاز دارد؟
- 4:06 چه اتفاقی برای مدلی افتاد که به ندرت در حلقه می‌افتاد؟
- 4:47 آیا ادعای ویرایش وزن را ارسال می‌کردم؟

## رونوشت ترجمه شده

ترجمه شده از روایت اصلی انگلیسی. صوت و زیرنویس‌های موجود توسط YouTube کنترل می‌شوند.

### چرا نمره ریاضی جهش کرد؟

0:00 یک هوش مصنوعی که هوش مصنوعی دیگری را شش برابر هوشمندتر می‌کند، مانند نبوغ فوری به نظر می‌رسد. جهش بزرگ نمره آسترا از کمک به Qwen برای پایان دادن به پاسخ‌هایی که مدام تکرار می‌کرد، ناشی شد. در این ویدیو، چه چیزی تغییر کرد؟ آسترا چه کمکی دریافت کرد؟ و این اصلاح چقدر گسترش می‌یابد؟ Qwen از حدود هشت درصد به چهل و هشت درصد رسید. محققان یک مدل دوم را با تقریباً هیچ حلقه‌ای آزمایش کردند. قبل از حکم نهایی، خواهیم دید که چگونه پیش رفت.

0:22 سه‌شنبه، سوم نوامبر است و این The Daily Diff است. برنامه‌نویسی فضای وزن نامی است که محققان برای درخواست از یک هوش مصنوعی برای بازرسی یا نوشتن اعداد داخل یک شبکه عصبی استفاده می‌کنند. این اعداد وزن‌های آن هستند. این تیم وابسته به MIT از GPT-6 آسترای OpenAI برای ویرایش یک مدل زبان کوچک Qwen استفاده کرد، با آموزش معمولی ممنوع. ریکییا تاکاهی و همکارانش مطالعه را روز دوشنبه منتشر کردند و

0:44 پرسیدند که آیا یک هوش مصنوعی موجود می‌تواند در مورد داخلی‌ترین بخش‌های شبکه دیگری استدلال کند. نتیجه اصلی آن‌ها بسیار قابل کلیک است. در ریاضیات پانصد، Qwen از حدود هشت درصد به چهل و هشت درصد افزایش یافت. تقریباً شش برابر پاسخ‌های صحیح. Qwen آنقدر فکر کرد تا جایی برای پاسخ دادن نداشت.

### Qwen چه اشتباهی می‌کرد؟

1:00 در حالت تفکر، اغلب استدلال خود را تکرار می‌کرد. دانش‌آموزی را تصور کنید که دفترچه امتحان را با کار پر می‌کند تا زنگ بخورد. تصحیح کننده هنوز به یک پاسخ نیاز دارد. بیشتر پاسخ‌های اصلی به حد طول رسیدند. آسترا یک جهت تکرار را در دو لایه داخلی پیدا کرد، سپس سهم آن را از ستون‌های وزنی انتخاب شده حذف کرد. پس از آن ویرایش، پاسخ‌های بیشتری به نتیجه رسیدند. حدود یک سوم هنوز در تست گزارش شده به سقف رسیدند.

1:22 دفترچه امتحان بالاخره یک خط آخر داشت. امروز، متیو هونیبال، خالق spaCy و یکی از بنیانگذاران Explosion،

### منتقد امروز چه چیزی را مورد اختلاف قرار می‌دهد؟

1:28 شیوه ارائه را به چالش کشید. او می‌گوید که خوانندگان می‌توانند شرایط مختلف آزمایش‌ها را در یک تصور از یک تکنیک فوق‌العاده ترکیب کنند. اعتراض او به داستان ترکیبی آن‌ها مربوط می‌شود. ما می‌توانیم خودمان شرایط را بررسی کنیم. آزمایش Qwen به آسترا یک نوت‌بوک پایتون روی وزن‌ها و مسائل

### آسترا واقعاً چه کمکی دریافت کرد؟

1:44 تمرینی با پاسخ‌ها داد. در چندین مرحله، فعال‌سازی‌های داخلی را بررسی کرد و نسخه‌های اصلی و ویرایش شده را مقایسه کرد. بودجه نهایی پنجاه دسته از اجرای مدل را مجاز می‌کرد. هر دسته تولید می‌توانست صدها پاسخ را شامل شود. داده‌های تمرینی از بخش‌های آموزشی آمدند. محققان می‌گویند آسترا هرگز مجموعه‌های ارزیابی نهایی را ندید. بازخورد به انتخاب ویرایش کمک کرد؛ مسائل نگه داشته شده بعداً آن را اندازه‌گیری کردند. تنظیمات نمونه‌برداری بین Qwen اصلی و ویرایش شده ثابت ماندند،

2:09 که مقایسه نمره این پروتکل را قابل تفسیر می‌کند. اولین فرمان یک سرپرست آزمایشگاه مفید به آن داد. عیوب را تشخیص دهید، اجزای مسئول را پیدا کنید، در مسائل مشابه مقایسه کنید و چندین قدرت را آزمایش کنید. به صراحت به تفکر تکراری به عنوان یک تعمیر قابل قبول اشاره کرد. دانشجویان کارشناسی ارشد باید برای این بسته آموزشی مذاکره کنند. این یک تعمیر چشمگیر است.

### تعمیر واقعی چقدر کوچک بود؟

2:28 ویرایش هدفمند آسترا تقریباً صد و سی و یک هزار وزن را لمس کرد. این حدود شانزده هزارم درصد از مدل است. فایل وزن مستقیماً تغییر کرد. آموزش گرادیان ممنوع ماند؛ مدل موجود پس از پایان جلسه ویرایش آسترا پاسخ می‌داد. این افزایش به پیروی از دستورالعمل‌ها نیز رسید. من پیامد عملی را دوست دارم. یک مدل می‌تواند کار مفیدی داشته باشد که حالت شکست آن آن را پنهان می‌کند.

2:48 اصلاح آن شکست می‌تواند پاسخ‌های قابل استفاده را بازیابی کند. پایان دادن مهم است. هونیبال به کار به کمک ابزار به عنوان انجام وظایفی که یک مهندس یادگیری ماشین انسانی می‌تواند انجام دهد، اعتبار می‌دهد. این برای یک عامل مهم است. شکایت او این است که نمایش‌های کوچک اعداد خام و تعمیرات بزرگتر به کمک پایتون، هنگامی که با هم ترکیب می‌شوند، به یک نتیجه‌گیری گسترده‌تر دعوت می‌کنند. شبکه‌های بازی کوچک را در نظر بگیرید.

### کدام آزمایش‌ها واقعاً ابزاری نداشتند؟

3:09 در یک آزمایش، آسترا اعداد خام آن‌ها را خواند و به درستی شناسایی کرد که هر شبکه چه بازی را یاد گرفته بود. ابزارها ممنوع بودند. در دیگری، وزن‌های جدید بازی را از ابتدا با استفاده از قوانین و کد منبع نوشت، بدون هیچ پخش تمرینی. اینها نمایش‌های جداگانه با شواهد جداگانه هستند. شبکه‌های آسترا در هر سه بازی، پایه آموزش دیده برای صد میلیون مرحله را شکست دادند. در برابر پایه آموزش دیده طولانی‌تر، در Seaquest و

3:32 Asterix شکست خورد، در حالی که در Breakout برنده شد. ستون مقایسه را تغییر دهید، و سخنرانی پیروزی نیاز به ویرایش دارد. به طرز خوشایند، ویرایش موضوع امروز است. برای یک ادعای گسترده‌تر، ما بهبودها را در مدل‌هایی با شکست‌های مختلف می‌خواهیم.

### یک ادعای کلی‌تر به چه چیزی نیاز دارد؟

3:44 پیگیری کنید که ویرایشگر چه دید و چه چیزی به عنوان موفقیت به حساب آمد. کارت مدل Qwen قبلاً در مورد حلقه‌های تفکر هشدار می‌دهد. حذف این مانع شناخته شده یک نقطه شروع خاص دارد. برای اعتبارشان، نویسندگان خودشان پیگیری ناخوشایند را منتشر می‌کنند. آنها توضیح می‌دهند که توقف حلقه‌ها به Qwen اجازه می‌دهد پاسخ‌هایی را که قبلاً می‌توانست حل کند، به پایان برساند. گزارشات آن‌ها شامل فرمان‌ها، بازخوردها و ویرایش‌ها است. ما می‌توانیم دستاورد را بررسی کنیم و یک سوال سخت‌تر بپرسیم.

### چه اتفاقی برای مدلی افتاد که به ندرت در حلقه می‌افتاد؟

4:06 حالا مدل دوم، یک Gemma کوچک‌تر در تنظیمات پیگیری خود. آن به ندرت در حلقه می‌افتاد، بنابراین شکست‌های آن اشتباهات عادی ریاضی و جبر نامعتبر بود. آسترا دوباره ویرایش‌های وزن هدفمند را با بازخورد تمرین امتحان کرد. هیچ کدام نمره ریاضی آن را بیش از حدود یک امتیاز جابجا نکرد، و هیچ افزایشی اثبات نشد. تعمیر موفقیت‌آمیز Qwen یک مانع برای حذف داشت. خطاهای حسابی Gemma باقی ماندند. این سوال مفید برای توسعه‌دهندگان است.

4:28 ویرایش کدام شکست را اصلاح کرد و آیا مدل شما واقعاً آن را دارد؟ قبل از جشن گرفتن ضریب، وزن‌های ذخیره شده را در وظایف خودتان تست کنید. یک گلوگاه تعمیر شده می‌تواند بسیار مهم باشد در حالی که گلوگاه بعدی دقیقاً همان جایی که بود باقی می‌ماند. اگر ترجیح می‌دهید این را بخوانید تا از من بشنوید، diff هر روز صبح به صورت رایگان در daily diff dot dev به ایمیل شما می‌رسد، لینک در پایین.

### آیا ادعای ویرایش وزن را ارسال می‌کردم؟

4:47 پس، حکم امروز NEEDS REVIEW است. من تعمیر حلقه را جدی می‌گیرم و آن را تست می‌کنم. من ادعاهای گسترده‌تر را منوط به موفقیت فراتر از آن حالت شکست نگه می‌دارم. مثال نقض خود نویسندگان مفیدترین خط در diff است. و این برای امروز diff است. من نیکو از Axrisi هستم. مسئولانه ادغام کنید.

## منابع

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above