# GPT-6 Astra digər süni intellektin sonsuz düşüncəsini yamadı

Published: 2026-11-04

MİT-ə bağlı bir tədqiqat, kiçik bir Qwen modelinin çəkilərini redaktə etmək və daha çox cavabın tamamlanmasına kömək etmək üçün GPT-6 Astra-dan istifadə etdi. Bildirilən riyaziyyat-balının yüksəlməsi hədəflənmiş dövrə təmiri, Python analizi və təcrübə rəyindən asılı idi. Ayrı bir kiçik-Gemma izləməsi heç bir təsdiqlənmiş qazanc tapmadı.

Canonical: https://thedailydiff.dev/az/video/2026-11-03-astra-qwen-weights/

## Bu videoda nələr əhatə olunur

- Qwen-in bildirilən bal artımı təkrarlanan mühakiməyə hədəflənmiş təmir nəticəsində əldə edildi; redaktə edilmiş cavabların təxminən üçdə biri ilkin protokolda hələ də uzunluq həddinə çatdı.
- Qradient təlimi qadağan edildi, Python, təcrübə cavabları və çoxsaylı dövrələr ərzində partiya modeli-çalışdırma rəyi icazə verildi. Yekun qiymətləndirmə sualları mənbə tərəfindən saxlanılmış elan edildi.
- Kiçik xam-çəki və sınaqsız oyun təcrübələri müxtəlif şərtlərdən istifadə etdi. Onların iddiaları fərdi alət, giriş və baza həddini saxlamalıdır.
- Matthew Honnibal alət dəstəkli mühəndisliyə kredit verir və təcrübələrin birləşdirilməsi ilə yaranan daha geniş təəssüratı mübahisələndirir.
- Daha kiçik Gemma izləməsi öz quraşdırmasından istifadə etdi və inkişafı təsdiq edə bilmədi. Bir çəki düzəlişinin digər modelə tətbiq etməzdən əvvəl hansı uğursuzluğu təmir etdiyini sınaqdan keçirin.

## Suallar və cavablar

### Astra Qwen-in bildirilən riyaziyyat balını yaxşılaşdırmaq üçün nəyi dəyişdirdi?

Rikiya Takehi və həmmüəlliflərin araşdırmasına görə, Astra hədəflənmiş çəki düzəlişi etdi ki, bu da Qwen-in daha çox cavabı tamamlamasına kömək etdi. O, daxili təbəqələrdə seçilmiş sütunlardan təkrarlanan bir töhfəni çıxardı. Bildirilən riyaziyyat balının artması sabit bir qiymətləndirmə protokolundan istifadə etdi. Çox sayda redaktə edilmiş cavab hələ də uzunluq həddinə çatdı, buna görə də nəticə əhəmiyyətli bir qalıq uğursuzluq nisbətini qoruyur.

### Qwen çəki redaktəsi zamanı hansı alətlərə və rəylərə icazə verildi?

Python analizi, cavabları olan təcrübə problemləri və çoxsaylı dövrələr ərzində partiya modeli-çalışdırma rəyi icazə verildi. Tədqiqatçıların əsl ilkin təlimatı qradient təlimini qadağan etdi və diaqnostik və səbəbiyyət testi məsləhətlərini, o cümlədən təkrarlanan düşünmə təmirini uyğun bir hədəf olaraq təyin etdi. Bu dəstək Astra-ya mövcud çəkilərə birbaşa düzəliş seçməyə kömək etdi. Bir büdcə vahidi yüzlərlə yaradılmış cavab ehtiva edə bilərdi.

### Yekun qiymətləndirmə problemləri redaktə modelinə açıq idi?

Tədqiqatçılar deyirlər ki, yekun qiymətləndirmə dəstləri Astra tərəfindən görünməmiş qaldı. Təcrübə rəyi təlim-bölünmə problemlərindən gəldi və düzəlişi seçməyə kömək etdi; ayrı saxlanılmış problemlər sonra təqdim edilmiş modeli ölçdü. İlkin təlimat benchmark adlarını və qiymətləndirmə protokolunu açıqladı. Bu fərq, redaktorun tapşırıq haqqında bütün məlumatdan məhrum olduğunu iddia etmədən nəyin gizlədildiyini təsvir edir.

### Daha kiçik Gemma çəki redaktəsi izləməsində nə baş verdi?

Rikiya Takehi və həmmüəlliflərin araşdırmasına görə, daha kiçik Gemma izləməsi qazanc əldə edə bilmədi. Model nadir hallarda dövrə edirdi və onun uğursuzluqları səhv hesablama və etibarsız cəbri əhatə edirdi. Təcrübə rəyi ilə hədəflənmiş düzəlişlər bildirilən riyaziyyat balını ən çox təxminən bir nöqtə qədər dəyişdirdi. O, ayrı bir quraşdırmadan istifadə etdi, buna görə də müqayisə bərabər-nəzarət edilmiş ablasyon deyil, əhatəli bir əks nümunə təmin edir.

### The Daily Diff-in çəki redaktəsi iddiası haqqında hökmü nə idi?

The Daily Diff-in hökmü NEEDS REVIEW idi. Niko hədəflənmiş dövrə təmirini ciddi qəbul edər və sınayardı, daha geniş iddiaları isə bu uğursuzluq rejimindən kənar uğurla məhdudlaşdırardı. Tədqiqatçıların öz kiçik-model əks nümunəsi bu hökmü formalaşdırır. Tərtibatçılar düzəlişin təmir etdiyi uğursuzluğu müəyyənləşdirməli və bildirilən bir çarpanı qeyd etməzdən əvvəl yadda saxlanmış çəkiləri öz vəzifələri üzərində qiymətləndirməlidirlər.

## Fəsillər

- 0:00 Riyaziyyat balı niyə yüksəldi?
- 0:58 Qwen nəyi səhv edirdi?
- 1:25 Bugünkü tənqidçi nəyi mübahisələndirir?
- 1:41 Astra əslində hansı köməyi aldı?
- 2:27 Əsl təmir nə qədər kiçik idi?
- 3:08 Hansı təcrübələrdə əslində heç bir alət yox idi?
- 3:40 Daha ümumi bir iddiaya nə lazım olardı?
- 4:06 Nadir hallarda dövrə edən modelə nə oldu?
- 4:47 Çəki düzəlişi iddiasını SHIP IT edərdimmi?

## Tərcümə olunmuş transkript

Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.

### Riyaziyyat balı niyə yüksəldi?

0:00 Bir süni intellektin başqa bir süni intellekti altı dəfə ağıllı etməsi dərhal dahilik kimi səslənir. Astra'nın böyük bal artımı Qwen'in davamlı təkrarladığı cavabları bitirməsinə kömək etməkdən qaynaqlandı. Bu videoda nə dəyişdi? Astra hansı köməyi aldı? Və düzəliş nə qədər uzağa gedir? Qwen təxminən səkkiz faizdən qırx səkkiz faizə yüksəldi. Tədqiqatçılar demək olar ki, heç bir dövrə olmayan ikinci bir model sınadılar. Hökm verməzdən əvvəl bunun necə getdiyini görəcəyik.

0:22 Bu çərşənbə axşamı, noyabrın üçüdür və bu, The Daily Diff-dir. Çəki fəzasında proqramlaşdırma tədqiqatçıların verdiyi addır, bir süni intellektdən bir neyron şəbəkənin içindəki rəqəmləri yoxlamağı və ya yazmağı xahiş etmək üçün. Bu rəqəmlər onun çəkiləridir. Bu MİT-ə bağlı komanda, adi təlim qadağan edilmiş kiçik bir Qwen dil modelini redaktə etmək üçün OpenAI-nin GPT six Astra-dan istifadə etdi. Rikiya Takehi və həmmüəllifləri bazar ertəsi tədqiqatı dərc etdilər, mövcud bir süni intellektin başqa bir şəbəkənin daxili quruluşu haqqında mühakimə yürüdə biləcəyini soruşaraq.

0:44 Onların başlıq nəticəsi çox kliklənə biləndir. Riyaziyyat beş yüzdə, Qwen təxminən səkkiz faizdən qırx səkkiz faizə yüksəldi. Demək olar ki, altı dəfə düzgün cavablar. Qwen cavab vermək üçün yer bitənə qədər düşünməyə davam etdi. Düşünmə rejimində, tez-tez mühakiməsini təkrarlayırdı.

### Qwen nəyi səhv edirdi?

1:00 Zəng çalana qədər imtahan kitabçasını işlərlə dolduran bir tələbə təsəvvür edin. Markerin hələ də bir cavaba ehtiyacı var. Əksər orijinal cavablar uzunluq həddinə çatdı. Astra iki daxili təbəqədə təkrarlama istiqamətini müəyyənləşdirdi, sonra seçilmiş çəki sütunlarından öz töhfəsini çıxardı. Bu düzəlişdən sonra daha çox cavab nəticəyə çatdı. Bildirilən testdə təxminən üçdə biri hələ də həddə çatdı. İmtahan kitabçası nəhayət son bir sətir aldı.

1:22 Bu gün, spaCy-nin yaradıcısı və Explosion-un həmtəsisçisi Matthew Honnibal təqdimatı mübahisələndirdi.

### Bugünkü tənqidçi nəyi mübahisələndirir?

1:28 O deyir ki, oxucular təcrübələrin müxtəlif şərtlərini bir araya gətirərək bir qeyri-adi texnikanın təəssüratını yarada bilərlər. Onun etirazı onların birləşdirilmiş hekayəsi ilə bağlıdır. Şərtləri özümüz yoxlaya bilərik. Qwen təcrübəsi Astra-ya çəkilər üzərində bir Python notebook və cavabları olan təcrübə problemləri verdi.

### Astra əslində hansı köməyi aldı?

1:44 Çoxsaylı dövrələr ərzində, daxili aktivasiyaları yoxladı və orijinal və redaktə edilmiş versiyaları müqayisə etdi. Yekun büdcə əlli partiya model çalışdırmalarına icazə verdi. Hər nəsil partiyası yüzlərlə cavab ehtiva edə bilərdi. Təcrübə məlumatları təlim bölünmələrindən gəldi. Tədqiqatçılar deyirlər ki, Astra heç vaxt yekun qiymətləndirmə dəstlərini görməyib. Rəy düzəlişi seçməyə kömək etdi; saxlanılan problemlər sonra onu ölçdü. Nümunə götürmə parametrləri orijinal və redaktə edilmiş Qwen arasında sabit qaldı, bu protokolun bal müqayisəsini şərh olunan etdi.

2:09 İlk təlimat ona faydalı bir laboratoriya rəhbəri verdi. Uğursuzluqları diaqnoz et, məsul komponentləri tap, eyni problemlər üzərində müqayisə et və bir neçə gücü sınaqdan keçir. O, açıq şəkildə təkrarlanan düşünməni sayılan bir təmir kimi qeyd etdi. Magistr tələbələri bu işə qəbul paketini müzakirə etməlidirlər. Bu təsirli bir təmirdir. Astra'nın hədəflənmiş düzəlişi təxminən yüz otuz bir min çəkiyə toxundu.

### Əsl təmir nə qədər kiçik idi?

2:28 Bu, modelin faizinin təxminən on altı mində biridir. Çəki faylı birbaşa dəyişdirildi. Qradient təlimi qadağan edildi; mövcud model Astra'nın redaktə seansı bitdikdən sonra cavabları verdi. Qazanc təlimatlara əməl etməyə də çatdı. Praktiki nəticəni bəyənirəm. Bir model uğursuzluq rejimi tərəfindən basdırılan faydalı işə sahib ola bilər. Bu uğursuzluğu düzəltmək istifadə edilə bilən cavabları bərpa edə bilər.

2:48 Bitirmək sayılır. Honnibal alət dəstəkli işə insan maşın öyrənməsi mühəndisinin edə biləcəyi vəzifələri yerinə yetirdiyinə görə kredit verir. Bu, bir agent üçün nəticəlidir. Onun şikayəti ondan ibarətdir ki, kiçik xam-rəqəm nümayişləri və daha böyük Python dəstəkli təmir birləşdirildikdə daha geniş bir nəticəyə dəvət edir. Kiçik oyun şəbəkələrini götürək. Bir təcrübədə, Astra onların xam rəqəmlərini oxudu və hər bir şəbəkənin hansı oyunu öyrəndiyini

### Hansı təcrübələrdə əslində heç bir alət yox idi?

3:09 düzgün müəyyənləşdirdi. Alətlər qadağan edildi. Digər birində, Astra sıfırdan yeni oyun oynayan çəkilər yazdı, qaydaları və mənbə kodunu istifadə edərək, heç bir təcrübə sınağı olmadan. Bunlar ayrı-ayrı dəlillərə malik ayrı-ayrı nümayişlərdir. Astra'nın şəbəkələri yüz milyon addım təlim edilmiş bazanı hər üç oyunda məğlub etdi. Daha uzun müddət təlim edilmiş bazaya qarşı, Seaquest və Asterixdə uduzdu, Breakoutda isə qalib gəldi.

3:32 Müqayisə sütununu dəyişdirin və qələbə çıxışı redaktəyə ehtiyac duyur. Rahatlıqla, redaktə bu günün mövzusudur. Daha geniş bir iddia üçün, müxtəlif uğursuzluqlara malik modellər arasında yaxşılaşmalar istərdik. Redaktorun nə gördüyünü və nəyin uğur sayıldığını izləyin.

### Daha ümumi bir iddiaya nə lazım olardı?

3:44 Qwen'in model kartı artıq düşünmə dövrələri haqqında xəbərdarlıq edir. Bu məlum maneəni aradan qaldırmağın müəyyən bir başlanğıc nöqtəsi var. Özlərinə hörmət olaraq, müəlliflər narahat edici izləməni özləri dərc edirlər. Onlar izah edirlər ki, dövrələri dayandırmaq Qwen'ə artıq həll edə bildiyi cavabları bitirməyə imkan verir. Onların jurnalları təlimatları, rəyləri və düzəlişləri ehtiva edir. Biz bu nailiyyəti araşdıra və daha çətin bir sual verə bilərik. İndi ikinci model, öz izləmə quruluşunda daha kiçik bir Gemma.

### Nadir hallarda dövrə edən modelə nə oldu?

4:06 Nadir hallarda dövrə edirdi, buna görə də onun uğursuzluqları adi səhv hesablamalar və etibarsız cəbr idi. Astra yenidən təcrübə rəyi ilə hədəflənmiş çəki düzəlişlərini sınadı. Heç biri onun riyaziyyat balını təxminən bir nöqtədən çox artırmadı, və bir qazanc təsdiqlənmədi. Uğurlu Qwen təmiri aradan qaldırılmalı bir maneəyə malik idi. Gemma'nın hesab səhvləri qaldı. Bu, tərtibatçılar üçün faydalı bir sualdır. Düzəliş hansı uğursuzluğu təmir etdi və sizin modelinizdə əslində bu varmı?

4:28 Çarpmanı qeyd etməzdən əvvəl yadda saxlanmış çəkiləri öz vəzifələriniz üzərində sınaqdan keçirin. Təmir edilmiş bir tıxac böyük əhəmiyyət kəsb edə bilər, növbəti tıxac isə olduğu yerdə qalır. Əgər bunu məndən eşitməkdənsə oxumağa üstünlük verirsinizsə, diff hər səhər, gündəlikdiff.dev-də pulsuz olaraq, aşağıdakı linkdə sizin gələn qutunuza daxil olur. Beləliklə, bugünkü hökm NEEDS REVIEW-dir.

### Çəki düzəlişi iddiasını SHIP IT edərdimmi?

4:47 Mən dövrə təmirini ciddi qəbul edər və sınayardım. Daha geniş iddiaları bu uğursuzluq rejimindən kənar uğurla məhdudlaşdırardım. Müəlliflərin öz əks nümunəsi diffdəki ən faydalı sətirdir. Və bu, bugünün diffidir. Mən Axrisi'dən Nikoyam. Məsuliyyətlə birləşdirin. Məsuliyyətlə birləşdirin.

## Mənbələr

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above