# GPT-6 Astra-მ ხელოვნური ინტელექტის გაუთავებელი აზროვნება დააპაჩა

Published: 2026-11-04

მასაჩუსეტსის ტექნოლოგიური ინსტიტუტის კვლევამ გამოიყენა GPT-6 Astra მცირე Qwen მოდელის წონების რედაქტირებისთვის და მეტი პასუხის დასრულებაში დასახმარებლად. მისი მოხსენებული მათემატიკის ქულების ნახტომი დამოკიდებული იყო მიზნობრივი ციკლის შეკეთებაზე, Python-ის ანალიზზე და პრაქტიკულ უკუკავშირზე. ცალკეულმა, უფრო მცირე Gemma-ს შემდგომმა კვლევამ ვერ დაადგინა რაიმე მოგება.

Canonical: https://thedailydiff.dev/ka/video/2026-11-03-astra-qwen-weights/

## რას მოიცავს ეს ვიდეო

- Qwen-ის ქულების მოხსენებული ზრდა განპირობებული იყო განმეორებადი მსჯელობის მიზანმიმართული შეკეთებით; რედაქტირებული პასუხების დაახლოებით მესამედმა მაინც მიაღწია სიგრძის ზღვარს ძირითად პროტოკოლში.
- გრადიენტული ტრენინგი აკრძალული იყო, ხოლო Python, პრაქტიკული პასუხები და მოდელის გაშვების პარტიული უკუკავშირი დაშვებული იყო მრავალი ჯერის განმავლობაში. საბოლოო შეფასების კითხვები წყაროს მიერ გამოცხადებული იყო შენახულად.
- მცირე ნედლი წონისა და არაგაშვებითი თამაშის ექსპერიმენტებმა განსხვავებული პირობები გამოიყენეს. მათი პრეტენზიები უნდა შეინარჩუნონ ინდივიდუალური ინსტრუმენტი, შეტანა და საწყისი დიაპაზონი.
- მეთიუ ჰონიბალი ანიჭებს კრედიტს ინსტრუმენტებით დახმარებულ ინჟინერიას და ეჭვქვეშ აყენებს უფრო ფართო შთაბეჭდილებას, რომელიც შექმნილია ექსპერიმენტების ერთად დაჯგუფებით.
- უფრო მცირე Gemma-ს შემდგომმა კვლევამ გამოიყენა საკუთარი მოწყობა და ვერ დაადგინა გაუმჯობესება. შეამოწმეთ, რომელი შეცდომა აკეთებს წონის რედაქტირებას, სანამ მას სხვა მოდელზე გამოიყენებთ.

## კითხვები და პასუხები

### რა შეცვალა ასტრამ Qwen-ის მოხსენებული მათემატიკის ქულის გასაუმჯობესებლად?

ასტრამ განახორციელა მიზნობრივი წონის რედაქტირება, რამაც Qwen-ს მეტი პასუხის დასრულებაში დაეხმარა, რიკია ტაკეჰის და თანაავტორების კვლევის მიხედვით. მან ამოიღო გამეორებასთან დაკავშირებული წვლილი შიდა შრეების შერჩეული სვეტებიდან. მოხსენებული მათემატიკის ქულის ზრდამ გამოიყენა ფიქსირებული შეფასების პროტოკოლი. ბევრი რედაქტირებული პასუხი მაინც მიაღწია სიგრძის ზღვარს, ამიტომ შედეგი ინარჩუნებს მნიშვნელოვან ნარჩენ წარუმატებლობის მაჩვენებელს.

### რა ინსტრუმენტები და უკუკავშირი იყო დაშვებული Qwen-ის წონის რედაქტირების დროს?

Python-ის ანალიზი, პრაქტიკული პრობლემები პასუხებით და მოდელის გაშვების პარტიული უკუკავშირი დაშვებული იყო მრავალი ჯერის განმავლობაში. მკვლევარების რეალურმა საწყისმა მოთხოვნამ აკრძალა გრადიენტული ტრენინგი და დააზუსტა დიაგნოსტიკური და მიზეზობრივი ტესტირების რჩევები, მათ შორის განმეორებადი აზროვნების შეკეთება, როგორც შესარჩევი სამიზნე. ამ მხარდაჭერამ ასტრას დაეხმარა არსებული წონების პირდაპირი რედაქტირების არჩევაში. ბიუჯეტის ერთეულს შეიძლება შეიცავდეს ასობით გენერირებულ პასუხს.

### იყო თუ არა საბოლოო შეფასების პრობლემები ხელმისაწვდომი რედაქტირების მოდელისთვის?

მკვლევარები ამბობენ, რომ საბოლოო შეფასების ნაკრებები ასტრას არ უნახავს. პრაქტიკული უკუკავშირი მოვიდა სასწავლო გაყოფის პრობლემებიდან და დაეხმარა რედაქტირების შერჩევაში; ცალკეულმა, შენახულმა პრობლემებმა გაზომა წარდგენილი მოდელი შემდგომში. საწყისმა მოთხოვნამ გაამჟღავნა ბენჩმარკის სახელები და შეფასების პროტოკოლი. ეს განსხვავება აღწერს, რა იყო შეკავებული იმის პრეტენზიის გარეშე, რომ რედაქტორს არ გააჩნდა ყველა ინფორმაცია ამოცანის შესახებ.

### რა მოხდა უფრო მცირე Gemma-ს წონის რედაქტირების შემდგომ კვლევაში?

უფრო მცირე Gemma-ს შემდგომმა კვლევამ ვერ დაადგინა მოგება, რიკია ტაკეჰის და თანაავტორების მიხედვით. მოდელი იშვიათად ციკლდებოდა, და მისი შეცდომები მოიცავდა არასწორ არითმეტიკას და არასწორ ალგებრას. მიზნობრივმა რედაქტირებებმა პრაქტიკული უკუკავშირით გადაადგილა მოხსენებული მათემატიკის ქულა მაქსიმუმ დაახლოებით ერთ ქულაზე. მან გამოიყენა ცალკეული მოწყობა, ამიტომ შედარება უზრუნველყოფს განსაზღვრულ კონტრმაგალითს და არა თანაბრად კონტროლირებად აბლაციას.

### რა იყო The Daily Diff-ის განაჩენი წონის რედაქტირების პრეტენზიაზე?

The Daily Diff-ის განაჩენი იყო NEEDS REVIEW. ნიკო სერიოზულად მოეკიდებოდა მიზნობრივი ციკლის შეკეთებას და შეამოწმებდა მას, ხოლო უფრო ფართო პრეტენზიებს შეინარჩუნებდა ამ წარუმატებლობის რეჟიმის მიღმა წარმატებაზე დაფუძნებულად. მკვლევარების საკუთარი, უფრო მცირე მოდელის კონტრმაგალითი აყალიბებს ამ განსჯას. დეველოპერებმა უნდა დაადგინონ, რომელი შეცდომა შეასწორა რედაქტირებამ და შეაფასონ შენახული წონები საკუთარ ამოცანებზე, სანამ მოხსენებულ მულტიპლიკატორს იზეიმებენ.

## თავები

- 0:00 რატომ მოხდა მათემატიკის ქულის ნახტომი?
- 0:58 რა შეცდომას უშვებდა Qwen?
- 1:25 რას სადავოებს დღევანდელი კრიტიკოსი?
- 1:41 რა დახმარება მიიღო ასტრამ რეალურად?
- 2:27 რამდენად მცირე იყო რეალური შეკეთება?
- 3:08 რომელ ექსპერიმენტებს ნამდვილად არ ჰქონდათ ინსტრუმენტები?
- 3:40 რა დასჭირდებოდა უფრო ზოგად პრეტენზიას?
- 4:06 რა დაემართა მოდელს, რომელიც იშვიათად ციკლდებოდა?
- 4:47 გამოვიყენებდი თუ არა წონის რედაქტირების პრეტენზიას?

## ნათარგმნი ტრანსკრიპტი

ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.

### რატომ მოხდა მათემატიკის ქულის ნახტომი?

0:00 ერთი ხელოვნური ინტელექტი, რომელიც მეორე ხელოვნურ ინტელექტს ექვსჯერ უფრო ჭკვიანს ხდის, ჟღერს როგორც მყისიერი გენიოსი. ასტრას დიდი ქულების ნახტომი მოხდა იმით, რომ მან Qwen-ს დაეხმარა პასუხების დასრულებაში, რომლებსაც ის სულ იმეორებდა. ამ ვიდეოში, რა შეიცვალა? რა დახმარება მიიღო ასტრამ? და რამდენად შორს ვრცელდება ეს შეკეთება? Qwen-ი დაახლოებით რვა პროცენტიდან ორმოცდარვა პროცენტამდე გაიზარდა. მკვლევარებმა მეორე მოდელი სცადეს თითქმის არანაირი ციკლით. ვნახოთ, როგორ წავიდა ეს განაჩენამდე.

0:22 სამშაბათია, 3 ნოემბერი, და ეს არის The Daily Diff. წონის სივრცის პროგრამირება არის მკვლევარების სახელი ხელოვნური ინტელექტისთვის, რომ შეამოწმოს ან დაწეროს რიცხვები ნეირონული ქსელის შიგნით. ეს რიცხვები მისი წონებია. ამ MIT-თან დაკავშირებულმა გუნდმა გამოიყენა OpenAI-ის GPT ექვსი Astra მცირე Qwen ენობრივი მოდელის რედაქტირებისთვის, ჩვეულებრივი ტრენინგი აკრძალული იყო. რიკია ტაკეჰიმ და მისმა თანაავტორებმა კვლევა ორშაბათს გამოაქვეყნეს,

0:44 კითხვით, შეეძლო თუ არა არსებულ ხელოვნურ ინტელექტს სხვა ქსელის შიდა მექანიზმებზე მსჯელობა. მათი სათაური შედეგი ძალიან დაწკაპუნებადია. მათემატიკა ხუთასზე, Qwen-ი რვა პროცენტიდან ორმოცდარვა პროცენტამდე გაიზარდა. თითქმის ექვსჯერ მეტი სწორი პასუხი. Qwen-ი აგრძელებდა ფიქრს, სანამ პასუხის გასაცემად ადგილი არ ამოეწურებოდა.

### რა შეცდომას უშვებდა Qwen?

1:00 ფიქრის რეჟიმში, ის ხშირად იმეორებდა თავის მსჯელობას. წარმოიდგინეთ სტუდენტი, რომელიც ავსებს საგამოცდო ბლანკს მანამ, სანამ ზარი არ დარეკავს. მარკერს მაინც სჭირდება პასუხი. უმეტესობა ორიგინალური პასუხებისა სიგრძის ლიმიტს აღწევდა. Astra-მ აღმოაჩინა გამეორების მიმართულება ორ შიდა შრეში, შემდეგ კი ამოიღო მისი წვლილი არჩეული წონის სვეტებიდან. ამ რედაქტირების შემდეგ, მეტი პასუხი მივიდა დასკვნამდე. დაახლოებით მესამედი მაინც მიაღწია ზღვარს მოხსენებულ ტესტში.

1:22 გამოცდის ბლანკმა საბოლოოდ მიიღო ბოლო ხაზი. დღეს, მეთიუ ჰონიბალმა, spaCy-ის შემქმნელმა და Explosion-ის თანადამფუძნებელმა,

### რას სადავოებს დღევანდელი კრიტიკოსი?

1:28 წარდგენას წინააღმდეგობა გაუწია. ის ამბობს, რომ მკითხველებს შეუძლიათ ექსპერიმენტების სხვადასხვა პირობების გაერთიანება ერთ არაჩვეულებრივი ტექნიკის შთაბეჭდილებად. მისი წინააღმდეგობა ეხება მათ გაერთიანებულ ისტორიას. ჩვენ შეგვიძლია თავად შევამოწმოთ პირობები. Qwen-ის ექსპერიმენტმა ასტრას მისცა Python-ის ნოუთბუქი წონებზე და პრაქტიკული

### რა დახმარება მიიღო ასტრამ რეალურად?

1:44 პრობლემები პასუხებით. მრავალი ჯერის განმავლობაში, მან შეისწავლა შიდა აქტივაციები და შეადარა ორიგინალური და რედაქტირებული ვერსიები. საბოლოო ბიუჯეტი იძლეოდა მოდელის გაშვების ორმოცდაათ პარტიას. თითოეული თაობის პარტია შეიძლება შეიცავდეს ასობით პასუხს. პრაქტიკული მონაცემები საწვრთნელი გაყოფებიდან მოდიოდა. მკვლევარები ამბობენ, რომ ასტრას არასოდეს უნახავს საბოლოო შეფასების ნაკრებები. უკუკავშირი დაეხმარა რედაქტირების არჩევაში; შემდგომში ცალკეული, შენახული პრობლემები ზომავდა მას. ნიმუშის პარამეტრები უცვლელი დარჩა ორიგინალურ და რედაქტირებულ Qwen-ს შორის,

2:09 რაც ამ პროტოკოლის ქულების შედარებას ინტერპრეტირებადს ხდის. პირველმა მოთხოვნამ მას დამხმარე ლაბორატორიის ხელმძღვანელი მისცა. დიაგნოზირება შეცდომების, პასუხისმგებელი კომპონენტების პოვნა, შეადარეთ იგივე პრობლემებზე და შეამოწმეთ რამდენიმე სიძლიერე. მან პირდაპირ ახსენა განმეორებადი აზროვნება, როგორც შეკეთება, რომელიც ითვლება. ასპირანტებმა უნდა მოილაპარაკონ ამ გაცნობითი პაკეტისთვის. ეს შთამბეჭდავი შეკეთებაა.

### რამდენად მცირე იყო რეალური შეკეთება?

2:28 ასტრას მიზნობრივმა რედაქტირებამ დაახლოებით ას ოცდათერთმეტი ათასი წონა შეეხო. ეს მოდელის პროცენტის დაახლოებით თექვსმეტი ათასედია. წონის ფაილი პირდაპირ შეიცვალა. გრადიენტული ტრენინგი აკრძალული დარჩა; არსებულმა მოდელმა გასცა პასუხები მას შემდეგ, რაც ასტრას რედაქტირების სესია დასრულდა. მიღწევა ასევე გავრცელდა ინსტრუქციების მიყოლაზეც. მომწონს პრაქტიკული გავლენა. მოდელს შეიძლება ჰქონდეს სასარგებლო სამუშაო, რომელსაც მისი წარუმატებლობის რეჟიმი სულ მარხავს.

2:48 ამ წარუმატებლობის გამოსწორებას შეუძლია გამოსადეგი პასუხების აღდგენა. დასრულება მნიშვნელოვანია. ჰონიბალი ინსტრუმენტებით დახმარებულ სამუშაოს ანიჭებს კრედიტს იმით, რომ ის ასრულებს ამოცანებს, რომელთა შესრულებაც ადამიანის მანქანური სწავლების ინჟინერს შეეძლო. ეს მნიშვნელოვანია აგენტისთვის. მისი საჩივარი ის არის, რომ მცირე ნედლი რიცხვების დემონსტრაციები და უფრო დიდი Python-ით დახმარებული შეკეთებები უფრო ფართო დასკვნას იწვევს, როდესაც ისინი ერთად არის დაჯგუფებული. ავიღოთ პატარა თამაშის ქსელები.

### რომელ ექსპერიმენტებს ნამდვილად არ ჰქონდათ ინსტრუმენტები?

3:09 ერთ ექსპერიმენტში, ასტრამ წაიკითხა მათი ნედლი რიცხვები და სწორად განსაზღვრა, რომელი თამაში ისწავლა თითოეულმა ქსელმა. ინსტრუმენტები აკრძალული იყო. მეორეში, მან დაწერა ახალი თამაშის სათამაშო წონები ნულიდან წესების გამოყენებით და წყაროს კოდი, პრაქტიკული გაშვებების გარეშე. ეს არის ცალკეული დემონსტრაციები ცალკეული მტკიცებულებებით. ასტრას ქსელებმა დაამარცხეს საწყისი დონე, რომელიც გაწვრთნილი იყო ასი მილიონი ნაბიჯისთვის ყველა სამივე თამაშში. უფრო ხანგრძლივად გაწვრთნილი საწყისი დონის წინააღმდეგ, მან წააგო Seaquest-სა და

3:32 Asterix-ში, ხოლო Breakout-ში მოიგო. შეცვალეთ შედარების სვეტი, და გამარჯვების სიტყვას რედაქტირება სჭირდება. მოხერხებულად, რედაქტირება დღევანდელი თემაა. უფრო ფართო პრეტენზიისთვის, ჩვენ გვსურს გაუმჯობესება მოდელებს შორის სხვადასხვა შეცდომებით.

### რა დასჭირდებოდა უფრო ზოგად პრეტენზიას?

3:44 აკონტროლეთ, რა ნახა რედაქტორმა და რა ითვლებოდა წარმატებად. Qwen-ის მოდელის ბარათი უკვე აფრთხილებს აზროვნების ციკლების შესახებ. ამ ცნობილი დაბრკოლების მოცილებას განსაკუთრებული საწყისი წერტილი აქვს. მათ სასახელოდ, ავტორები თავად აქვეყნებენ არასასიამოვნო შემდგომ კვლევას. ისინი ხსნიან, რომ ციკლების შეჩერება Qwen-ს საშუალებას აძლევს დაასრულოს პასუხები, რომლებზეც მას უკვე შეეძლო მუშაობა. მათი ჟურნალები მოიცავს მოთხოვნებს, უკუკავშირს და რედაქტირებებს. ჩვენ შეგვიძლია შევამოწმოთ მიღწევა და დავსვათ უფრო რთული კითხვა.

### რა დაემართა მოდელს, რომელიც იშვიათად ციკლდებოდა?

4:06 ახლა მეორე მოდელი, უფრო მცირე Gemma საკუთარ შემდგომ კონფიგურაციაში. ის იშვიათად ციკლდებოდა, ამიტომ მისი შეცდომები იყო ჩვეულებრივი არასწორი არითმეტიკა და არასწორი ალგებრა. ასტრამ კვლავ სცადა მიზნობრივი წონის რედაქტირება პრაქტიკული უკუკავშირით. არცერთმა არ გადაადგილა მისი მათემატიკის ქულა დაახლოებით ერთ ქულაზე მეტად, და მოგება არ დადგინდა. წარმატებულ Qwen-ის შეკეთებას დაბრკოლება ჰქონდა მოსაშორებელი. Gemma-ს არითმეტიკული შეცდომები გადარჩა. ეს არის სასარგებლო კითხვა დეველოპერებისთვის.

4:28 რომელი შეცდომა შეასწორა რედაქტირებამ, და აქვს თუ არა თქვენს მოდელს ის რეალურად? შეამოწმეთ შენახული წონები თქვენს ამოცანებზე, სანამ მულტიპლიკატორს იზეიმებთ. შეკეთებულ ბოთლს შეიძლება უდიდესი მნიშვნელობა ჰქონდეს, სანამ შემდეგი ბოთლი რჩება ზუსტად იქ, სადაც იყო. თუ ამის წაკითხვა გირჩევნიათ, ვიდრე მოსმენა, დიფი თქვენს შემოსულებში ხვდება ყოველ დილით, უფასოდ dailydiff.dev-ზე, ბმული ქვემოთ.

### გამოვიყენებდი თუ არა წონის რედაქტირების პრეტენზიას?

4:47 ასე რომ, დღევანდელი განაჩენი არის NEEDS REVIEW. მე სერიოზულად მოვეკიდებოდი ციკლის შეკეთებას და შევამოწმებდი. უფრო ფართო პრეტენზიებს შევინარჩუნებდი ამ წარუმატებლობის რეჟიმის მიღმა წარმატებაზე დაფუძნებულად. ავტორების საკუთარი კონტრმაგალითი არის ყველაზე სასარგებლო ხაზი დიფში. და ეს არის დღევანდელი დიფი. მე ვარ ნიკო Axrisi-დან. პასუხისმგებლობით გააერთიანეთ.

## წყაროები

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above