GPT-6 Astra, başka bir yapay zekanın sonsuz düşünmesini yamaladı
MIT bağlantılı bir çalışma, küçük bir Qwen modelinin ağırlıklarını düzenlemek ve daha fazla cevabın tamamlanmasına yardımcı olmak için GPT-6 Astra'yı kullandı.
MIT bağlantılı bir çalışma, küçük bir Qwen modelinin ağırlıklarını düzenlemek ve daha fazla cevabın tamamlanmasına yardımcı olmak için GPT-6 Astra'yı kullandı. Bildirilen matematik puanı artışı, hedeflenmiş bir döngü onarımı, Python analizi ve pratik geri bildirimine bağlıydı. Ayrı, daha küçük bir Gemma takip çalışması, kalıcı bir kazanç bulamadı.
Yazılı sürümü oku (İngilizce) ↗
Bu video neleri kapsar
- Bildirilen Qwen puan artışı, tekrarlayan akıl yürütmeye yönelik hedeflenmiş bir onarımdan kaynaklandı; birincil protokolle düzenlenen cevapların yaklaşık üçte biri hala uzunluk sınırına ulaştı.
- Gradyan eğitimi yasaklanırken, Python, pratik cevaplar ve birçok turda gruplandırılmış model çalıştırma geri bildirimi serbestti. Son değerlendirme soruları kaynak tarafından saklı tutuldu.
- Küçük ham ağırlık ve geri dönüşü olmayan oyun deneyleri farklı koşullar kullandı. İddiaları, bireysel araçlarını, girdilerini ve temel kapsamlarını korumalıdır.
- Matthew Honnibal, araç destekli mühendisliği övüyor ve deneylerin bir araya getirilmesiyle ortaya çıkan daha geniş izlenime itiraz ediyor.
- Daha küçük Gemma takip çalışması kendi kurulumunu kullandı ve bir iyileşme sağlayamadı. Bir ağırlık düzenlemesinin hangi hatayı onardığını, başka bir modele uygulamadan önce test edin.
Sorular ve cevaplar
Astra, Qwen'in bildirilen matematik puanını iyileştirmek için neyi değiştirdi?
Rikiya Takehi ve ortak yazarların araştırmasına göre, Astra, Qwen'in daha fazla cevabı bitirmesine yardımcı olan hedeflenmiş bir ağırlık düzenlemesi yaptı. Dahili katmanlardaki seçili sütunlardan tekrarla ilişkili bir katkıyı kaldırdı. Bildirilen matematik puanı artışı sabit bir değerlendirme protokolü kullandı. Düzenlenmiş birçok cevap hala uzunluk sınırına ulaştı, bu nedenle sonuç önemli bir kalıntı hata oranını koruyor.
Qwen ağırlık düzenlemesi sırasında hangi araçlara ve geri bildirimlere izin verildi?
Python analizi, cevapları olan pratik problemler ve birçok turda gruplandırılmış model çalıştırma geri bildirimine izin verildi. Araştırmacıların gerçek başlangıç komut istemi gradyan eğitimini yasakladı ve tekrarlayan düşünce onarımı da dahil olmak üzere teşhis ve nedensel test tavsiyelerini uygun bir hedef olarak belirtti. Bu destek, Astra'nın mevcut ağırlıklar üzerinde doğrudan bir düzenleme seçmesine yardımcı oldu. Bir bütçe birimi yüzlerce üretilmiş cevabı içerebilir.
Son değerlendirme problemleri düzenleme modeli için mevcut muydu?
Araştırmacılar, son değerlendirme kümelerinin Astra tarafından görülmediğini söylüyor. Pratik geri bildirim, eğitim bölünmesi problemlerinden geldi ve düzenlemenin seçilmesine yardımcı oldu; ayrı tutulan problemler daha sonra gönderilen modeli ölçtü. Başlangıç komut istemi karşılaştırma adlarını ve değerlendirme protokolünü açıkladı. Bu ayrım, düzenleyicinin görev hakkında tüm bilgilere sahip olmadığını iddia etmeden neyin gizlendiğini açıklar.
Daha küçük Gemma ağırlık düzenlemesi takip çalışmasında ne oldu?
Rikiya Takehi ve ortak yazarlara göre, daha küçük Gemma takip çalışması bir kazanç sağlayamadı. Model nadiren döngü yaptı ve hataları yanlış aritmetik ve geçersiz cebir içeriyordu. Pratik geri bildirimiyle hedeflenmiş düzenlemeler, bildirilen matematik puanını en fazla yaklaşık bir puan kadar hareket ettirdi. Ayrı bir kurulum kullandı, bu nedenle karşılaştırma eşit kontrollü bir eksiltme yerine kapsamlı bir karşı örnek sunar.
The Daily Diff'in ağırlık düzenleme iddiası hakkındaki kararı neydi?
The Daily Diff'in kararı İNCELEME GEREKİYOR idi. Niko, hedeflenmiş döngü onarımını ciddiye alır ve test ederken, daha geniş iddiaları bu hata modunun ötesindeki başarıya bağlı tutardı. Araştırmacıların kendi daha küçük model karşı örneği bu yargıyı bilgilendirir. Geliştiriciler, bir düzenlemenin hangi hatayı onardığını belirlemeli ve bildirilen bir çarpanı kutlamadan önce kaydedilen ağırlıkları kendi görevlerinde değerlendirmelidir.
Çevrilmiş deşifre
Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.
Matematik puanı neden sıçradı?
0:00 Bir yapay zekanın başka bir yapay zekayı altı kat daha zeki yapması anlık bir dahilik gibi geliyor. Astra'nın büyük puan sıçraması, Qwen'in sürekli tekrarladığı cevapları bitirmesine yardımcı olmasından geldi. Bu videoda ne değişti? Astra ne tür bir yardım aldı? Ve düzeltme ne kadar yayılır? Qwen yaklaşık yüzde sekizden yüzde kırk sekize yükseldi. Araştırmacılar neredeyse hiç döngü yapmayan ikinci bir model denediler. Karardan önce bunun nasıl gittiğini göreceğiz.
0:22 Bugün 3 Kasım Salı ve burası The Daily Diff. Ağırlık-uzayı programlama, araştırmacıların bir yapay zekadan bir sinir ağının içindeki sayıları incelemesini veya yazmasını isteme adıdır. Bu sayılar onun ağırlıklarıdır. Bu MIT bağlantılı ekip, sıradan eğitimin yasaklandığı küçük bir Qwen dil modelini düzenlemek için OpenAI'nin GPT altı Astra'sını kullandı. Rikiya Takehi ve ortak yazarları çalışmayı Pazartesi günü yayınladı,
0:44 mevcut bir yapay zekanın başka bir ağın iç işleyişi hakkında akıl yürütebilir mi diye sordular. Başlık sonuçları çok tıklanabilir. Matematik beş yüz'de Qwen, yaklaşık yüzde sekizden yüzde kırk sekize yükseldi. Neredeyse altı kat daha fazla doğru cevap. Qwen, cevaplamak için yeri kalmayana kadar düşünmeye devam etti.
Qwen neyi yanlış yapıyordu?
1:00 Düşünme modunda, akıl yürütmesini sık sık tekrarladı. Sınav kitapçığını zil çalana kadar dolduran bir öğrenci hayal edin. İşaretleyici hala bir cevaba ihtiyaç duyar. Çoğu orijinal cevap uzunluk sınırına ulaştı. Astra, iki dahili katmanda bir tekrar yönü belirledi, daha sonra katkısını seçili ağırlık sütunlarından kaldırdı. Bu düzenlemeden sonra daha fazla cevap bir sonuca ulaştı. Bildirilen testte yaklaşık üçte biri hala sınıra ulaştı.
1:22 Sınav kitapçığı nihayet son bir satır aldı. Bugün, spaCy'nin yaratıcısı ve Explosion'ın kurucu ortağı Matthew Honnibal,
Günümüzün eleştirmeni neye itiraz ediyor?
1:28 sunumu eleştirdi. Deneylerin farklı koşullarını okuyucuların birleştirerek olağanüstü bir teknik izlenimi edinebileceğini söylüyor. İtirazı, birleşik hikayeleriyle ilgili. Koşulları kendimiz kontrol edebiliriz. Qwen deneyi, Astra'ya ağırlıklar üzerinde bir Python not defteri ve
Astra aslında ne tür bir yardım aldı?
1:44 cevapları olan pratik problemler verdi. Birçok tur boyunca, dahili aktivasyonları inceledi ve orijinal ile düzenlenmiş versiyonları karşılaştırdı. Nihai bütçe, elli toplu model çalıştırmaya izin verdi. Her üretim grubu yüzlerce cevap içerebilir. Pratik verileri eğitim bölümlerinden geldi. Araştırmacılar, Astra'nın son değerlendirme kümelerini hiç görmediğini söylüyor. Geri bildirim, düzenlemeyi seçmeye yardımcı oldu; saklı tutulan problemler daha sonra bunu ölçtü. Örnekleme ayarları, orijinal ve düzenlenmiş Qwen arasında sabit kaldı,
2:09 bu protokolün puan karşılaştırmasını yorumlanabilir kılıyor. İlk komut istemi ona yardımcı bir laboratuvar süpervizörü verdi. Hataları teşhis edin, sorumlu bileşenleri bulun, aynı problemler üzerinde karşılaştırın ve çeşitli güçlü yönleri test edin. Tekrarlayan düşünmeyi, sayılan bir onarım olarak açıkça belirtti. Lisansüstü öğrencileri bu işe alım paketini müzakere etmelidir. Bu etkileyici bir onarım.
Gerçek onarım ne kadar küçüktü?
2:28 Astra'nın hedeflenmiş düzenlemesi kabaca yüz otuz bir bin ağırlığa dokundu. Bu, modelin yüzde on altı binde biri kadar. Ağırlık dosyası doğrudan değişti. Gradyan eğitimi yasaklı kaldı; mevcut model, Astra'nın düzenleme oturumunun sona ermesinden sonra cevaplamayı yaptı. Kazanç, talimatları takip etme yeteneğine de ulaştı. Pratik çıkarımı beğeniyorum. Bir model, hata modu tarafından sürekli gizlenen faydalı işlere sahip olabilir.
2:48 Bu hatayı düzeltmek, kullanılabilir cevapları geri kazanabilir. Bitirme önemlidir. Honnibal, araç destekli çalışmayı, bir insan makine öğrenimi mühendisinin yapabileceği görevleri yerine getirme konusunda takdir ediyor. Bu bir ajan için önemlidir. Şikayeti, küçük ham sayı gösterilerinin ve daha büyük Python destekli onarımların bir araya getirildiğinde daha geniş bir sonuca yol açması. Küçük oyun ağlarını ele alalım.
Hangi deneylerde gerçekten araç yoktu?
3:09 Bir deneyde, Astra ham sayılarını okudu ve her ağın hangi oyunu öğrendiğini doğru bir şekilde tanımladı. Araçlar yasaklıydı. Bir diğerinde, kuralları ve kaynak kodunu kullanarak sıfırdan yeni oyun oynama ağırlıkları yazdı, pratik geri dönüşleri olmadan. Bunlar ayrı kanıtlara sahip ayrı gösterilerdir. Astra'nın ağları, yüz milyon adım için eğitilmiş temel seviyeyi tüm üç oyunda da yendi. Daha uzun süre eğitilmiş temel seviyeye karşı Seaquest ve
3:32 Asterix'te kaybetti, Breakout'ı kazanırken. Karşılaştırma sütununu değiştirin ve zafer konuşmasının düzenlenmesi gerekir. Neyse ki, düzenleme bugünün konusu. Daha geniş bir iddia için, farklı hataları olan modeller arasında iyileşmeler isteriz.
Daha genel bir iddia neye ihtiyaç duyardı?
3:44 Düzenleyicinin ne gördüğünü ve neyin başarı sayıldığını takip edin. Qwen'in model kartı zaten düşünme döngüleri hakkında uyarıyor. Bu bilinen engeli kaldırmanın belirli bir başlangıç noktası var. Yazarlar, utanç verici takip çalışmasını kendileri yayınlamaları takdire şayan. Döngüleri durdurmanın Qwen'in zaten çözebileceği cevapları bitirmesini sağladığını açıklıyorlar. Günlükleri komut istemlerini, geri bildirimleri ve düzenlemeleri içeriyor. Başarıyı inceleyebilir ve daha zor bir soru sorabiliriz.
Nadir döngü yapan modele ne oldu?
4:06 Şimdi ikinci model, kendi takip kurulumunda daha küçük bir Gemma. Nadir döngü yaptı, bu yüzden hataları sıradan yanlış aritmetik ve geçersiz cebir idi. Astra, pratik geri bildirimiyle hedeflenmiş ağırlık düzenlemelerini tekrar denedi. Hiçbiri matematik puanını yaklaşık bir puandan fazla hareket ettirmedi, ve bir kazanç sağlanamadı. Başarılı Qwen onarımı kaldırılması gereken bir engeli vardı. Gemma'nın aritmetik hataları devam etti. Geliştiriciler için faydalı soru bu.
4:28 Düzenleme hangi hatayı onardı ve modelinizde gerçekten bu hata var mı? Çarpanı kutlamadan önce kaydedilen ağırlıkları kendi görevlerinizde test edin. Onarılan bir darboğaz muazzam önem taşırken, bir sonraki darboğaz tam olarak olduğu yerde kalır. Bunu benden duymak yerine okumak isterseniz, fark her sabah gelen kutunuza ücretsiz olarak the dailydiff dot dev adresinde, bağlantı aşağıda.
Ağırlık düzenleme iddiasını onaylar mıydım?
4:47 Yani, bugünün kararı İNCELEME GEREKİYOR. Döngü onarımını ciddiye alır ve test ederdim. Daha geniş iddiaları bu hata modunun ötesindeki başarıya bağlı tutardım. Yazarların kendi karşı örneği, farktaki en faydalı satırdır. Ve bugünün farkı bu kadar. Ben Axrisi'den Niko. Sorumlulukla birleştirin.
Kaynaklar
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}