# GPT-6 Astra załatała nieskończone myślenie innej AI

Published: 2026-11-04

Badanie powiązane z MIT wykorzystało GPT-6 Astra do edycji wag małego modelu Qwen i pomogło w ukończeniu większej liczby odpowiedzi. Zgłoszony skok wyniku matematycznego zależał od ukierunkowanej naprawy pętli, analizy Pythona i informacji zwrotnych z praktyki. Oddzielne, mniejsze badanie uzupełniające Gemma nie wykazało żadnego ustalonego zysku.

Canonical: https://thedailydiff.dev/pl/video/2026-11-03-astra-qwen-weights/

## Co obejmuje ten film

- Zgłoszony wzrost wyniku Qwen pochodził z ukierunkowanej naprawy powtarzalnego rozumowania; około jedna trzecia edytowanych odpowiedzi nadal osiągnęła limit długości w podstawowym protokole.
- Trening gradientowy był zabroniony, podczas gdy Python, odpowiedzi praktyczne i informacje zwrotne z serii uruchomień modelu były dozwolone w wielu turach. Ostateczne pytania ewaluacyjne były deklarowane jako "wstrzymane" przez źródło.
- Małe eksperymenty z surowymi wagami i bez "rolloutów" używały różnych warunków. Ich twierdzenia powinny zachować indywidualny zakres narzędzi, danych wejściowych i bazowy.
- Matthew Honnibal przypisuje zasługi inżynierii wspomaganej narzędziami i kwestionuje szersze wrażenie wywołane połączeniem eksperymentów.
- Mniejsze badanie uzupełniające Gemma użyło własnej konfiguracji i nie wykazało poprawy. Przed zastosowaniem edycji wag do innego modelu przetestuj, którą usterkę naprawia.

## Pytania i odpowiedzi

### Co zmieniła Astra, aby poprawić zgłoszony wynik matematyczny Qwena?

Astra dokonała ukierunkowanej edycji wag, która pomogła Qwenowi zakończyć więcej odpowiedzi, zgodnie z badaniem Rikiyi Takehi i współautorów. Usunęła wkład związany z powtórzeniami z wybranych kolumn w wewnętrznych warstwach. Zgłoszony wzrost wyniku matematycznego wykorzystywał stały protokół oceny. Wiele edytowanych odpowiedzi nadal osiągnęło limit długości, więc wynik zachowuje znaczną resztkową stopę awaryjności.

### Jakie narzędzia i informacje zwrotne były dozwolone podczas edycji wag Qwena?

Analiza Pythona, problemy praktyczne z odpowiedziami i informacje zwrotne z serii uruchomień modelu były dozwolone w wielu turach. Rzeczywiste początkowe zapytanie badaczy zabraniało treningu gradientowego i określało porady dotyczące testowania diagnostycznego i przyczynowego, w tym naprawę powtarzalnego myślenia jako kwalifikującego się celu. To wsparcie pomogło Astrze wybrać bezpośrednią edycję istniejących wag. Jednostka budżetu mogła zawierać setki generowanych odpowiedzi.

### Czy ostateczne problemy ewaluacyjne były dostępne dla modelu edycyjnego?

Badacze twierdzą, że końcowe zestawy ewaluacyjne pozostały niewidoczne dla Astry. Informacje zwrotne z praktyki pochodziły z problemów podziału treningowego i pomogły wybrać edycję; oddzielne, "wstrzymane" problemy mierzyły przesłany model później. Początkowe zapytanie ujawniło nazwy benchmarków i protokół oceny. To rozróżnienie opisuje, co zostało wstrzymane, nie twierdząc, że edytorowi brakowało wszelkich informacji o zadaniu.

### Co stało się w mniejszym badaniu uzupełniającym edycji wag Gemmy?

Mniejsze badanie uzupełniające Gemmy nie wykazało zysku, zgodnie z Rikiyi Takehi i współautorów. Model rzadko się zapętlał, a jego usterkami były błędne obliczenia i nieprawidłowa algebra. Ukierunkowane edycje z informacjami zwrotnymi z praktyki przesunęły zgłoszony wynik matematyczny o co najwyżej około jeden punkt. Wykorzystano osobną konfigurację, więc porównanie dostarcza zdefiniowanego kontrprzykładu, a nie równej, kontrolowanej ablacji.

### Jaki był werdykt The Daily Diff w sprawie twierdzenia o edycji wag?

Werdykt The Daily Diff brzmiał NEEDS REVIEW. Niko poważnie potraktowałby ukierunkowaną naprawę pętli i ją przetestował, jednocześnie uzależniając szersze twierdzenia od sukcesu poza tym trybem awarii. Własny kontrprzykład mniejszego modelu autorów informuje o tym osądzie. Programiści powinni zidentyfikować usterkę, którą naprawia edycja, i ocenić zapisane wagi na własnych zadaniach, zanim będą świętować zgłoszony mnożnik.

## Rozdziały

- 0:00 Dlaczego wynik matematyczny podskoczył?
- 0:58 Co Qwen robił źle?
- 1:25 Co kwestionuje dzisiejszy krytyk?
- 1:41 Jaką pomoc naprawdę otrzymała Astra?
- 2:27 Jak mała była faktyczna naprawa?
- 3:08 Które eksperymenty naprawdę nie miały narzędzi?
- 3:40 Czego wymagałoby bardziej ogólne twierdzenie?
- 4:06 Co stało się z modelem, który rzadko się zapętlał?
- 4:47 Czy zaakceptowałbym twierdzenie o edycji wag?

## Przetłumaczona transkrypcja

Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.

### Dlaczego wynik matematyczny podskoczył?

0:00 AI, która czyni inną AI sześć razy mądrzejszą, brzmi jak natychmiastowy geniusz. Duży skok wyniku Astry wyniknął z pomocy Qwenowi w kończeniu odpowiedzi, które ten ciągle powtarzał. W tym wideo: co się zmieniło? Jaką pomoc otrzymała Astra? I jak daleko sięga poprawka? Qwen przeszedł z około ośmiu procent do czterdziestu ośmiu procent. Badacze wypróbowali drugi model z prawie zerową liczbą pętli. Zobaczymy, jak to poszło przed ogłoszeniem werdyktu.

0:22 Jest wtorek, trzeciego listopada, a to jest The Daily Diff. Programowanie w przestrzeni wag to nazwa nadana przez badaczy dla proszenia AI o sprawdzenie lub zapisanie liczb wewnątrz sieci neuronowej. Te liczby to jej wagi. Ten zespół powiązany z MIT wykorzystał GPT-6 Astra firmy OpenAI do edycji małego modelu językowego Qwen, z zabronionym zwykłym treningiem. Rikiya Takehi i jego współautorzy opublikowali badanie w poniedziałek,

0:44 pytając, czy istniejąca AI mogłaby wnioskować o wewnętrznych mechanizmach innej sieci. Ich główny wynik jest bardzo klikalny. Na "math five hundred" Qwen wzrósł z około ośmiu procent do czterdziestu ośmiu procent. Prawie sześciokrotnie więcej poprawnych odpowiedzi. Qwen kontynuował myślenie, aż zabrakło mu miejsca na odpowiedź.

### Co Qwen robił źle?

1:00 W trybie myślenia często powtarzał swoje rozumowanie. Wyobraź sobie studenta wypełniającego zeszyt egzaminacyjny pracą aż do dzwonka. Egzaminator nadal potrzebuje odpowiedzi. Większość oryginalnych odpowiedzi osiągnęła limit długości. Astra zlokalizowała kierunek powtórzeń w dwóch wewnętrznych warstwach, a następnie usunęła jego wkład z wybranych kolumn wag. Po tej edycji więcej odpowiedzi osiągnęło konkluzję. Około jedna trzecia nadal osiągnęła limit w zgłoszonym teście.

1:22 Zeszyt egzaminacyjny w końcu otrzymał ostatnią linijkę. Dziś Matthew Honnibal, twórca spaCy i współzałożyciel Explosion,

### Co kwestionuje dzisiejszy krytyk?

1:28 zakwestionował prezentację. Mówi, że czytelnicy mogą połączyć różne warunki eksperymentów w wrażenie jednej niezwykłej techniki. Jego sprzeciw dotyczy ich połączonej historii. Możemy sami sprawdzić warunki. Eksperyment Qwen dał Astrze notebook Pythona nad wagami i problemy

### Jaką pomoc naprawdę otrzymała Astra?

1:44 do ćwiczeń z odpowiedziami. W wielu turach sprawdzała wewnętrzne aktywacje i porównywała oryginalne oraz edytowane wersje. Ostateczny budżet pozwalał na pięćdziesiąt partii uruchomień modelu. Każda partia generacyjna mogła zawierać setki odpowiedzi. Dane do ćwiczeń pochodziły z podziałów treningowych. Badacze twierdzą, że Astra nigdy nie widziała końcowych zestawów ewaluacyjnych. Informacje zwrotne pomogły wybrać edycję; problemy "held-out" mierzyły ją później. Ustawienia próbkowania pozostały stałe między oryginalnym a edytowanym Qwenem,

2:09 co czyni porównanie wyników w tym protokole interpretowalnym. Pierwsze zapytanie nadało jej pomocnego opiekuna laboratoryjnego. Diagnozuj usterki, znajduj odpowiedzialne komponenty, porównuj na tych samych problemach i testuj kilka sił. Wyraźnie wspomniano o powtarzalnym myśleniu jako o naprawie, która się liczy. Studenci podyplomowi powinni negocjować pakiet wdrożeniowy. To imponująca naprawa.

### Jak mała była faktyczna naprawa?

2:28 Ukierunkowana edycja Astry dotknęła około stu trzydziestu jeden tysięcy wag. To około szesnaście tysięcznych procenta modelu. Plik wagowy został zmieniony bezpośrednio. Trening gradientowy pozostał zabroniony; istniejący model odpowiadał po zakończeniu sesji edycyjnej Astry. Zysk osiągnął również "instruction following". Podoba mi się praktyczna implikacja. Model może posiadać użyteczną pracę, którą jego tryb awarii ciągle grzebie.

2:48 Naprawa tej awarii może przywrócić użyteczne odpowiedzi. Zakończenie się liczy. Honnibal uznaje pracę wspomaganą narzędziami za wykonującą zadania, które mógłby wykonać ludzki inżynier uczenia maszynowego. To ma konsekwencje dla agenta. Jego skarga polega na tym, że małe demonstracje z surowymi liczbami i większe naprawy wspomagane Pythonem zapraszają do szerszego wniosku, gdy są połączone. Weźmy małe sieci gier.

### Które eksperymenty naprawdę nie miały narzędzi?

3:09 W jednym eksperymencie Astra odczytała ich surowe liczby i poprawnie zidentyfikowała, którą grę każda sieć opanowała. Narzędzia były zabronione. W innym napisała nowe wagi do grania w gry od zera, używając zasad i kodu źródłowego, bez "rolloutów" praktycznych. Są to oddzielne demonstracje z oddzielnymi dowodami. Sieci Astry pokonały bazowy model trenowany przez sto milionów kroków we wszystkich trzech grach. W porównaniu z dłużej trenowanym modelem bazowym przegrała w Seaquest i

3:32 Asterix, wygrywając Breakout. Zmień kolumnę porównania, a mowa zwycięstwa wymaga edycji. Wygodnie, edycja jest dzisiejszym tematem. Dla szerszego twierdzenia chcielibyśmy ulepszeń w modelach z różnymi usterkami.

### Czego wymagałoby bardziej ogólne twierdzenie?

3:44 Śledź, co widział edytor i co liczyło się jako sukces. Karta modelu Qwen już ostrzega przed pętlami myślenia. Usunięcie tej znanej przeszkody ma szczególny punkt wyjścia. Na ich korzyść autorzy sami publikują niewygodne uzupełnienie. Wyjaśniają, że zatrzymanie pętli pozwala Qwenowi zakończyć odpowiedzi, które mógł już opracować. Ich logi zawierają zapytania, informacje zwrotne i edycje. Możemy zbadać osiągnięcie i zadać trudniejsze pytanie.

### Co stało się z modelem, który rzadko się zapętlał?

4:06 Teraz drugi model, mniejsza Gemma w swojej własnej konfiguracji uzupełniającej. Rzadko się zapętlała, więc jej usterkami były zwykłe błędne obliczenia i nieprawidłowa algebra. Astra ponownie spróbowała ukierunkowanych edycji wag z informacjami zwrotnymi z praktyki. Żadna nie przesunęła jej wyniku matematycznego o więcej niż około jeden punkt, a zysk nie został ustalony. Udanej naprawie Qwena przeszkadzała przeszkoda do usunięcia. Błędy arytmetyczne Gemmy przetrwały. To jest użyteczne pytanie dla programistów.

4:28 Którą usterkę naprawiła edycja i czy twój model faktycznie ją posiada? Przetestuj zapisane wagi na własnych zadaniach, zanim będziesz świętować mnożnik. Naprawione wąskie gardło może mieć ogromne znaczenie, podczas gdy następne wąskie gardło pozostaje dokładnie tam, gdzie było. Jeśli wolisz to przeczytać, niż usłyszeć, jak to mówię, "diff" trafia do twojej skrzynki odbiorczej codziennie rano, za darmo na daily diff dot dev, link poniżej.

### Czy zaakceptowałbym twierdzenie o edycji wag?

4:47 Więc dzisiejszy werdykt to NEEDS REVIEW. Potraktowałbym naprawę pętli poważnie i ją przetestował. Szersze twierdzenia uzależniałbym od sukcesu poza tym trybem awarii. Własny kontrprzykład autorów jest najbardziej użyteczną linią w "diffie". I to tyle "diffa" na dziś. Jestem Niko z Axrisi. Łącz odpowiedzialnie.

## Źródła

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above