# GPT-6 Astra가 다른 AI의 끝없는 생각을 패치했다

Published: 2026-11-04

MIT 관련 연구에서는 GPT-6 Astra를 사용하여 작은 Qwen 모델의 가중치를 편집하고 더 많은 답변을 완료하도록 도왔습니다. 보고된 수학 점수 상승은 목표 루프 수정, Python 분석 및 연습 피드백에 달려 있었습니다. 별도의 더 작은 Gemma 후속 연구에서는 확립된 이점을 찾지 못했습니다.

Canonical: https://thedailydiff.dev/ko/video/2026-11-03-astra-qwen-weights/

## 이 동영상에서 다루는 내용

- 보고된 Qwen 점수 상승은 반복적인 추론에 대한 목표 수정을 통해 이루어졌습니다. 편집된 답변의 약 3분의 1은 기본 프로토콜에서 여전히 길이 제한에 도달했습니다.
- 그래디언트 훈련은 금지되었지만, Python, 연습 답변 및 배치된 모델 실행 피드백은 여러 차례에 걸쳐 허용되었습니다. 최종 평가 질문은 출처에서 보류된 것으로 선언되었습니다.
- 작은 원시 가중치 및 롤아웃 없는 게임 실험은 다른 조건을 사용했습니다. 그들의 주장은 개별 도구, 입력 및 기준 범위 내에서 유지되어야 합니다.
- Matthew Honnibal은 도구 지원 엔지니어링의 공로를 인정하고 실험을 묶어 생성된 더 넓은 인상에 이의를 제기합니다.
- 더 작은 Gemma 후속 연구는 자체 설정을 사용했으며 개선 사항을 확립하지 못했습니다. 가중치 편집을 다른 모델에 적용하기 전에 어떤 실패를 수정하는지 테스트하세요.

## 자주 묻는 질문

### Astra는 Qwen의 보고된 수학 점수를 향상시키기 위해 무엇을 변경했습니까?

리키야 다케히와 공동 저자들의 연구에 따르면, Astra는 Qwen이 더 많은 답변을 완성하도록 돕는 목표 가중치 편집을 했습니다. 이는 내부 레이어의 선택된 열에서 반복과 관련된 기여를 제거했습니다. 보고된 수학 점수 증가는 고정된 평가 프로토콜을 사용했습니다. 많은 편집된 답변이 여전히 길이 제한에 도달했으므로, 결과는 상당한 잔여 실패율을 유지합니다.

### Qwen 가중치 편집 중에 어떤 도구와 피드백이 허용되었습니까?

Python 분석, 답변이 포함된 연습 문제, 그리고 배치된 모델 실행 피드백이 여러 차례에 걸쳐 허용되었습니다. 연구원들의 실제 초기 프롬프트는 그래디언트 훈련을 금지하고 반복적인 사고 수정을 적격 목표로 포함하여 진단 및 인과 테스트 조언을 명시했습니다. 이러한 지원은 Astra가 기존 가중치에 대한 직접 편집을 선택하는 데 도움이 되었습니다. 한 예산 단위에는 수백 개의 생성된 답변이 포함될 수 있었습니다.

### 최종 평가 문제는 편집 모델에 사용할 수 있었습니까?

연구원들은 최종 평가 세트가 Astra에게 보이지 않았다고 말합니다. 연습 피드백은 훈련 분할 문제에서 왔으며 편집을 선택하는 데 도움이 되었고, 별도의 보류된 문제들이 나중에 제출된 모델을 측정했습니다. 초기 프롬프트는 벤치마크 이름과 평가 프로토콜을 공개했습니다. 이 구분은 편집자가 작업에 대한 모든 정보를 가지고 있지 않았다고 주장하지 않고 무엇이 보류되었는지 설명합니다.

### 더 작은 Gemma 가중치 편집 후속 연구에서는 무슨 일이 있었습니까?

리키야 다케히와 공동 저자들에 따르면, 더 작은 Gemma 후속 연구에서는 이득을 확립하지 못했습니다. 모델은 루프가 거의 없었고, 그 실패에는 잘못된 산술과 유효하지 않은 대수가 포함되었습니다. 연습 피드백과 함께 목표 편집은 보고된 수학 점수를 기껏해야 약 1점 정도 움직였습니다. 이는 별도의 설정을 사용했으므로, 비교는 동일하게 제어된 절제보다는 범위가 정해진 반례를 제공합니다.

### The Daily Diff의 가중치 편집 주장에 대한 평결은 무엇이었습니까?

The Daily Diff의 평결은 NEEDS REVIEW였습니다. Niko는 목표 루프 수정을 진지하게 받아들이고 테스트할 것이며, 그 실패 모드를 넘어선 성공에 따라 더 넓은 주장을 제한할 것입니다. 연구원들의 자체 소형 모델 반례가 그 판단의 근거가 됩니다. 개발자는 편집이 수정하는 실패를 식별하고 보고된 승수를 축하하기 전에 자신의 작업에서 저장된 가중치를 평가해야 합니다.

## 챕터

- 0:00 수학 점수가 왜 상승했을까요?
- 0:58 Qwen이 무엇을 잘못하고 있었을까요?
- 1:25 오늘날 비판론자가 무엇에 이의를 제기하나요?
- 1:41 Astra는 실제로 어떤 도움을 받았나요?
- 2:27 실제 수정은 얼마나 작았나요?
- 3:08 어떤 실험에 정말 도구가 없었나요?
- 3:40 더 일반적인 주장을 위해서는 무엇이 필요할까요?
- 4:06 루프가 거의 없는 모델에는 무슨 일이 일어났나요?
- 4:47 가중치 편집 주장을 받아들일까요?

## 번역된 스크립트

원래 영어 내레이션에서 번역되었습니다. 사용 가능한 오디오 및 캡션은 YouTube에서 제어합니다.

### 수학 점수가 왜 상승했을까요?

0:00 AI가 다른 AI를 6배 더 똑똑하게 만든다는 것은 즉각적인 천재성을 의미합니다. Astra의 큰 점수 상승은 Qwen이 계속 반복하던 답변을 완성하도록 도왔기 때문입니다. 이 비디오에서 무엇이 변했을까요? Astra는 어떤 도움을 받았을까요? 그리고 그 수정은 얼마나 멀리 퍼질까요? Qwen은 약 8%에서 48%로 상승했습니다. 연구원들은 루프가 거의 없는 두 번째 모델을 시도했습니다. 판결 전에 어떻게 진행되었는지 살펴보겠습니다.

0:22 11월 3일 화요일입니다. The Daily Diff입니다. 가중치 공간 프로그래밍은 연구원들이 부르는 이름입니다. AI에게 신경망 내부의 숫자를 검사하거나 작성하도록 요청하는 것을 의미합니다. 그 숫자들은 가중치입니다. 이 MIT 관련 팀은 OpenAI의 GPT-6 Astra를 사용하여 작은 Qwen 언어 모델을 편집했으며, 일반적인 훈련은 금지되었습니다. 리키야 다케히와 그의 공동 저자들은 월요일에 이 연구를 발표하며,

0:44 기존 AI가 다른 네트워크의 내부를 추론할 수 있는지 물었습니다. 그들의 헤드라인 결과는 매우 클릭률이 높습니다. 수학 500점에서 Qwen은 약 8%에서 48%로 상승했습니다. 거의 6배의 정답률입니다. Qwen은 답변할 공간이 없어질 때까지 계속 생각했습니다.

### Qwen이 무엇을 잘못하고 있었을까요?

1:00 생각하는 동안 종종 추론을 반복했습니다. 종이 울릴 때까지 시험지에 필기를 채우는 학생을 상상해보세요. 채점자는 여전히 답을 필요로 합니다. 대부분의 원래 답변은 길이 제한에 도달했습니다. Astra는 두 내부 레이어에서 반복 방향을 찾아냈고, 선택된 가중치 열에서 그 기여를 제거했습니다. 그 편집 후, 더 많은 답변이 결론에 도달했습니다. 보고된 테스트에서 약 3분의 1은 여전히 한도에 도달했습니다.

1:22 시험지는 마침내 마지막 줄을 얻었습니다. 오늘, spaCy의 창시자이자 Explosion의 공동 창립자인 Matthew Honnibal은

### 오늘날 비판론자가 무엇에 이의를 제기하나요?

1:28 발표에 이의를 제기했습니다. 그는 독자들이 실험의 다른 조건들을 하나의 놀라운 기술이라는 인상으로 결합할 수 있다고 말합니다. 그의 반대는 결합된 이야기에 관한 것입니다. 우리는 조건을 직접 확인할 수 있습니다. Qwen 실험은 Astra에게 가중치와 연습

### Astra는 실제로 어떤 도움을 받았나요?

1:44 문제 및 답변이 포함된 Python 노트북을 제공했습니다. 여러 차례에 걸쳐 내부 활성화를 검사하고 원본과 편집된 버전을 비교했습니다. 최종 예산은 50개의 모델 실행 배치를 허용했습니다. 각 생성 배치에는 수백 개의 답변이 포함될 수 있었습니다. 연습 데이터는 훈련 분할에서 가져왔습니다. 연구원들은 Astra가 최종 평가 세트를 본 적이 없다고 말합니다. 피드백은 편집을 선택하는 데 도움이 되었고, 보류된 문제들은 나중에 그것을 측정했습니다. 샘플링 설정은 원본과 편집된 Qwen 사이에 고정되어 있었고,

2:09 이 프로토콜의 점수 비교를 해석 가능하게 만들었습니다. 첫 번째 프롬프트는 유능한 연구실 관리자를 제공했습니다. 실패를 진단하고, 책임 있는 구성 요소를 찾고, 동일한 문제에서 비교하고, 여러 강도를 테스트합니다. 그것은 반복적인 사고를 유효한 수정으로 명시적으로 언급했습니다. 대학원생들은 이 온보딩 패키지를 협상해야 합니다. 그것은 인상적인 수정입니다.

### 실제 수정은 얼마나 작았나요?

2:28 Astra의 목표 편집은 약 131,000개의 가중치를 건드렸습니다. 이는 모델의 약 0.016%에 해당합니다. 가중치 파일이 직접 변경되었습니다. 그래디언트 훈련은 계속 금지되었고, Astra의 편집 세션이 끝난 후 기존 모델이 답변을 했습니다. Astra의 편집 세션이 끝난 후, 기존 모델이 답변을 했습니다. 이점은 지시 따르기에도 도달했습니다. 나는 실용적인 함의가 마음에 듭니다. 모델은 실패 모드 때문에 계속 묻혀있는 유용한 작업을 가지고 있을 수 있습니다.

2:48 그 실패를 수정하면 사용 가능한 답변을 복구할 수 있습니다. 완성하는 것이 중요합니다. Honnibal은 도구 지원 작업이 인간 기계 학습 엔지니어가 할 수 있는 작업을 수행했다고 평가합니다. 이는 에이전트에게 중요한 의미를 가집니다. 그의 불만은 작은 원시 숫자 시연과 더 큰 Python 지원 수정이 함께 묶일 때 더 넓은 결론을 유도한다는 것입니다. 작은 게임 네트워크를 예로 들어보겠습니다.

### 어떤 실험에 정말 도구가 없었나요?

3:09 한 실험에서 Astra는 그들의 원시 숫자를 읽고 각 네트워크가 어떤 게임을 학습했는지 정확히 식별했습니다. 도구는 금지되었습니다. 다른 실험에서는 규칙과 소스 코드를 사용하여 새로운 게임 플레이 가중치를 처음부터 작성했으며, 연습 롤아웃은 없었습니다. 이것들은 별개의 증거를 가진 별개의 시연입니다. Astra의 네트워크는 세 가지 게임 모두에서 1억 단계 훈련된 기준선을 이겼습니다. 더 오래 훈련된 기준선에 대해서는 Seaquest와 Asterix에서 졌지만,

3:32 Breakout에서는 이겼습니다. 비교 열을 바꾸면 승리 연설을 편집해야 합니다. 다행히 편집은 오늘날의 주제입니다. 더 넓은 주장을 위해서는 다른 실패를 가진 모델 전반에 걸친 개선이 필요합니다.

### 더 일반적인 주장을 위해서는 무엇이 필요할까요?

3:44 편집자가 무엇을 보았고 무엇이 성공으로 간주되었는지 추적하세요. Qwen의 모델 카드에는 이미 사고 루프에 대한 경고가 있습니다. 이 알려진 장애물을 제거하는 것은 특정한 시작점을 가집니다. 칭찬할 만하게도, 저자들은 불편한 후속 연구를 직접 발표합니다. 그들은 루프를 멈추는 것이 Qwen이 이미 해결할 수 있었던 답변을 완성하도록 돕는다고 설명합니다. 그들의 로그에는 프롬프트, 피드백 및 편집 내용이 포함되어 있습니다. 우리는 성과를 검토하고 더 어려운 질문을 할 수 있습니다.

### 루프가 거의 없는 모델에는 무슨 일이 일어났나요?

4:06 이제 두 번째 모델인 자체 후속 설정의 더 작은 Gemma입니다. 이 모델은 루프가 거의 없었으므로, 그 실패는 일반적인 잘못된 산술과 유효하지 않은 대수였습니다. Astra는 연습 피드백과 함께 목표 가중치 편집을 다시 시도했습니다. 어떤 것도 수학 점수를 약 1점 이상 움직이지 못했고, 이득은 확립되지 않았습니다. 성공적인 Qwen 수정에는 제거할 장애물이 있었습니다. Gemma의 산술 오류는 남아있었습니다. 이것이 개발자들에게 유용한 질문입니다.

4:28 편집이 어떤 실패를 수정했는지, 그리고 당신의 모델에 실제로 그 실패가 있는지? 승수를 축하하기 전에 자신의 작업에서 저장된 가중치를 테스트하십시오. 수정된 병목 현상은 엄청나게 중요할 수 있지만, 다음 병목 현상은 정확히 그 자리에 남아 있습니다. 제가 말하는 것을 듣는 것보다 읽고 싶다면, 매일 아침 당신의 받은 편지함으로 무료로 배달되는 The Daily Diff를 확인하세요. 아래 링크를 참조하세요.

### 가중치 편집 주장을 받아들일까요?

4:47 따라서 오늘날의 평결은 NEEDS REVIEW입니다. 저는 루프 수정을 진지하게 받아들이고 테스트할 것입니다. 저는 그 실패 모드를 넘어선 성공에 따라 더 넓은 주장을 제한할 것입니다. 저자들의 자체 반례는 diff에서 가장 유용한 줄입니다. 오늘의 diff는 여기까지입니다. 저는 Axrisi의 Niko입니다. 책임감 있게 병합하세요.

## 출처

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above