GPT-6 Astra исправила бесконечное мышление другого ИИ

Что освещается в этом видео

• Заявленное повышение балла Qwen произошло благодаря целенаправленному исправлению повторяющихся рассуждений; около трети отредактированных ответов все еще достигали предела длины в основном протоколе.
• Градиентное обучение было запрещено, в то время как Python, практические ответы и пакетная обратная связь по работе модели были разрешены на протяжении многих циклов. Вопросы окончательной оценки были заявлены как "отложенные" по источнику.
• Небольшие эксперименты с необработанными весами и без развертывания в играх использовали разные условия. Их утверждения должны сохранять свои индивидуальные инструменты, входные данные и базовый объем.
• Мэттью Хоннибал отдает должное инженерии с использованием инструментов и оспаривает более широкое впечатление, создаваемое объединением экспериментов.
• Последующее исследование с меньшей Gemma использовало свою собственную настройку и не смогло установить улучшение. Проверьте, какую ошибку исправляет изменение веса, прежде чем применять его к другой модели.

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

Почему математический балл подскочил?

0:00 ИИ, который делает другой ИИ в шесть раз умнее, звучит как мгновенный гений. Большой скачок в показателях Astra произошел благодаря тому, что она помогла Qwen завершить ответы, которые он постоянно повторял. В этом видео, что изменилось? Какую помощь получила Astra? И насколько далеко распространяется исправление? Qwen поднялся примерно с восьми до сорока восьми процентов. Исследователи попробовали вторую модель почти без циклов. Мы увидим, как это прошло, прежде чем вынести вердикт.

0:22 Сегодня вторник, третье ноября, и это The Daily Diff. Программирование в пространстве весов — это название, данное исследователями запросу ИИ проверить или написать числа внутри нейронной сети. Эти числа — ее веса. Эта команда, связанная с Массачусетским технологическим институтом, использовала GPT-6 Astra от OpenAI для редактирования небольшой языковой модели Qwen, при этом обычное обучение было запрещено. Рикия Такехи и его соавторы опубликовали исследование в понедельник,

0:44 спрашивая, может ли существующий ИИ рассуждать о внутренних компонентах другой сети. Их основной результат очень кликабелен. На математике 500 Qwen поднялся примерно с восьми до сорока восьми процентов. Почти в шесть раз больше правильных ответов. Qwen продолжал думать, пока у него не заканчивалось место для ответа.

Что Qwen делал неправильно?

1:00 В режиме мышления он часто повторял свои рассуждения. Представьте себе студента, заполняющего экзаменационный буклет работой до звонка. Маркеру все еще нужен ответ. Большинство оригинальных ответов достигали предела длины. Astra обнаружила направление повторения в двух внутренних слоях, затем удалила его вклад из выбранных столбцов весов. После этой правки больше ответов пришло к заключению. Около трети все еще достигали предела в сообщенном тесте.

1:22 Экзаменационный буклет наконец-то получил последнюю строку. Сегодня Мэттью Хоннибал, создатель spaCy и соучредитель Explosion,

Что оспаривает сегодняшний критик?

1:28 оспорил презентацию. Он говорит, что читатели могут объединить разные условия экспериментов в впечатление об одной необычайной технике. Его возражение касается их объединенной истории. Мы можем сами проверить условия. Эксперимент Qwen предоставил Astra ноутбук Python с весами и практические

Какую помощь на самом деле получила Astra?

1:44 задачи с ответами. На протяжении многих циклов он проверял внутренние активации и сравнивал оригинальные и отредактированные версии. Окончательный бюджет допускал пятьдесят пакетов запусков модели. Каждый пакет генерации мог содержать сотни ответов. Практические данные поступали из обучающих разделов. Исследователи говорят, что Astra никогда не видела окончательные оценочные наборы. Обратная связь помогла выбрать правку; отложенные задачи измеряли ее позже. Настройки выборки оставались фиксированными между оригинальной и отредактированной Qwen,

2:09 что делает сравнение показателей этого протокола интерпретируемым. Первое приглашение дало ему полезного научного руководителя. Диагностировать сбои, найти ответственные компоненты, сравнивать на одних и тех же задачах и тестировать несколько сильных сторон. Оно явно упомянуло повторяющееся мышление как "ремонт, который имеет значение". Аспиранты должны договориться об этом пакете адаптации. Это впечатляющий ремонт.

Насколько мал был фактический ремонт?

2:28 Целевая правка Astra затронула примерно сто тридцать одну тысячу весов. Это около шестнадцати тысячных процента модели. Файл весов изменился напрямую. Градиентное обучение оставалось запрещенным; существующая модель давала ответы после завершения сессии редактирования Astra. Прирост также распространился на следование инструкциям. Мне нравится практическое применение. Модель может обладать полезной работой, которую ее режим сбоя продолжает скрывать.

2:48 Исправление этого сбоя может восстановить пригодные к использованию ответы. Завершение имеет значение. Хоннибал приписывает работу, выполненную с помощью инструментов, выполнению задач, которые мог бы выполнить инженер по машинному обучению. Это важно для агента. Его жалоба состоит в том, что небольшие демонстрации "сырых" чисел и более крупные ремонты с помощью Python при объединении приводят к более широкому выводу. Возьмем крошечные игровые сети.

В каких экспериментах на самом деле не было инструментов?

3:09 В одном эксперименте Astra читала их "сырые" числа и правильно определяла, какую игру выучила каждая сеть. Инструменты были запрещены. В другом она с нуля написала новые веса для игры, используя правила и исходный код, без практических развертываний. Это отдельные демонстрации с отдельными доказательствами. Сети Astra победили базовый вариант, обученный на сто миллионов шагов, во всех трех играх. Против дольше обученного базового варианта они проиграли в Seaquest и

3:32 Asterix, выиграв Breakout. Измените столбец сравнения, и речь о победе потребует редактирования. Удобно, что редактирование - сегодняшняя тема. Для более широкого утверждения нам понадобятся улучшения в моделях с разными сбоями.

Что потребовалось бы для более общего утверждения?

3:44 Отслеживайте, что видел редактор и что считалось успехом. Модельная карта Qwen уже предупреждает о циклах мышления. Устранение этого известного препятствия имеет особую отправную точку. К их чести, авторы сами публикуют неудобное продолжение. Они объясняют, что остановка циклов позволяет Qwen завершить ответы, которые он уже мог вычислить. Их журналы включают подсказки, обратную связь и правки. Мы можем изучить достижение и задать более сложный вопрос.

Что случилось с моделью, которая редко циклилась?

4:06 Теперь вторая модель, меньшая Gemma в собственной последующей настройке. Она редко зацикливалась, поэтому ее сбои были обычными неправильными арифметическими операциями и неверной алгеброй. Astra снова попробовала целенаправленные правки весов с практической обратной связью. Ни одна из них не изменила ее математический балл более чем примерно на один пункт, и прирост не был установлен. Успешное исправление Qwen имело препятствие для устранения. Арифметические ошибки Gemma сохранились. Это полезный вопрос для разработчиков.

4:28 Какую ошибку исправила правка, и есть ли она на самом деле у вашей модели? Протестируйте сохраненные веса на своих задачах, прежде чем праздновать множитель. Исправленное узкое место может иметь огромное значение, в то время как следующее узкое место остается точно там, где оно было. Если вы предпочитаете прочитать это, чем услышать от меня, "дифф" приходит на вашу почту каждое утро, бесплатно на daily diff dot dev, ссылка ниже.

Отправил бы я утверждение об изменении веса?

4:47 Итак, сегодняшний вердикт – ТРЕБУЕТСЯ ПРОВЕРКА. Я бы серьезно отнесся к исправлению циклов и протестировал его. Я бы оставил более широкие заявления за рамками успеха за пределами этого режима отказа. Собственный контрпример авторов — самая полезная строка в диффе. И это весь "дифф" на сегодня. Я Нико из Axrisi. Объединяйте ответственно.

Источники

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above