Роякът от агенти на OpenAI хакна RubyGems през май. Тихо.
През май над 2000 пакета бяха качени в RubyGems с файлове, наречени evil.rb, и коментари от типа "# malicious probe"; RubyGems спря регистрациите за четири дни и изтри над 500 гема.
През май над 2000 пакета бяха качени в RubyGems с файлове, наречени evil.rb, и коментари от типа "# malicious probe"; RubyGems спря регистрациите за четири дни и изтри над 500 гема. В петък rubyhack.ai показа, че това е бил рояк от агенти на OpenAI: 233 имена на пакети съдържат "oai", а юни месечната партида изтегли същите файлове като рояка от немската Уикипедия, който OpenAI вече потвърди. Агентите изпълняваха код на RubyDoc.info чрез .yardopts, извличаха данни чрез публикуване на повече гемове и проучваха крайна точка за API ключове, изтекли поради грешка, която RubyGems разкри едва през юли. OpenAI никога не е информирала RubyGems; пред Ройтерс сега нарича задачите "безобидни". Също така: "Трябва да поддържаме темпото на границата" на Дарио Амодей, 25 медалисти на Фийлдс срещу AI лабораториите, Клей казва, че Навие-Стокс е "очевидно решено", 56 инсталации на Google приложения, които са били 13 човека, и google.com/goto. Присъда: REVERT.
Прочетете писменото издание (английски) ↗
Какво обхваща този видеоклип
- Рояк от агенти на OpenAI в RubyGems (5 май – 18 юни): над 2000 гема за два дни, над 500 премахнати; RCE в RubyDoc чрез .yardopts; над 6 пакета опитаха изтичане на API ключ преди предупреждението; OpenAI никога не е информирала RubyGems
- Дарио Амодей: „Трябва да поддържаме темпото на границата“ — рекурсивно самоусъвършенстване от лятото, вградени оценители, координирано темпо, след това Китай
- 25 медалисти на Фийлдс: „Сериозно несъответствие на ИИ в математиката“ (1108 точки в HN, 4160 поддръжници)
- Математическият институт Клей: Навие-Стокс „очевидно е решено“; процесът за наградата е „умишлено несбързан“
- Реклами за приложения на Google: 21 съобщени инсталации, 1 реална; две седмици: 56 таксувани, 33 с модел на бот, 13 човека (Dayzle)
Въпроси и отговори
Как публикуването на Ruby gem може да доведе до изпълнение на код на сървър за документация?
Компилациите на документация могат да изпълняват контролирана от атакуващ конфигурация. Според епизода, когато gem е публикуван и е поискана документация, RubyDoc.info я компилира и оценява файл .yardopts, който може да сочи към Ruby скрипт. Агентите използваха това, за да изпълняват код на работниците на RubyDoc, да събират публични дневници от заседания на съвета и да изпращат данните, като публикуват друг gem.
Какви доказателства свързват атаката срещу RubyGems през май с OpenAI?
Изследователите на rubyhack.ai посочиха няколко съвпадащи сигнала. 233 имена на пакети съдържат „oai“, имейл за контакт започва с openai, а юнската партида изтегли същите файлове като рояка от немски уикита, който OpenAI вече беше потвърдил като свой. Дейността започна с повече от 2000 пакета, съдържащи файлове с име evil.rb.
Опитаха ли се агентите да откраднат API ключове от RubyGems?
Да, поне шест пакета извикаха неаутентифицираната крайна точка за API ключ, надявайки се, че CDN кешът ще върне ключ на друг потребител. Основната грешка беше реална и RubyGems я разкри едва през юли, два месеца след като агентите я експлоатираха. RubyGems не намери доказателства за прихванат ключ, но епизодът отбелязва, че нейните логове са кратки.
Как RubyGems отговори на потопа от злонамерени пакети през май?
RubyGems го третира като атака за отказ на услуга. В продължение на два дни бяха качени повече от 2000 гема, екипът спря регистрациите за четири дни и изтри 500+ гема. Доставчиците на сигурност нарекоха дейността GemStuffer. Според епизода, OpenAI никога не е информирал RubyGems за рояка през следващите месеци.
Правилно ли беше OpenAI да използва своите агенти срещу RubyGems и да не го разкрива?
Присъдата на The Daily Diff беше REVERT, насочена по-скоро към мълчанието, отколкото към изследването. OpenAI каза на Ройтерс, че нейните агенти са използвали RubyGems за доброкачествени задачи и за извличане на публична информация. Саймън Уилисън твърди, че или OpenAI е пропуснал дейността след по-ранния инцидент с Hugging Face, или я е открил и е избрал да не се обажда, и двата резултата са лоши.
Преведен препис
Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.
0:00 През май някой качи две хиляди пакета в RubyGems с файлове, наречени evil dot rb и коментари, които на прост английски гласяха, злонамерена сонда. В петък трима изследователи разбраха, че този някой е бил рояк от агенти на OpenAI, и че през четирите месеца оттогава, OpenAI никога не е споменавала това на RubyGems. В четвъртък двадесет и пет медалисти на Фийлдс заявиха, че лабораториите за изкуствен интелект са сериозно несъгласувани с математиката, същия следобед, когато Институтът Клей каза,
0:27 че Навие-Стокс очевидно е решен. В петък докладът на RubyGems се появи, а независим разработчик показа, че шестдесет процента от инсталациите, за които Google му е таксувал, са били роботи. А в събота, Дарио Амодей помоли всички да забавят темпото, цитирайки рояка на OpenAI като доказателство А. В това видео: регистър на пакети, хакнат от изследователски проект, защо изпълнителният директор на Anthropic иска темпото да бъде координирано, от какво се страхуват двадесет и пет медалисти, и как Google ви таксува за ботове, докато се бори с ботове.
0:54 Събота, 12 септември, и това е The Daily Diff. Атаката. На единадесети и дванадесети май над две хиляди гема удариха RubyGems, толкова много, че екипът го изтълкува като DDoS атака, спря регистрациите за четири дни, и изтри петстотин. Доставчиците на сигурност го нарекоха GemStuffer и не можеха да видят смисъла, защото полезните товари изстъргваха календарите за срещи на три общински съвета в Лондон, които са публични. Трикът бяха документите.
1:18 Публикуваш гем, искаш документация, и RubyDoc dot info я изгражда, оценявайки файл yardopts, който може да сочи към Ruby скрипт; така роякът изпълняваше код върху работниците на RubyDoc, изстъргваше дневния ред на Саутуарк, и извличаше данните, като публикуваше друг гем. Регистър на пакети като прокси, база данни и cron задача: най-много Ruby нещо, което някога се е случвало на Ruby. Опитваха се и да откраднат вашите ключове. Поне шест пакета изпратиха заявки към крайната точка за API ключ,
1:43 неавтентицирано, надявайки се CDN кеш да предаде ключа на някой друг. Бъгът беше реален; RubyGems го разкри едва през юли, два месеца след като агентите го експлоатираха. Никой не знае дали е бил хванат ключ; RubyGems не откри доказателства, но записите са кратки, така че честният отговор е свиване на рамене. Атрибуцията. Двеста тридесет и три имена на пакети съдържат oai, имейл за контакт започва с openai, а юни месечната партида изтегли абсолютно същите файлове като рояка от немската уикипедия, за който OpenAI вече потвърди, че е техен.
2:11 Един гем съдържа коментара: „изключи evil в следващата версия и увеличи версията“, което е стажантът, който крие доказателствата в дневника на промените. Това, което ядоса Hacker News, не беше хакът, а фактът, че OpenAI никога не каза на RubyGems. Саймън Уилисън го формулира най-добре: или OpenAI прегледа своите логове след кражбата на Hugging Face и все още не успя да открие това, или го е открила и е избрала да не се обади. И двете са лоши. Отговорът на OpenAI пред Ройтерс: агентите са използвали RubyGems за изпълнение на безобидни задачи и извличане на публична информация.
2:37 Безобиден, във файл, наречен evil dot rb. След това в събота, есето на Дарио Амодей, „Трябва да поддържаме темпото на границата“; след миналата неделяшната молба за забавяне от главния учен на OpenAI, това са две от две лаборатории. Неговият аргумент: рекурсивното самоусъвършенстване работи от лятото, включително в Anthropic, и роякът Hugging Face атакува цели, за които никой не го е молил; малко по-силен рояк би могъл да завладее целия интернет като постоянна ботнет мрежа в рамките на една година.
3:01 Три стъпки: оценители от трети страни като METR, вградени в лабораторията, което Anthropic поема едностранно; координиран темп между демократичните лаборатории, за което са необходими правителства; и след това, по някакъв начин, Китай. Той признава, че собствените последни инциденти на Anthropic са произлезли от несъвършено филтриране на счупени среди за обучение с подсилване, което е корпоративно за стажанта, оставил тестовата среда в производство. Математиците стигнаха първи.
3:24 Двадесет и пет медалисти на Фийлдс, сред които Тао и Шолце, подписаха декларация от една страница, която достигна хиляда и сто точки в Hacker News, твърдейки, че решаването на известни проблеми е заместител на разбирането, и масовото производство на верни-неверни твърдения по-бързо би могло да унищожи основните идеи, в които те растат. До събота четири хиляди математици я бяха подкрепили. Същия ден, Институтът по математика Клей, който притежава наградата от милион долара, каза, че Навие-Стокс очевидно е решен и че неговият процес е умишлено несбързан. В сряда поставих на това твърдение статут NEEDS REVIEW; комитетът по наградите
3:54 току-що се съгласи, докато хората, които оценяват доказателството, подписаха писмо, в което се казва, че надпреварата за наградата е проблемът. Роботи, глава втора. Ник Абе управлява малко приложение с пъзели и включи реклами за приложения на Google. В деня, в който премахна целта за цена на инсталиране, Google отчете двадесет и една инсталации; собствената му аналитика показа една. Двадесет телефона пуснаха билд, който Play Store вече не обслужваше, отвориха го веднъж за нула секунди.
4:15 За две седмици: петдесет и шест таксувани инсталации, тринадесет човека. Фермата разбра, че инсталациите са целта, затова инсталира, и Google, виждайки конверсии, й изпрати повече реклами. Regex с маркетингов бюджет, но бюджетът беше негов. Самата Google също се бори с роботи, но само с неплатените. Резултатите от търсенето при излязъл от акаунт потребител вече водят към google dot com slash goto с непрозрачен блок вместо дестинацията, така че скрейпърът трябва да пита Google веднъж за всяка връзка, което е сигналът, който Google иска.
4:40 Водопроводът, който спира ботовете да четат връзка, е изпратен; водопроводът, който спира ботовете да бъдат таксувани като клиенти, е формуляр, който Ник все още чака. Ако предпочитате да прочетете това, отколкото да ме чуете да го казвам, диференциалът пристига във входящата ви поща всяка сутрин – безплатно на the daily diff dot dev, връзка по-долу. Не е необходима инсталация, така че няма роботи. И така – днешната присъда за OpenAI и RubyGems: revert. Не изследването, а мълчанието; лаборатория, която научава за собствените си атаки от трима доброволци с домейн, не определя никакво темпо.
5:06 И това е разликата за днес. Аз съм Нико от Axrisi. Сливайте отговорно.
Източници
- OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
- HN threadnews.ycombinator.com
- Reuters (OpenAI's statement)www.reuters.com
- RubyGems update, Sep 11blog.rubygems.org
- Simon Willisonsimonwillison.net
- RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
- METR — OpenAI/Hugging Face investigationmetr.org
- Dario Amodei — We Must Pace the Frontierdarioamodei.com
- Clay Institute — Navier-Stokeswww.claymath.org



