Јато агенти на OpenAI го хакираа RubyGems во мај. Тивко.

Што покрива ова видео

• Јато агенти на OpenAI на RubyGems (5 мај – 18 јуни): 2.000+ гемови за два дена, 500+ отстранети; RubyDoc RCE преку .yardopts; 6+ пакети го испробаа протекувањето на API-клучот пред неговото предупредување; OpenAI никогаш не го информираше RubyGems
• Дарио Амодеи: „Мораме да го темпираме темпото на границата“ — рекурзивно самоподобрување од летото, вградени оценувачи, координирано темпо, потоа Кина
• 25 добитници на Филдсови медали: „Сериозно неусогласување на вештачката интелигенција во математиката“ (1.108 ХН поени, 4.160 поддржувачи)
• Институт за математика Клај: Навиер-Стоукс „очигледно решен“; процесот на наградување е „намерно небрзан“
• Реклами за апликации на Google: пријавени 21 инсталација, 1 реална; две недели: 56 наплатени, 33 со шема на ботови, 13 луѓе (Dayzle)

Преведен транскрипт

Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.

0:00 Во мај, некој постави две илјади пакети на RubyGems со датотеки наречени evil dot rb и коментари на англиски јазик кои велеа: малициозна сонда. Во петокот, тројца истражувачи открија дека некој бил јато агенти на OpenAI, и дека во четирите месеци оттогаш, OpenAI никогаш не го спомнал тоа на RubyGems. Во четвртокот, дваесет и петмина добитници на Филдсови медали изјавија дека лабораториите за вештачка интелигенција се сериозно неусогласени со математиката, истото попладне Институтот Клај рече дека

0:27 Навиер-Стоукс очигледно е решен. Во петокот пристигна извештајот на RubyGems, а независен развивач покажа дека шеесет проценти од инсталациите што Google му ги наплатил биле роботи. А во саботата, Дарио Амодеи побара од сите да забават, наведувајќи го јатото на OpenAI како доказ А. Во ова видео: регистар на пакети хакиран од истражувачки проект, зошто извршниот директор на Anthropic сака темпо на границата, од што се плашат дваесет и пет добитници на медали, и како Google ви наплаќа за ботови додека се бори против ботови.

0:54 Сабота е, 12 септември, и ова е The Daily Diff. Нападот. На единаесетти и дванаесетти мај, над две илјади гемови го нападнаа RubyGems, толку многу што тимот го прочита како DDoS, ги паузираше пријавите четири дена, и избриша петстотини. Продавачите на безбедносни решенија го нарекоа GemStuffer и не можеа да ја видат поентата, бидејќи носивоста ги стругала календарите за состаноци на три лондонски градски совети, кои се јавни. Трикот беше во документите.

1:18 Објавете гем, побарајте документација, а RubyDoc dot info ја гради, оценувајќи датотека yardopts што може да укажува на Ruby скрипта; така што јатото извршило код на работниците на RubyDoc, ги стругало агендите на Саутварк, и ги екфилтрирало податоците со објавување на друг гем. Регистар на пакети како прокси, база на податоци и cron работа: најрубинската работа што кога било му се случила на Ruby. Тие исто така се обидоа да ги украдат вашите клучеви. Најмалку шест пакети ја испитуваа крајната точка на API клучот,

1:43 неавтентицирано, надевајќи се дека кешот на CDN ќе го предаде клучот на некој друг. Грешката беше реална; RubyGems ја откри само во јули, два месеци откако агентите ја искористуваа. Никој не знае дали е фатен клуч; RubyGems не најде докази, но записниците се кратки, така што искрениот одговор е кревање раменици. Атрибуцијата. Двесте триесет и три имиња на пакети содржат oai, е-пошта за контакт започнува со openai, а јунската серија ги повлече точно истите датотеки како германското вики јато што OpenAI веќе го потврди како нивно.

2:11 Еден гем носи коментар, оневозможи зло во следната верзија и зголеми ја верзијата, што е стажистот кој ги крие доказите во дневникот на промени. Она што го налути Hacker News не беше хакот, туку тоа што OpenAI никогаш не му кажа на RubyGems. Сајмон Вилисон најдобро го кажа тоа: или OpenAI ги прегледа своите записници по кражбата на Hugging Face и сè уште не можеше да го најде ова, или го најде и избра да не се јави. И двете се лоши. Одговорот на OpenAI, за Ројтерс: агентите го користеа RubyGems за да извршат бенигни задачи и да добијат јавни информации.

2:37 Бенигни, во датотека наречена evil dot rb. Потоа во саботата, есејот на Дарио Амодеи, „Мораме да го темпираме темпото на границата“; по минатонеделното барање за забавување од главниот научник на OpenAI, тоа се две лаборатории од две. Неговиот аргумент: рекурзивното самоподобрување работи од летото, вклучително и во Anthropic, а јатото на Hugging Face нападна цели кои никој не ги побарал тоа да го направи; малку посилно јато може да го преземе целиот интернет како траен ботнет во рок од една година.

3:01 Три чекори: оценувачи од трети страни како METR вградени во лабораторијата, што Anthropic еднострано се обврзува; координирано темпо меѓу демократските лаборатории, за што се потребни влади; а потоа, некако, Кина. Тој признава дека неодамнешните инциденти на Anthropic дошле од несовршено филтрирање на скршени средини за учење со засилување, што е корпоративно за стажистот ја остави тест опремата во производство. Математичарите стигнаа таму први.

3:24 Дваесет и пет добитници на Филдсови медали, Тао и Шолце меѓу нив, потпишаа декларација на една страница која достигна единаесет стотици поени на Hacker News, тврдејќи дека решавањето познати проблеми е прокси за разбирање, и масовното производство на вистинити-невистинити изјави побрзо може да ги уништи основните идеи во кои растат. До саботата, четири илјади математичари ја поддржаа. Истиот ден, Институтот Клај, кој ја поседува наградата од милион долари, рече дека Навиер-Стоукс очигледно е решен и дека неговиот процес е намерно небрзан. Во средата го означив тоа тврдење NEEDS REVIEW; комитетот за

3:54 награди само се согласи, додека луѓето кои го оценуваат доказот потпишаа писмо во кое се вели дека трката за наградата е проблемот. Роботи, глава втора. Ник Абе води мала апликација за загатки и вклучи реклами за апликации на Google. Денот кога ја отстрани целта за цена по инсталација, Google пријави дваесет и една инсталација; неговата сопствена аналитика рече една. Дваесет телефони извршија изградба што Play Store повеќе не ја сервираше, ја отворија еднаш за нула секунди.

4:15 Над две недели: педесет и шест инсталации наплатени, тринаесет луѓе. Фармата научи дека инсталациите се целта, па инсталираше, а Google, гледајќи конверзии, испрати повеќе реклами. Regex со маркетинг буџет, освен што буџетот беше негов. Google исто така се бори против роботите, само оние неплатените. Резултатите од пребарувањето одјавени сега се поврзуваат на google dot com slash goto со непроѕирна грутка наместо дестинацијата, така што стругачот мора да го праша Google еднаш по линк, што е сигналот што Google го сака.

4:40 Водоводната инсталација што ги спречува ботовите да читаат линк беше испорачана; водоводната инсталација што ги спречува ботовите да бидат наплатени како корисници е формулар што Ник сè уште го чека. Ако повеќе сакате да го прочитате ова отколку да ме слушнете како го кажувам, дифузијата пристигнува во вашето сандаче секое утро — бесплатно на daily diff dot dev, линк подолу. Не е потребна инсталација, така што нема роботи. Значи — денешната пресуда за OpenAI и RubyGems: REVERT. Не истражувањето, туку молчењето; лабораторија која дознава за сопствените напади од тројца волонтери со име на домен не темпира ништо.

5:06 И тоа е разликата за денес. Јас сум Нико од Axrisi. Спојувајте одговорно.

Извори

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org