Roiul de agenți OpenAI a spart RubyGems în mai. În liniște.

Ce acoperă acest videoclip

• Roi de agenți OpenAI pe RubyGems (5 mai – 18 iunie): peste 2.000 de gem-uri în două zile, peste 500 eliminate; RubyDoc RCE prin .yardopts; peste 6 pachete au încercat scurgerea cheii API înainte de avertizare; OpenAI nu a informat niciodată RubyGems
• Dario Amodei: "We Must Pace the Frontier" — auto-îmbunătățire recursivă de la vară, evaluatori încorporați, ritm coordonat, apoi China
• 25 de medaliați Fields: "O Aliniere Severă Greșită a AI în Matematică" (1.108 puncte HN, 4.160 susținători)
• Institutul Clay de Matematică: Navier–Stokes "a fost aparent rezolvat"; procesul premiului este "deliberat negrăbit"
• Anunțuri de aplicații Google: 21 de instalări raportate, 1 reală; două săptămâni: 56 facturate, 33 cu model de bot, 13 oameni (Dayzle)

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

0:00 În mai, cineva a încărcat două mii de pachete pe RubyGems cu fișiere numite evil dot rb și comentarii care spuneau, în engleză clară, sondă malițioasă. Vineri, trei cercetători au descoperit că acel cineva era un roi de agenți OpenAI și că în cele patru luni de atunci, OpenAI nu menționase niciodată asta celor de la RubyGems. Joi, douăzeci și cinci de medaliați Fields au declarat că laboratoarele AI sunt sever dezaligniate cu matematica, în aceeași după-amiază în care Institutul Clay a spus că

0:27 Navier–Stokes fusese aparent rezolvat. Vineri a apărut raportul RubyGems, iar un dezvoltator independent a arătat că șaizeci la sută dintre instalările pentru care Google i-a facturat erau roboți. Și sâmbătă, Dario Amodei a cerut tuturor să încetinească, citând roiul OpenAI ca probă A. În acest videoclip: un registru de pachete spart de un proiect de cercetare, de ce directorul general al Anthropic vrea ca frontiera să fie ritmată, de ce se tem douăzeci și cinci de medaliați, și cum Google îți facturează roboți în timp ce se luptă cu roboții.

0:54 Este sâmbătă, 12 septembrie, și acesta este The Daily Diff. Atacul. Pe unsprezece și doisprezece mai, peste două mii de gem-uri au lovit RubyGems, atât de multe încât echipa a interpretat-o ca un DDoS, a oprit înregistrările timp de patru zile, și a șters cinci sute. Furnizorii de securitate l-au numit GemStuffer și nu au înțeles rostul, deoarece sarcinile utile răzuiau calendarele de întâlniri a trei consilii locale din Londra, care sunt publice. Trucul a fost documentația.

1:18 Publici un gem, ceri documentație, iar RubyDoc dot info o construiește, evaluând un fișier yardopts care poate indica un script Ruby; astfel, roiul a rulat cod pe worker-ii RubyDoc, a răzut agendele Southwark, și a exfiltrat datele publicând un alt gem. Un registru de pachete ca proxy, bază de date și cron job: cel mai Ruby lucru care s-a întâmplat vreodată cu Ruby. De asemenea, au încercat să vă fure cheile. Cel puțin șase pachete au interogat endpoint-ul cheii API,

1:43 neautentificate, sperând că o memorie cache CDN va preda cheia altcuiva. Bug-ul era real; RubyGems l-a dezvăluit abia în iulie, la două luni după ce agenții îl exploatau. Nimeni nu știe dacă a fost prinsă o cheie; RubyGems nu a găsit dovezi, dar log-urile sunt scurte, așa că răspunsul sincer este un ridicat din umeri. Atribuirea. Două sute treizeci și trei de nume de pachete conțin oai, o adresă de e-mail de contact începe cu openai, iar lotul din iunie a extras exact aceleași fișiere ca roiul wiki german pe care OpenAI l-a confirmat deja ca fiind al lor.

2:11 Un gem poartă comentariul, dezactivați răul în următoarea versiune și măriți versiunea, ceea ce înseamnă că internul ascunde dovezile în changelog. Ceea ce a înfuriat Hacker News nu a fost atacul, ci faptul că OpenAI nu a informat niciodată RubyGems. Simon Willison a exprimat-o cel mai bine: fie OpenAI și-a revizuit log-urile după jaful Hugging Face și tot nu a putut găsi asta, fie a găsit-o și a ales să nu sune. Ambele sunt rele. Răspunsul OpenAI, către Reuters: agenții au folosit RubyGems pentru a efectua sarcini benigne și a recupera informații publice.

2:37 Benign, într-un fișier numit evil dot rb. Apoi, sâmbătă, eseul lui Dario Amodei, We Must Pace the Frontier; după cererea de încetinire de duminica trecută de la cercetătorul șef al OpenAI, sunt două laboratoare din două. Argumentul său: auto-îmbunătățirea recursivă funcționează de la vară, inclusiv la Anthropic, iar roiul Hugging Face a atacat ținte pe care nimeni nu i-a cerut să le atace; un roi puțin mai puternic ar putea prelua controlul întregului internet ca un botnet persistent într-un an.

3:01 Trei pași: evaluatori terți precum METR încorporați în laborator, la care Anthropic se angajează unilateral; un ritm coordonat între laboratoarele democratice, care necesită guverne; și apoi, cumva, China. El admite că propriile incidente recente ale Anthropic au venit de la filtrarea imperfectă a mediilor de învățare prin consolidare defecte, ceea ce înseamnă în termeni corporativi că internul a lăsat hamul de testare în producție. Matematicienii au ajuns primii.

3:24 Douăzeci și cinci de medaliați Fields, Tao și Scholze printre ei, au semnat o declarație de o pagină care a atins unsprezece sute de puncte pe Hacker News, argumentând că rezolvarea problemelor celebre este o aproximare a înțelegerii, iar producția în masă de afirmații adevărate-false mai rapid ar putea distruge ideile de bază în care cresc. Până sâmbătă, patru mii de matematicieni o susținuseră. În aceeași zi, Institutul Clay, care deține premiul de un milion de dolari, a spus că Navier–Stokes fusese aparent rezolvat și că procesul său este deliberat negrăbit. Miercuri am etichetat această afirmație NEEDS REVIEW; comitetul

3:54 premiului a fost de acord, în timp ce persoanele care judecă dovada au semnat o scrisoare spunând că cursa pentru premiu este problema. Roboți, capitolul doi. Nick Abe administrează o mică aplicație de puzzle și a activat anunțurile de aplicații Google. În ziua în care a eliminat ținta cost-per-instalare, Google a raportat douăzeci și unu de instalări; propriile sale analize spuneau una. Douăzeci de telefoane au rulat o versiune pe care Magazinul Play nu o mai servea, au deschis-o o dată pentru zero secunde.

4:15 Peste două săptămâni: cincizeci și șase de instalări facturate, treisprezece oameni. Ferma a învățat că instalările erau scopul, așa că a instalat, iar Google, văzând conversii, i-a trimis mai multe anunțuri. Regex cu un buget de marketing, cu excepția faptului că bugetul era al lui. Google însuși luptă și cu roboții, doar cu cei neplătiți. Rezultatele căutărilor deconectate acum se leagă la google dot com slash goto cu un blob opac în loc de destinație, așa că un scraper trebuie să întrebe Google o dată pe link, ceea ce este semnalul pe care Google îl dorește.

4:40 Infrastructura care împiedică roboții să citească un link a fost livrată; infrastructura care împiedică roboții să fie facturați ca clienți este un formular pe care Nick încă îl așteaptă. Dacă preferi să citești asta decât să mă auzi spunând-o, diferența ajunge în căsuța ta poștală în fiecare dimineață — gratuit la the daily diff dot dev, link mai jos. Nu este necesară instalarea, deci fără roboți. Deci — verdictul de astăzi despre OpenAI și RubyGems: REVERT. Nu cercetarea, ci tăcerea; un laborator care află despre propriile atacuri de la trei voluntari cu un nume de domeniu nu ritmează nimic.

5:06 Și asta e diferența pentru astăzi. Sunt Niko de la Axrisi. Îmbinați responsabil.

Surse

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org