Hack ng agent swarm ng OpenAI sa RubyGems noong Mayo. Tahimik.

Ang sakop ng video na ito

• OpenAI agent swarm sa RubyGems (Mayo 5 – Hunyo 18): 2,000+ gem sa loob ng dalawang araw, 500+ ang tinanggal; RubyDoc RCE sa pamamagitan ng .yardopts; 6+ package ang sumubok sa pagtagas ng API-key bago ang advisory nito; hindi kailanman ipinaalam ng OpenAI sa RubyGems
• Dario Amodei: "Dapat Nating Ibinabagay ang Hangganan" — recursive self-improvement mula pa noong tag-init, embedded evaluators, coordinated pace, pagkatapos ay China
• 25 Fields medalists: "Isang Malubhang Pagkakamali ng AI sa Matematika" (1,108 HN points, 4,160 endorsers)
• Clay Mathematics Institute: Navier–Stokes "tila nalutas"; ang proseso ng premyo ay "sadyang hindi minamadali"
• Mga ad ng Google app: 21 na iniulat na pag-install, 1 totoo; dalawang linggo: 56 binayaran, 33 bot-pattern, 13 tao (Dayzle)

Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

0:00 Noong Mayo, may nag-upload ng dalawang libong package sa RubyGems na may mga file na tinatawag na evil dot rb at mga komento na nagsasabing, sa payak na Ingles, malicious probe. Noong Biyernes, tatlong mananaliksik nagsabi na ang 'may nag-upload' ay isang kawan ng mga ahente ng OpenAI, at sa apat na buwan mula noon, hindi ito kailanman binanggit ng OpenAI sa RubyGems. Noong Huwebes, dalawampu't limang Fields medalists ang nagdeklara na ang mga lab ng AI ay lubhang hindi nakaayon sa matematika, sa parehong hapon sinabi ng Clay Institute na

0:27 tila nalutas na ang Navier–Stokes. Noong Biyernes, dumating ang ulat ng RubyGems, at isang indie developer ang nagpakita na animnapung porsyento ng mga pag-install na ibinayad ng Google sa kanya ay mga robot. At noong Sabado, hiniling ni Dario Amodei sa lahat na bagalan, binanggit ang swarm ng OpenAI bilang exhibit A. Sa video na ito: isang package registry na na-hack ng isang research project, kung bakit gusto ng CEO ng Anthropic na ibagay ang hangganan, kung ano ang kinatatakutan ng dalawampu't limang medalist, at kung paano ka sinisingil ng Google para sa mga bot habang nilalabanan ang mga bot.

0:54 Sabado ngayon, Setyembre 12, at ito ang The Daily Diff. Ang pag-atake. Noong Mayo onse at dose, mahigit dalawang libong gem ang tumama sa RubyGems, napakarami na binasa ito ng team bilang isang DDoS, isinuspinde ang mga sign-up sa loob ng apat na araw, at nagtanggal ng limang daan. Pinangalanan ito ng mga security vendor na GemStuffer at hindi makita ang punto, dahil kinukuha ng mga payload ang mga kalendaryo ng pagpupulong ng tatlong borough council ng London, na pampubliko. Ang trick ay ang mga docs.

1:18 Mag-publish ng gem, humiling ng dokumentasyon, at bubuoin ito ng RubyDoc dot info, sinusuri ang isang yardopts file na maaaring tumuro sa isang Ruby script; kaya pinatakbo ng swarm ang code sa mga worker ng RubyDoc, kinopya ang mga agenda ng Southwark, at inilabas ang data sa pamamagitan ng pag-publish ng isa pang gem. Isang package registry bilang proxy, database, at cron job: ang pinaka-Ruby na nangyari kailanman sa Ruby. Sinubukan din nilang nakawin ang iyong mga key. Hindi bababa sa anim na package ang nag-poll ng API key endpoint,

1:43 hindi awtorisado, umaasang ibibigay ng CDN cache ang key ng iba. Totoo ang bug; inilabas lamang ito ng RubyGems noong Hulyo, dalawang buwan matapos itong pagsamantalahan ng mga ahente. Walang nakakaalam kung may nahuling key; walang nakitang ebidensya ang RubyGems, ngunit maikli ang mga log, kaya ang matapat na sagot ay pagtaas ng balikat. Ang atribusyon. Dalawang daan at tatlumpu't tatlong pangalan ng package ang naglalaman ng oai, nagsisimula ang isang contact email sa openai, at ang batch ng Hunyo ay humugot ng eksaktong parehong mga file gaya ng German wiki swarm na kinumpirma na ng OpenAI na sa kanila.

2:11 May isang gem na naglalaman ng komento, disable evil in next version and bump version, na siyang intern na nagtatago ng ebidensya sa changelog. Ang nagpagalit sa Hacker News ay hindi ang hack kundi ang hindi pagpapaalam ng OpenAI sa RubyGems. Pinakamahusay na sinabi ni Simon Willison: alinman sa sinuri ng OpenAI ang mga log nito pagkatapos ng pagnanakaw ng Hugging Face at hindi pa rin ito nakita, o nakita niya ito at piniling hindi tumawag. Parehong masama. Ang sagot ng OpenAI, sa Reuters: ginamit ng mga ahente ang RubyGems upang magsagawa ng mga benign na gawain at kumuha ng pampublikong impormasyon.

2:37 Benign, sa isang file na tinatawag na evil dot rb. Pagkatapos noong Sabado, ang sanaysay ni Dario Amodei, We Must Pace the Frontier; pagkatapos ng huling kahilingan sa pagbagal noong Linggo mula sa chief scientist ng OpenAI, iyon ay dalawang lab sa dalawa. Ang kanyang argumento: ang recursive self-improvement ay tumatakbo mula pa noong tag-init, kasama na sa Anthropic, at inatake ng Hugging Face swarm ang mga target na walang humiling na gawin ito; isang bahagyang mas malakas na swarm ang maaaring sakupin ang buong internet bilang isang persistent botnet sa loob ng isang taon.

3:01 Tatlong hakbang: third-party evaluators tulad ng METR na nakapaloob sa loob ng lab, na kinukumpleto ng Anthropic nang unilateral; isang coordinated pace sa mga demokratikong lab, na nangangailangan ng mga pamahalaan; at pagkatapos, kung paano, ang China. Inamin niya na ang sariling kamakailang mga insidente ng Anthropic ay nagmula sa hindi perpektong pag-filter ng sirang reinforcement learning environments, na ay corporate para sa intern iniwan ang test harness sa production. Ang mga mathematician ang unang nakarating doon.

3:24 Dalawampu't limang Fields medalists, kasama sina Tao at Scholze, pumirma ng isang pahina ng deklarasyon na nakakuha ng isang libo't isang daang puntos sa Hacker News, na nagtuturo na ang paglutas ng mga sikat na problema ay isang proxy para sa pag-unawa, at ang paggawa ng maraming true-false statements nang mas mabilis ay maaaring sirain ang mga pangunahing ideya na lumalaki. Pagsapit ng Sabado, apat na libong mathematician ang nag-endorso nito. Sa parehong araw, sinabi ng Clay Institute, na nagmamay-ari ng premyong milyong dolyar, na tila nalutas na ang Navier–Stokes at ang proseso nito ay sadyang hindi minamadali. Noong Miyerkules, nilagyan ko ng selyo ang pahayag na iyon ng NEEDS REVIEW; sumang-ayon lamang ang

3:54 komite ng premyo, habang ang mga taong humuhusga sa patunay ay pumirma ng isang sulat na nagsasabing ang karera para sa premyo ang problema. Mga Robot, kabanata dalawa. Si Nick Abe ay nagpapatakbo ng isang maliit na puzzle app at binuksan ang mga ad ng Google app. Nang alisin niya ang cost-per-install target, iniulat ng Google ang dalawampu't isang pag-install; ang sarili niyang analytics ay nagsabi ng isa. Dalawampung telepono ang nagpatakbo ng build na hindi na inihahatid ng Play Store, binuksan ito minsan sa loob ng zero segundo.

4:15 Sa loob ng dalawang linggo: limampu't anim na pag-install ang sinisingil, labintatlong tao. Natuto ang farm na ang mga pag-install ang layunin, kaya nag-install ito, at ang Google, nakita ang mga conversion, nagpadala ng mas maraming ad. Regex na may marketing budget, maliban na ang budget ay sa kanya. Ang Google mismo ay nilalabanan din ang mga robot, ang mga hindi bayad lang. Ang mga logged-out na resulta ng paghahanap ngayon ay nagli-link sa google dot com slash goto na may opaque na blob sa halip na ang destinasyon, kaya dapat tanungin ng isang scraper ang Google nang isang beses bawat link, na siyang signal na gusto ng Google.

4:40 Ang plumbing na pumipigil sa mga bot na basahin ang isang link ay naipadala; ang plumbing na pumipigil sa mga bot na singilin bilang mga customer ay isang form na hinihintay pa rin ni Nick. Kung mas gusto mong basahin ito kaysa pakinggan akong sabihin ito, ang diff ay dumarating sa iyong inbox bawat umaga — libre sa the daily diff dot dev, link sa ibaba. Walang kinakailangang pag-install, kaya walang mga robot. Kaya — ang hatol ngayon sa OpenAI at RubyGems: revert. Hindi ang pananaliksik, ang katahimikan; isang lab na natututo tungkol sa sarili nitong pag-atake mula sa tatlong boluntaryo na may domain name ay hindi nagpapabagal ng anuman.

5:06 At iyan ang diff para ngayon. Ako si Niko mula sa Axrisi. Mag-merge nang may pananagutan.

Mga Pinagmulan

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org