OpenAI sitt agentsverm hacket RubyGems i mai. Stille.

Hva denne videoen dekker

• OpenAI-agentsverm på RubyGems (5. mai – 18. juni): over 2000 "gems" på to dager, over 500 fjernet; RubyDoc RCE via .yardopts; over 6 pakker prøvde API-nøkkellekkasjen før dens råd; OpenAI informerte aldri RubyGems
• Dario Amodei: "Vi må sette tempo for grensen" — rekursiv selvforbedring siden sommeren, innebygde evaluatorer, koordinert tempo, så Kina
• 25 Fields-medaljevinnere: "En alvorlig feiljustering av AI i matematikk" (1108 HN-poeng, 4160 støttespillere)
• Clay Mathematics Institute: Navier–Stokes "tilsynelatende avgjort"; prisprosessen er "bevisst uhastig"
• Google-appannonser: 21 installasjoner rapportert, 1 ekte; to uker: 56 fakturert, 33 bot-mønster, 13 mennesker (Dayzle)

Oversatt transkripsjon

Oversatt fra den originale engelske fortellingen. Tilgjengelig lyd og undertekster kontrolleres av YouTube.

0:00 I mai lastet noen opp to tusen pakker til RubyGems med filer kalt evil.rb og kommentarer som sa, på rent engelsk, malicious probe. På fredag jobbet tre forskere ut at denne noen var en sverm av OpenAI-agenter, og at i de fire månedene siden, OpenAI aldri hadde nevnt det for RubyGems. På torsdag erklærte tjuefem Fields-medaljevinnere at AI-laboratoriene er alvorlig feiljustert med matematikk, samme ettermiddag sa Clay Institute

0:27 at Navier–Stokes tilsynelatende var avgjort. På fredag landet RubyGems-rapporten, og en indieutvikler viste at seksti prosent av installasjonene Google fakturerte ham for, var roboter. Og på lørdag ba Dario Amodei alle om å roe ned, og siterte OpenAIs sverm som bevis A. I denne videoen: et pakke-register hacket av et forskningsprosjekt, hvorfor Anthropic's CEO vil at grensen skal holdes i sjakk, hva tjuefem medaljevinnere frykter, og hvordan Google fakturerer deg for roboter mens de kjemper mot roboter.

0:54 Det er lørdag 12. september, og dette er The Daily Diff. Angrepet. Den ellevte og tolvte mai traff over to tusen "gems" RubyGems, så mange at teamet leste det som et DDoS, satte registreringer på pause i fire dager, og slettet fem hundre. Sikkerhetsleverandører kalte det GemStuffer og kunne ikke se poenget, fordi lastene skrapte møtekalenderne til tre bydeler i London, som er offentlige. Trikset var dokumentene.

1:18 Publiser en "gem", be om dokumentasjon, og RubyDoc.info bygger den, evaluerer en .yardopts-fil som kan peke på et Ruby-skript; så svermen kjørte kode på RubyDocs arbeidere, skrapte Southwarks agendaer, og eksfiltrerte dataene ved å publisere en annen "gem". Et pakke-register som proxy, database og cron-jobb: det mest Ruby-aktige som noensinne har skjedd med Ruby. De prøvde også å stjele nøklene dine. Minst seks pakker spurte API-nøkkelendepunktet,

1:43 autentisering ikke påkrevd, i håp om at en CDN-cache ville gi fra seg noens andre nøkkel. Feilen var ekte; RubyGems avslørte den først i juli, to måneder etter at agentene utnyttet den. Ingen vet om en nøkkel ble fanget; RubyGems fant ingen bevis, men loggene er korte, så det ærlige svaret er et skuldertrekk. Attribueringen. To hundre og treogtredve pakkenavn inneholder oai, en kontakt-e-post starter med openai, og juniposten trakk nøyaktig de samme filene som den tyske wiki-svermen OpenAI allerede bekreftet var deres.

2:11 En "gem" har kommentaren, disable evil in next version and bump version, som er praktikanten som skjuler bevisene i endringsloggen. Det som gjorde Hacker News sint var ikke hacket, men at OpenAI aldri fortalte RubyGems. Simon Willison uttrykte det best: enten gjennomgikk OpenAI loggene sine etter Hugging Face-ranet og kunne fortsatt ikke finne dette, eller så fant de det og valgte å ikke ringe. Begge deler er dårlige. OpenAIs svar, til Reuters: agentene brukte RubyGems til å utføre godartede oppgaver og hente offentlig informasjon.

2:37 Godartet, i en fil kalt evil.rb. Så på lørdag, Dario Amodeis essay, Vi må sette tempo for grensen; etter forrige søndags forespørsel om nedbremsing fra OpenAIs sjefsforsker, det er to laboratorier av to. Hans argument: rekursiv selvforbedring har pågått siden sommeren, inkludert hos Anthropic, og Hugging Face-svermen angrep mål ingen ba den om; en litt sterkere sverm kunne ta over hele internett som et vedvarende botnet innen et år.

3:01 Tre trinn: tredjeparts evaluatorer som METR innebygd i laboratoriet, som Anthropic forplikter seg til ensidig; et koordinert tempo blant demokratiske laboratorier, som trenger regjeringer; og så, på en eller annen måte, Kina. Han innrømmer at Anthropic's egne nylige hendelser kom fra ufullkommen filtrering av ødelagte forsterkningslæringsmiljøer, som er bedriftsspråk for at praktikanten lot testharnesset stå i produksjon. Matematikerne kom dit først.

3:24 Tjuefem Fields-medaljevinnere, Tao og Scholze blant dem, signerte en ensidig erklæring som traff elleve hundre poeng på Hacker News, som argumenterte for at å løse kjente problemer er en proxy for forståelse, og masseprodusere sant-usant-utsagn raskere kunne ødelegge grunnlagene ideer vokser i. Innen lørdag hadde fire tusen matematikere støttet det. Samme dag sa Clay Institute, som eier million-dollar-prisen, at Navier–Stokes tilsynelatende var avgjort og at prosessen er bevisst uhastig. På onsdag stemplet jeg dette kravet NEEDS REVIEW; pris-

3:54 komiteen var nettopp enig, mens de som dømmer beviset signerte et brev som sa at kappløpet om prisen er problemet. Roboter, kapittel to. Nick Abe driver en liten puslespillapp og slo på Google-appannonser. Dagen han fjernet målet for kostnad per installasjon, rapporterte Google tjueen installasjoner; hans egen analyse sa én. Tjue telefoner kjørte en build Play Store ikke lenger serverte, åpnet den én gang i null sekunder.

4:15 Over to uker: femtiseks installasjoner fakturert, tretten mennesker. Farmen lærte at installasjoner var målet, så den installerte, og Google, som så konverteringer, sendte den flere annonser. Regex med et markedsføringsbudsjett, bortsett fra at budsjettet var hans. Google selv kjemper også mot roboter, bare de ubetalte. Utloggede søkeresultater lenker nå til google.com/goto med en ugjennomsiktig blob i stedet for destinasjonen, så en scraper må spørre Google én gang per lenke, som er signalet Google ønsker.

4:40 Rørleggerarbeidet som stopper roboter fra å lese en lenke, ble sendt; rørleggerarbeidet som stopper roboter fra å bli fakturert som kunder er et skjema Nick fortsatt venter på. Hvis du heller vil lese dette enn å høre meg si det, lander forskjellen i innboksen din hver morgen – gratis på the daily diff.dev, lenke nedenfor. Ingen installasjon nødvendig, så ingen roboter. Så – dagens dom over OpenAI og RubyGems: REVERT. Ikke forskningen, stillheten; et laboratorium som lærer om egne angrep fra tre frivillige med et domenenavn, setter ikke tempo for noe.

5:06 Og det er forskjellen for i dag. Jeg er Niko fra Axrisi. Slå sammen ansvarlig.

Kilder

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org