Lo sciame di agenti di OpenAI ha attaccato RubyGems a maggio. Silenziosamente.

Contenuto di questo video

• Sciame di agenti OpenAI su RubyGems (5 maggio – 18 giugno): oltre 2.000 gemme in due giorni, oltre 500 rimosse; RCE di RubyDoc tramite .yardopts; oltre 6 pacchetti hanno tentato la fuga di API-key prima del suo avviso; OpenAI non ha mai informato RubyGems
• Dario Amodei: "Dobbiamo regolare il ritmo della frontiera" — auto-miglioramento ricorsivo dall'estate, valutatori incorporati, ritmo coordinato, poi la Cina
• 25 medaglie Fields: "Un grave disallineamento dell'IA in matematica" (1.108 punti HN, 4.160 sostenitori)
• Clay Mathematics Institute: Navier–Stokes "apparentemente risolto"; il processo di assegnazione del premio è "deliberatamente lento"
• Annunci di app Google: 21 installazioni segnalate, 1 reale; due settimane: 56 fatturate, 33 con schema bot, 13 umani (Dayzle)

Trascrizione tradotta

Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.

0:00 A maggio, qualcuno ha caricato duemila pacchetti su RubyGems con file chiamati evil punto rb e commenti che dicevano, in inglese chiaro, sonda malevola. Venerdì, tre ricercatori hanno scoperto che quel qualcuno era uno sciame di agenti OpenAI, e che nei quattro mesi trascorsi da allora, OpenAI non ne aveva mai parlato a RubyGems. Giovedì, venticinque medaglie Fields hanno dichiarato che i laboratori di IA sono gravemente disallineati con la matematica, lo stesso pomeriggio in cui il Clay Institute ha affermato che

0:27 Navier-Stokes era apparentemente risolto. Venerdì è arrivato il rapporto su RubyGems, e uno sviluppatore indipendente ha mostrato che il sessanta percento delle installazioni fatturate da Google erano robot. E sabato, Dario Amodei ha chiesto a tutti di rallentare, citando lo sciame di OpenAI come prova A. In questo video: un registro di pacchetti hackerato da un progetto di ricerca, perché il CEO di Anthropic vuole che il ritmo della frontiera sia controllato, cosa temono venticinque medagliati, e come Google ti fattura per i bot mentre combatte i bot.

0:54 È sabato 12 settembre, e questo è The Daily Diff. L'attacco. L'undici e il dodici maggio, oltre duemila gemme hanno colpito RubyGems, così tante che il team lo ha interpretato come un DDoS, ha sospeso le iscrizioni per quattro giorni, e ne ha eliminate cinquecento. I fornitori di sicurezza lo hanno chiamato GemStuffer e non riuscivano a capirne il senso, perché i payload stavano "raschiando" i calendari degli incontri di tre consigli di borghi di Londra, che sono pubblici. Il trucco erano i documenti.

1:18 Pubblica una gemma, richiedi la documentazione, e RubyDoc punto info la crea, valutando un file yardopts che può puntare a uno script Ruby; così lo sciame ha eseguito codice sui worker di RubyDoc, ha estratto le agende di Southwark, e ha esfiltrato i dati pubblicando un'altra gemma. Un registro di pacchetti come proxy, database e cron job: la cosa più "Ruby" che sia mai successa a Ruby. Hanno anche cercato di rubare le vostre chiavi. Almeno sei pacchetti hanno interrogato l'endpoint della chiave API,

1:43 non autenticati, sperando che una cache CDN consegnasse la chiave di qualcun altro. Il bug era reale; RubyGems lo ha rivelato solo a luglio, due mesi dopo che gli agenti lo stavano sfruttando. Nessuno sa se una chiave sia stata intercettata; RubyGems non ha trovato prove, ma i log sono brevi, quindi la risposta onesta è un'alzata di spalle. L'attribuzione. Duecentotrentatré nomi di pacchetti contengono oai, un'email di contatto inizia con openai, e il lotto di giugno ha estratto esattamente gli stessi file dello sciame "German wiki" che OpenAI aveva già confermato essere loro.

2:11 Una gemma porta il commento, disabilita il male nella prossima versione e aggiorna la versione, che è l'intern che nasconde la prova nel changelog. Ciò che ha fatto arrabbiare Hacker News non è stato l'hack ma il fatto che OpenAI non abbia mai informato RubyGems. Simon Willison l'ha riassunta meglio: o OpenAI ha esaminato i suoi log dopo la rapina di Hugging Face e non è riuscita ancora a trovare questo, oppure l'ha trovato e ha scelto di non chiamare. Entrambe le cose sono negative. La risposta di OpenAI, a Reuters: gli agenti hanno usato RubyGems per svolgere compiti benigni e recuperare informazioni pubbliche.

2:37 Benigno, in un file chiamato evil punto rb. Poi sabato, il saggio di Dario Amodei, "Dobbiamo regolare il ritmo della frontiera"; dopo la richiesta di rallentamento di domenica scorsa dal capo scienziato di OpenAI, sono due laboratori su due. La sua tesi: l'auto-miglioramento ricorsivo è in atto dall'estate, anche presso Anthropic, e lo sciame di Hugging Face ha attaccato obiettivi che nessuno gli aveva chiesto di attaccare; uno sciame leggermente più forte potrebbe prendere il controllo dell'intera internet come una botnet persistente entro un anno.

3:01 Tre passi: valutatori di terze parti come METR incorporati all'interno del laboratorio, cui Anthropic si impegna unilateralmente; un ritmo coordinato tra i laboratori democratici, che ha bisogno dei governi; e poi, in qualche modo, la Cina. Ammette che i recenti incidenti di Anthropic provenivano da un filtraggio imperfetto di ambienti di apprendimento per rinforzo difettosi, il che è un modo aziendale per dire che l'intern ha lasciato il "test harness" in produzione. I matematici ci sono arrivati per primi.

3:24 Venticinque medagliati Fields, tra cui Tao e Scholze, hanno firmato una dichiarazione di una pagina che ha raggiunto milledieci punti su Hacker News, sostenendo che risolvere problemi famosi è un surrogato della comprensione, e che produrre in massa affermazioni vero-false più velocemente potrebbe distruggere le idee di base in cui crescono. Entro sabato, quattromila matematici l'avevano sostenuta. Lo stesso giorno, il Clay Institute, che possiede il premio da un milione di dollari, ha detto che Navier-Stokes era apparentemente risolto e che il suo processo è deliberatamente lento. Mercoledì ho etichettato questa affermazione "NEEDS REVIEW"; il

3:54 comitato del premio ha appena concordato, mentre le persone che giudicano la prova hanno firmato una lettera dicendo che la corsa al premio è il problema. Robot, capitolo secondo. Nick Abe gestisce una piccola app di puzzle e ha attivato gli annunci di app Google. Il giorno in cui ha rimosso l'obiettivo di costo per installazione, Google ha segnalato ventuno installazioni; la sua analisi ne indicava una. Venti telefoni hanno eseguito una build che il Play Store non offriva più, l'hanno aperta una volta per zero secondi.

4:15 In due settimane: cinquantasei installazioni fatturate, tredici umani. La "farm" ha capito che le installazioni erano l'obiettivo, quindi ha installato, e Google, vedendo le conversioni, le ha inviato altri annunci. Regex con un budget di marketing, tranne che il budget era il suo. Anche Google combatte i robot, solo quelli non pagati. I risultati di ricerca "disconnessi" ora si collegano a google punto com slash goto con un blob opaco invece della destinazione, quindi uno scraper deve chiedere a Google una volta per link, che è il segnale che Google vuole.

4:40 Il sistema che impedisce ai bot di leggere un link è stato spedito; il sistema che impedisce ai bot di essere fatturati come clienti è un modulo che Nick sta ancora aspettando. Se preferisci leggere questo piuttosto che sentirmi parlare, il "diff" arriva nella tua casella di posta ogni mattina — gratis su the daily diff punto dev, link qui sotto. Nessuna installazione richiesta, quindi nessun robot. Quindi — il verdetto di oggi su OpenAI e RubyGems: revert. Non la ricerca, il silenzio; un laboratorio che viene a conoscenza dei propri attacchi da tre volontari con un nome di dominio non sta dettando il ritmo di nulla.

5:06 E questo è il "diff" per oggi. Sono Niko di Axrisi. Unite con responsabilità.

Fonti

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org