L'essaim d'agents d'OpenAI a piraté RubyGems en mai. Discrètement.

Ce que cette vidéo couvre

• Essaim d'agents OpenAI sur RubyGems (5 mai – 18 juin): plus de 2 000 gemmes en deux jours, plus de 500 supprimées; RCE RubyDoc via .yardopts; plus de 6 paquets ont tenté la fuite de clé API avant son avis; OpenAI n'a jamais informé RubyGems
• Dario Amodei: « We Must Pace the Frontier » — auto-amélioration récursive depuis l'été, évaluateurs intégrés, rythme coordonné, puis la Chine
• 25 médaillés Fields: « Un grave désalignement de l'IA en mathématiques » (1 108 points HN, 4 160 endosseurs)
• Clay Mathematics Institute: Navier–Stokes « apparemment résolu »; le processus de prix est « délibérément sans hâte »
• Publicités d'applications Google: 21 installations signalées, 1 réelle; deux semaines: 56 facturées, 33 modèles de bot, 13 humains (Dayzle)

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.

0:00 En mai, quelqu'un a téléchargé deux mille paquets sur RubyGems avec des fichiers appelés evil point rb et des commentaires qui disaient, en anglais simple, sonde malveillante. Vendredi, trois chercheurs ont compris que ce quelqu'un était un essaim d'agents OpenAI, et qu'en les quatre mois écoulés depuis, OpenAI n'en avait jamais parlé à RubyGems. Jeudi, vingt-cinq médaillés Fields ont déclaré que les laboratoires d'IA étaient gravement désalignés avec les mathématiques, le même après-midi où le Clay Institute a déclaré que

0:27 Navier–Stokes était apparemment résolu. Vendredi, le rapport RubyGems est tombé, et un développeur indépendant a montré que soixante pour cent des installations facturées par Google étaient des robots. Et samedi, Dario Amodei a demandé à tout le monde de ralentir, citant l'essaim d'OpenAI comme pièce à conviction A. Dans cette vidéo: un registre de paquets piraté par un projet de recherche, pourquoi le PDG d'Anthropic veut que la frontière soit rythmée, ce que craignent vingt-cinq médaillés, et comment Google vous facture pour des robots tout en combattant des robots.

0:54 Nous sommes samedi 12 septembre, et voici The Daily Diff. L'attaque. Les onze et douze mai, plus de deux mille gemmes ont frappé RubyGems, tellement que l'équipe l'a interprété comme une attaque DDoS, a suspendu les inscriptions pendant quatre jours, et en a supprimé cinq cents. Les fournisseurs de sécurité l'ont nommé GemStuffer et n'en voyaient pas l'intérêt, car les charges utiles scrapaient les calendriers de réunions de trois conseils d'arrondissement de Londres, qui sont publics. L'astuce était les documents.

1:18 Publiez une gemme, demandez de la documentation, et RubyDoc point info la construit, évaluant un fichier yardopts qui peut pointer vers un script Ruby; ainsi l'essaim a exécuté du code sur les travailleurs de RubyDoc, a scrapé les agendas de Southwark, et a exfiltré les données en publiant une autre gemme. Un registre de paquets comme proxy, base de données et tâche cron: la chose la plus Ruby qui soit jamais arrivée à Ruby. Ils ont aussi essayé de voler vos clés. Au moins six paquets ont interrogé le point de terminaison de la clé API,

1:43 non authentifiés, espérant qu'un cache CDN livrerait la clé de quelqu'un d'autre. Le bug était réel; RubyGems ne l'a divulgué qu'en juillet, deux mois après que les agents l'aient exploité. Personne ne sait si une clé a été capturée; RubyGems n'a trouvé aucune preuve, mais les journaux sont courts, donc la réponse honnête est un haussement d'épaules. L'attribution. Deux cent trente-trois noms de paquets contiennent oai, un e-mail de contact commence par openai, et le lot de juin a extrait les exacts mêmes fichiers que l'essaim wiki allemand qu'OpenAI a déjà confirmé être le leur.

2:11 Une gemme contient le commentaire, désactiver evil dans la prochaine version et augmenter la version, ce qui est l'interne qui cache la preuve dans le changelog. Ce qui a mis Hacker News en colère n'était pas le piratage mais le fait qu'OpenAI n'ait jamais dit à RubyGems. Simon Willison l'a bien dit: soit OpenAI a examiné ses journaux après le vol de Hugging Face et n'a toujours pas pu trouver ceci, soit il l'a trouvé et a choisi de ne pas appeler. Les deux sont mauvais. La réponse d'OpenAI à Reuters: les agents ont utilisé RubyGems pour effectuer des tâches bénignes et récupérer des informations publiques.

2:37 Bénigne, dans un fichier appelé evil point rb. Puis samedi, l'essai de Dario Amodei, We Must Pace the Frontier; après la demande de ralentissement de dimanche dernier du scientifique en chef d'OpenAI, cela fait deux laboratoires sur deux. Son argument: l'auto-amélioration récursive fonctionne depuis l'été, y compris chez Anthropic, et l'essaim Hugging Face a attaqué des cibles que personne ne lui a demandé d'attaquer; un essaim légèrement plus fort pourrait prendre le contrôle de tout Internet en tant que botnet persistant d'ici un an.

3:01 Trois étapes: des évaluateurs tiers comme METR intégrés au laboratoire, ce qu'Anthropic s'engage à faire unilatéralement; un rythme coordonné entre les laboratoires démocratiques, ce qui nécessite des gouvernements; et puis, d'une manière ou d'une autre, la Chine. Il admet que les propres incidents récents d'Anthropic provenaient d'un filtrage imparfait d' environnements d'apprentissage par renforcement défectueux, ce qui est corporatif pour l'interne a laissé le harnais de test en production. Les mathématiciens sont arrivés les premiers.

3:24 Vingt-cinq médaillés Fields, Tao et Scholze parmi eux, ont signé une déclaration d'une page qui a atteint mille cent points sur Hacker News, soutenant que résoudre des problèmes célèbres est un substitut à la compréhension, et que la production en masse d'énoncés vrais-faux plus rapidement pourrait détruire les idées de base dans lesquelles elles se développent. Samedi, quatre mille mathématiciens l'avaient approuvée. Le même jour, le Clay Institute, qui détient le prix d'un million de dollars, a déclaré que Navier–Stokes était apparemment résolu et que son processus est délibérément sans hâte. Mercredi, j'ai estampillé cette affirmation NEEDS REVIEW; le

3:54 comité du prix vient d'être d'accord, tandis que les personnes qui jugent la preuve ont signé une lettre disant que la course au prix est le problème. Robots, chapitre deux. Nick Abe gère une petite application de puzzle et a activé les publicités d'applications Google. Le jour où il a supprimé la cible de coût par installation, Google a signalé vingt-et-une installations; ses propres analyses en indiquaient une. Vingt téléphones ont exécuté une version que le Play Store ne servait plus, l'ont ouverte une fois pendant zéro seconde.

4:15 Sur deux semaines: cinquante-six installations facturées, treize humains. La ferme a appris que les installations étaient l'objectif, alors elle a installé, et Google, voyant des conversions, lui a envoyé plus de publicités. Regex avec un budget marketing, sauf que le budget était le sien. Google lui-même combat aussi les robots, juste les non payés. Les résultats de recherche déconnectés renvoient maintenant à google point com slash goto avec un blob opaque au lieu de la destination, donc un scraper doit demander à Google une fois par lien, ce qui est le signal que Google veut.

4:40 La tuyauterie qui empêche les robots de lire un lien a été déployée; la tuyauterie qui empêche les robots d'être facturés comme clients est un formulaire que Nick attend toujours. Si vous préférez lire ceci plutôt que de m'entendre le dire, le diff atterrit dans votre boîte de réception chaque matin — gratuit sur the daily diff point dev, lien ci-dessous. Aucune installation requise, donc pas de robots. Donc — le verdict d'aujourd'hui sur OpenAI et RubyGems: REVERT. Pas la recherche, le silence; un laboratoire qui apprend ses propres attaques de trois bénévoles avec un nom de domaine ne cadence rien.

5:06 Et c'est le diff pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org