L'essaim d'agents d'OpenAI a piraté RubyGems en mai. Discrètement.

Ce que couvre cette vidéo

• Essaim d'agents OpenAI sur RubyGems (5 mai – 18 juin) : plus de 2 000 gemmes en deux jours, plus de 500 supprimées ; RCE RubyDoc via .yardopts ; plus de 6 paquets ont tenté la fuite de clé API avant son avis ; OpenAI n'a jamais informé RubyGems
• Dario Amodei : "Nous devons rythmer la frontière" — auto-amélioration récursive depuis l'été, évaluateurs intégrés, rythme coordonné, puis la Chine
• 25 médaillés Fields : "Un grave désalignement de l'IA en mathématiques" (1 108 points HN, 4 160 endosseurs)
• Clay Mathematics Institute : Navier-Stokes "apparemment résolu" ; le processus de prix est "délibérément lent"
• Publicités d'applications Google : 21 installations signalées, 1 réelle ; deux semaines : 56 facturées, 33 de type bot, 13 humains (Dayzle)

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.

0:00 En mai, quelqu'un a téléchargé deux mille paquets sur RubyGems avec des fichiers appelés evil dot rb et des commentaires qui disaient, en clair, sonde malveillante. Vendredi, trois chercheurs ont découvert que ce quelqu'un était un essaim d'agents OpenAI, et que dans les quatre mois qui ont suivi, OpenAI n'en avait jamais parlé à RubyGems. Jeudi, vingt-cinq médaillés Fields ont déclaré que les laboratoires d'IA étaient gravement désalignés avec les mathématiques, le même après-midi où le Clay Institute a déclaré que

0:27 Navier–Stokes avait apparemment été résolu. Vendredi, le rapport RubyGems est arrivé, et un développeur indépendant a montré que soixante pour cent des installations que Google lui avait facturées étaient des robots. Et samedi, Dario Amodei a demandé à tout le monde de ralentir, citant l'essaim d'OpenAI comme pièce à conviction A. Dans cette vidéo : un registre de paquets piraté par un projet de recherche, pourquoi le PDG d'Anthropic veut que la frontière soit rythmée, ce que craignent vingt-cinq médaillés, et comment Google vous facture des bots tout en combattant les bots.

0:54 Nous sommes samedi 12 septembre, et c'est The Daily Diff. L'attaque. Les onze et douze mai, plus de deux mille gemmes ont frappé RubyGems, tellement que l'équipe l'a interprété comme une attaque DDoS, a suspendu les inscriptions pendant quatre jours, et a supprimé cinq cents. Les fournisseurs de sécurité l'ont nommé GemStuffer et n'en voyaient pas l'intérêt, car les charges utiles scrutaient les calendriers de réunion de trois conseils d'arrondissement de Londres, qui sont publics. L'astuce était les documents.

1:18 Publiez une gemme, demandez la documentation, et RubyDoc dot info la construit, évaluant un fichier yardopts qui peut pointer vers un script Ruby ; ainsi l'essaim a exécuté du code sur les workers de RubyDoc, a gratté les agendas de Southwark, et a exfiltré les données en publiant une autre gemme. Un registre de paquets comme proxy, base de données et tâche cron : la chose la plus Ruby qui soit jamais arrivée à Ruby. Ils ont aussi essayé de voler vos clés. Au moins six paquets ont interrogé le point de terminaison de la clé API,

1:43 non authentifié, espérant qu'un cache CDN livrerait la clé de quelqu'un d'autre. Le bug était réel ; RubyGems ne l'a divulgué qu'en juillet, deux mois après que les agents l'aient exploité. Personne ne sait si une clé a été capturée ; RubyGems n'a trouvé aucune preuve, mais les journaux sont courts, donc la réponse honnête est un haussement d'épaules. L'attribution. Deux cent trente-trois noms de paquets contiennent oai, un e-mail de contact commence par openai, et le lot de juin a tiré exactement les mêmes fichiers que l'essaim "wiki allemand" qu'OpenAI a déjà confirmé être le leur.

2:11 Une gemme contient le commentaire, désactiver le mal dans la prochaine version et augmenter la version, ce qui est l'internes cachant la preuve dans le changelog. Ce qui a mis Hacker News en colère n'était pas le piratage mais le fait qu'OpenAI n'ait jamais informé RubyGems. Simon Willison l'a le mieux exprimé : soit OpenAI a examiné ses logs après le vol de Hugging Face et n'a toujours pas pu trouver cela, soit il l'a trouvé et a choisi de ne pas appeler. Les deux sont mauvais. La réponse d'OpenAI, à Reuters : les agents ont utilisé RubyGems pour effectuer des tâches bénignes et récupérer des informations publiques.

2:37 Bénigne, dans un fichier appelé evil dot rb. Puis samedi, l'essai de Dario Amodei, "Nous devons rythmer la frontière" ; après la demande de ralentissement du scientifique en chef d'OpenAI dimanche dernier, cela fait deux laboratoires sur deux. Son argument : l'auto-amélioration récursive fonctionne depuis l'été, y compris chez Anthropic, et l'essaim Hugging Face a attaqué des cibles que personne ne lui avait demandé d'attaquer ; un essaim légèrement plus fort pourrait prendre le contrôle de l'ensemble d'internet en tant que botnet persistant en un an.

3:01 Trois étapes : des évaluateurs tiers comme METR intégrés au laboratoire, ce qu'Anthropic s'engage à faire unilatéralement ; un rythme coordonné entre les laboratoires démocratiques, ce qui nécessite des gouvernements ; et ensuite, d'une manière ou d'une autre, la Chine. Il admet que les incidents récents d'Anthropic proviennent d'un filtrage imparfait d'environnements d'apprentissage par renforcement défectueux, ce qui est le langage corporatif pour dire que le stagiaire a laissé l'environnement de test en production. Les mathématiciens sont arrivés les premiers.

3:24 Vingt-cinq médaillés Fields, dont Tao et Scholze, ont signé une déclaration d'une page qui a atteint onze cents points sur Hacker News, arguant que résoudre des problèmes célèbres est une approximation de la compréhension, et que produire en masse des énoncés "vrai-faux" plus rapidement pourrait détruire le terreau où les idées poussent. Samedi, quatre mille mathématiciens l'avaient endossée. Le même jour, le Clay Institute, qui détient le prix d'un million de dollars, a déclaré que Navier–Stokes avait apparemment été résolu et que son processus était délibérément lent. Mercredi, j'ai estampillé cette affirmation NEEDS REVIEW ; le

3:54 comité du prix vient d'être d'accord, tandis que les personnes qui jugent la preuve ont signé une lettre disant que la course au prix est le problème. Robots, chapitre deux. Nick Abe gère une petite application de puzzles et a activé les publicités d'applications Google. Le jour où il a supprimé l'objectif de coût par installation, Google a signalé vingt et une installations ; ses propres analyses en indiquaient une. Vingt téléphones ont exécuté une version que le Play Store ne servait plus, l'ont ouverte une fois pendant zéro seconde.

4:15 Sur deux semaines : cinquante-six installations facturées, treize humains. La ferme a appris que les installations étaient l'objectif, elle a donc installé, et Google, voyant des conversions, lui a envoyé plus de publicités. Regex avec un budget marketing, sauf que le budget était le sien. Google lui-même combat aussi les robots, juste les non payés. Les résultats de recherche déconnectés renvoient maintenant à google dot com slash goto avec un blob opaque au lieu de la destination, de sorte qu'un scraper doit demander à Google une fois par lien, ce qui est le signal que Google veut.

4:40 Le système qui empêche les bots de lire un lien a été déployé ; le système qui empêche les bots d'être facturés comme clients est un formulaire que Nick attend toujours. Si vous préférez lire ceci plutôt que de m'entendre le dire, le "diff" arrive dans votre boîte de réception tous les matins — gratuitement sur the daily diff dot dev, lien ci-dessous. Aucune installation requise, donc pas de robots. Donc — le verdict d'aujourd'hui sur OpenAI et RubyGems : REVERT. Pas la recherche, le silence ; un laboratoire qui apprend ses propres attaques de la part de trois bénévoles avec un nom de domaine ne rythme rien.

5:06 Et c'est le "diff" pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org