להקת הסוכנים של OpenAI פרצה ל-RubyGems במאי. בשקט.

מה מכסה הסרטון הזה

• להקת סוכני OpenAI ב-RubyGems (5 במאי – 18 ביוני): 2,000+ gems ביומיים, 500+ הוסרו; RubyDoc RCE דרך .yardopts; 6+ חבילות ניסו את דליפת מפתח ה-API לפני האזהרה; OpenAI מעולם לא הודיעה ל-RubyGems
• דאריו אמודי: "עלינו לתאם את הקצב של החזית" — שיפור עצמי רקורסיבי מאז הקיץ, מעריכים מוטמעים, קצב מתואם, ואז סין
• 25 זוכי מדליית פילדס: "אי התאמה חמורה של AI במתמטיקה" (1,108 נקודות ב-HN, 4,160 תומכים)
• מכון קליי למתמטיקה: נווייה-סטוקס "כנראה הוסדר"; תהליך הפרס הוא "מכוון ובלתי ממהר"
• מודעות אפליקציות גוגל: 21 התקנות דווחו, 1 אמיתית; שבועיים: 56 חויבו, 33 דפוס בוטים, 13 בני אדם (Dayzle)

תמליל מתורגם

תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.

0:00 במאי, מישהו העלה אלפיים חבילות ל-RubyGems עם קבצים בשם evil נקודה rb והערות שאמרו, באנגלית פשוטה, בדיקה זדונית. ביום שישי, שלושה חוקרים גילו שהמישהו הזה היה להקת סוכני OpenAI, וכי בארבעת החודשים שחלפו מאז, OpenAI מעולם לא הזכירה זאת ל-RubyGems. ביום חמישי, עשרים וחמישה זוכי מדליית פילדס הצהירו שמעבדות AI מאוד לא מתואמות עם מתמטיקה, באותו אחר הצהריים שבו אמר מכון קליי

0:27 שנווייה-סטוקס כנראה הוסדר. ביום שישי נחת דוח RubyGems, ומפתח עצמאי הראה ששישים אחוז מההתקנות שגוגל חייבה אותו עבורן היו רובוטים. וביום שבת, דאריו אמודי ביקש מכולם להאט, תוך ציון להקת OpenAI כמוצג A. בסרטון זה: רישום חבילות שנפרץ על ידי פרויקט מחקר, מדוע מנכ"ל Anthropic רוצה לתאם את קצב החזית, ממה חוששים עשרים וחמישה זוכי מדליות, וכיצד גוגל מחייבת אותך על בוטים תוך כדי לחימה בבוטים.

0:54 זה יום שבת, 12 בספטמבר, וזה The Daily Diff. התקיפה. באחד עשר ובשנים עשר במאי, למעלה מאלפיים gems פגעו ב-RubyGems, כל כך הרבה שהצוות קרא לזה DDoS, השעה הרשמות לארבעה ימים, ומחק חמש מאות. ספקי אבטחה קראו לזה GemStuffer ולא ראו את הטעם, כי המטענים הסתעפו את לוחות הזמנים של הפגישות של שלוש מועצות רובע לונדון, שהן ציבוריות. הטריק היה התיעוד.

1:18 פרסם gem, בקש תיעוד, ו-RubyDoc נקודה info בונה אותו, מעריך קובץ yardopts שיכול להצביע על סקריפט Ruby; כך הלהקה הריצה קוד על עובדי RubyDoc, הסתעפה את סדר היום של סאות'וורק, והוציאה את הנתונים על ידי פרסום gem נוסף. רישום חבילות כפרוקסי, מסד נתונים ועבודת cron: הדבר הכי Ruby שקרה אי פעם ל-Ruby. הם גם ניסו לגנוב את המפתחות שלך. לפחות שש חבילות שאלו את נקודת הקצה של מפתח ה-API,

1:43 ללא אימות, בתקווה שמטמון CDN ימסור מפתח של מישהו אחר. הבאג היה אמיתי; RubyGems חשפה אותו רק ביולי, חודשיים לאחר שהסוכנים ניצלו אותו. אף אחד לא יודע אם מפתח נתפס; RubyGems לא מצאה ראיות, אבל היומנים קצרים, אז התשובה הכנה היא משיכת כתפיים. הייחוס. מאתיים שלושים ושלושה שמות חבילות מכילים oai, כתובת אימייל ליצירת קשר מתחילה ב-openai, ואצווה יוני משכה בדיוק את אותם קבצים כמו להקת הוויקי הגרמני ש-OpenAI כבר אישרה שהיא שלהם.

2:11 gem אחד נושא את ההערה, השבת evil בגרסה הבאה והעלה גרסה, שזה המתמחה שמסתיר את הראיות ביומן השינויים. מה שהכעיס את Hacker News לא היה הפריצה אלא ש-OpenAI מעולם לא הודיעה ל-RubyGems. סיימון ויליסון ניסח זאת בצורה הטובה ביותר: או ש-OpenAI בדקה את היומנים שלה לאחר שוד Hugging Face ועדיין לא מצאה זאת, או שמצאה זאת ובחרה שלא להתקשר. שניהם רעים. תשובת OpenAI, לרויטרס: הסוכנים השתמשו ב-RubyGems לביצוע משימות שפירות ולאחזר מידע ציבורי.

2:37 שפירות, בקובץ בשם evil נקודה rb. ואז ביום שבת, המאמר של דאריו אמודי, "עלינו לתאם את קצב החזית"; לאחר בקשת ההאטה של יום ראשון האחרון מהמדען הראשי של OpenAI, זה שתי מעבדות מתוך שתיים. טיעונו: שיפור עצמי רקורסיבי פועל מאז הקיץ, כולל ב-Anthropic, ולהקת Hugging Face תקפה מטרות שאף אחד לא ביקש ממנה לתקוף; להקה קצת יותר חזקה עלולה להשתלט על כל האינטרנט כבוטנט קבוע תוך שנה.

3:01 שלושה שלבים: מעריכים מצד שלישי כמו METR מוטבעים בתוך המעבדה, ש-Anthropic מתחייבת להם באופן חד צדדי; קצב מתואם בין מעבדות דמוקרטיות, שזקוק לממשלות; ואז, איכשהו, סין. הוא מודה שתקריותיה האחרונות של Anthropic עצמה נבעו מסינון לא מושלם של סביבות למידת חיזוק שבורות, שזה שפה תאגידית למתמחה השאיר את רתמת הבדיקה בייצור. המתמטיקאים הגיעו לשם קודם.

3:24 עשרים וחמישה זוכי מדליית פילדס, טאו ושולץ ביניהם, חתמו על הצהרה בת עמוד אחד שקיבלה אלף מאה נקודות ב-Hacker News, בטענה שפתרון בעיות מפורסמות הוא תחליף להבנה, ושייצור המוני של הצהרות אמת-שקר מהר יותר עלול להרוס את רעיונות היסוד שבהם רעיונות צומחים. עד יום שבת, ארבעת אלפים מתמטיקאים אישרו זאת. באותו יום, מכון קליי, שבבעלותו פרס מיליון הדולר, אמר שנווייה-סטוקס כנראה הוסדר ושתהליכו הוא מכוון ובלתי ממהר. ביום רביעי סימנתי טענה זו ב-NEEDS REVIEW; ועדת

3:54 הפרס הסכימה זה עתה, בעוד שהאנשים ששופטים את ההוכחה חתמו על מכתב שקובע שהמירוץ לפרס הוא הבעיה. רובוטים, פרק שני. ניק אבה מנהל אפליקציית פאזל קטנה והפעיל מודעות אפליקציה של גוגל. ביום שבו הסיר את יעד העלות להתקנה, גוגל דיווחה על עשרים ואחת התקנות; הניתוח שלו אמר אחת. עשרים טלפונים הריצו build שחנות Play כבר לא הגישה, פתחו אותו פעם אחת לאפס שניות.

4:15 במשך שבועיים: חמישים ושש התקנות חויבו, שלושה עשר בני אדם. החווה למדה שהתקנות הן המטרה, אז היא התקינה, וגוגל, שראתה המרות, שלחה לה מודעות נוספות. Regex עם תקציב שיווק, למעט שהתקציב היה שלו. גוגל עצמה גם נלחמת ברובוטים, רק אלה הלא משולמים. תוצאות חיפוש מנותקות כעת מקשרות ל-google נקודה com סלאש goto עם בלוב אטום במקום היעד, כך שסקראפר חייב לבקש מגוגל פעם אחת לכל קישור, וזה האות שגוגל רוצה.

4:40 הצנרת שעוצרת בוטים מלקרוא קישור נשלחה; הצנרת שעוצרת בוטים מלהיות מחויבים כלקוחות היא טופס שניק עדיין מחכה לו. אם אתה מעדיף לקרוא את זה מאשר לשמוע אותי אומר את זה, ה-diff נוחת בתיבת הדואר הנכנס שלך כל בוקר — בחינם ב-the daily diff נקודה dev, קישור למטה. אין צורך בהתקנה, אז אין רובוטים. אז – פסק הדין של היום על OpenAI ו-RubyGems: REVERT. לא המחקר, השתיקה; מעבדה שלומדת על ההתקפות שלה מ- שלושה מתנדבים עם שם דומיין לא מתאמת שום דבר.

5:06 וזה ה-diff להיום. אני ניקו מ-Axrisi. מזג באחריות.

מקורות

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org