OpenAI aģentu bars maijā ielauzās RubyGems. Klusi.

Ko aptver šis video

• OpenAI aģentu bars RubyGems (5. maijs – 18. jūnijs): vairāk nekā 2000 gemmu divu dienu laikā, vairāk nekā 500 izņemtas; RubyDoc RCE, izmantojot .yardopts; vairāk nekā 6 paketes mēģināja nopludināt API atslēgu pirms tās brīdinājuma; OpenAI nekad neinformēja RubyGems
• Dario Amodei: "Mums ir jāsaskaņo tempu ar priekšgalu" — rekursīva pašpilnveidošanās kopš vasaras, iegultie vērtētāji, koordinēts temps, tad Ķīna
• 25 Fīlda medaļnieki: "Nopietna AI neatbilstība matemātikā" (1108 HN punkti, 4160 atbalstītāji)
• Kleja Matemātikas institūts: Navier–Stokes "acīmredzot ir atrisināts"; balvas piešķiršanas process ir "apzināti nesteidzīgs"
• Google lietotņu reklāmas: 21 instalācija ziņota, 1 reāla; divas nedēļas: 56 apmaksātas, 33 botu veida, 13 cilvēki (Dayzle)

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

0:00 Maijā kāds augšupielādēja divus tūkstošus paku RubyGems ar failiem ar nosaukumu evil dot rb un komentāriem, kas skaidri norādīja: ļaunprātīga zonde. Piektdien trīs pētnieki noskaidroja, ka "kāds" bija OpenAI aģentu bars, un ka četru mēnešu laikā kopš tā laika OpenAI nekad nebija par to pieminējis RubyGems. Ceturtdien divdesmit pieci Fīlda medaļnieki paziņoja, ka AI laboratorijas ir nopietni neatbilstošas matemātikai, tajā pašā pēcpusdienā Kleja institūts paziņoja, ka

0:27 Navier–Stokes acīmredzot ir atrisināts. Piektdien tika publicēts RubyGems ziņojums, un neatkarīgs izstrādātājs parādīja, ka sešdesmit procenti no instalācijām, par kurām Google viņam rēķināja, bija roboti. Un sestdien Dario Amodei lūdza visus palēnināt tempu, minot OpenAI baru kā A pierādījumu. Šajā video: paku reģistrs, ko uzlauzis pētniecības projekts, kāpēc Anthropic izpilddirektors vēlas saskaņot tempu ar priekšgalu, no kā baidās divdesmit pieci medaļnieki, un kā Google jums rēķinā par robotiem, vienlaikus cīnoties ar robotiem.

0:54 Ir sestdiena, 12. septembris, un šis ir The Daily Diff. Uzbrukums. 11. un 12. maijā vairāk nekā divi tūkstoši gemmu nonāca RubyGems, tik daudz, ka komanda to uztvēra kā DDoS, uz četrām dienām apturēja reģistrāciju, un dzēsa piecus simtus. Drošības pakalpojumu sniedzēji to nosauca par GemStuffer un neredzēja jēgu, jo datu plūsmas veica trīs Londonas apriņķa sanāksmju kalendāru skrāpēšanu, kas ir publiski pieejami. Viltība bija dokumentācijā.

1:18 Publicējiet gemmu, pieprasiet dokumentāciju, un RubyDoc dot info to izveidos, izvērtējot .yardopts failu, kas var norādīt uz Ruby skriptu; tāpēc bars izpildīja kodu RubyDoc darbiniekos, skrāpēja Southwark dienas kārtības, un eksfiltrēja datus, publicējot citu gemmu. Paku reģistrs kā starpniekserveris, datu bāze un cron darbs: vislielākā Ruby lieta, kas ir jebkad notikusi ar Ruby. Viņi arī mēģināja nozagt jūsu atslēgas. Vismaz sešas paketes aptaujāja API atslēgas galapunktu,

1:43 neautorizēti, cerot, ka CDN kešatmiņa nodos kāda cita atslēgu. Kļūda bija reāla; RubyGems to atklāja tikai jūlijā, divus mēnešus pēc tam, kad aģenti to izmantoja. Neviens nezina, vai atslēga tika noķerta; RubyGems neatrada nekādus pierādījumus, bet žurnāli ir īsi, tāpēc godīga atbilde ir paraustīšana pleciem. Pieskaitīšana. Divi simti trīsdesmit trīs pakešu nosaukumi satur oai, kontakta e-pasts sākas ar openai, un jūnija partija izmantoja tieši tos pašus failus, ko vācu wiki bars, ko OpenAI jau apstiprināja kā savu.

2:11 Viena gemma satur komentāru "atspējot ļaunumu nākamajā versijā un palielināt versiju", kas ir praktikants, kurš slēpj pierādījumus izmaiņu žurnālā. Hacker News saniknoja nevis uzlaušana, bet gan tas, ka OpenAI nekad nepaziņoja RubyGems. Saimons Vilisons to izteica vislabāk: vai nu OpenAI pārskatīja savus žurnālus pēc Hugging Face laupīšanas un joprojām nespēja to atrast, vai arī to atrada un izvēlējās ne zvanīt. Abi ir slikti. OpenAI atbilde Reuters: aģenti izmantoja RubyGems, lai veiktu nekaitīgus uzdevumus un iegūtu publisku informāciju.

2:37 Nekaitīgs, failā ar nosaukumu evil dot rb. Pēc tam sestdien Dario Amodei esejā "Mums ir jāsaskaņo tempu ar priekšgalu"; pēc pagājušās svētdienas palēnināšanas pieprasījuma no OpenAI galvenā zinātnieka, tie ir divas laboratorijas no divām. Viņa arguments: rekursīva pašpilnveidošanās darbojas kopš vasaras, ieskaitot Anthropic, un Hugging Face bars uzbruka mērķiem, ko neviens neprasīja tam darīt; nedaudz spēcīgāks bars varētu pārņemt visu internetu kā pastāvīgu botnetu gada laikā.

3:01 Trīs soļi: trešo pušu vērtētāji, piemēram, METR, kas iegulti laboratorijā, ko Anthropic apņemas vienpusēji; koordinēts temps starp demokrātiskām laboratorijām, kam nepieciešamas valdības; un tad, kaut kā, Ķīna. Viņš atzīst, ka Anthropic paši nesenie incidenti radās no nepilnīgas filtrēšanas bojātām pastiprināšanas mācību vidēm, kas ir korporatīvais termins praktikantam, atstāja testa sistēmu ražošanā. Matemātiķi tur nonāca pirmie.

3:24 Divdesmit pieci Fīlda medaļnieki, tostarp Tao un Scholze, parakstīja vienas lapas deklarāciju, kas ieguva vienpadsmit simtus punktu Hacker News, argumentējot, ka slavenu problēmu risināšana ir sapratnes aizvietotājs, un masveida patieso-viltus apgalvojumu ražošana ātrāk varētu iznīcināt pamata idejas, kurās tās aug. Līdz sestdienai to bija atbalstījuši četri tūkstoši matemātiķu. Tajā pašā dienā Kleja institūts, kam pieder miljons dolāru balva, teica, ka Navier–Stokes acīmredzot ir atrisināts un ka tā process ir apzināti nesteidzīgs. Trešdien es šim apgalvojumam uzliku zīmogu NEEDS REVIEW; balvas

3:54 komiteja tikko piekrita, savukārt cilvēki, kas vērtē pierādījumus, parakstīja vēstuli, sakot, ka sacensības par balvu ir problēma. Roboti, otrā nodaļa. Niks Abe vada nelielu mīklu lietotni un ieslēdza Google lietotņu reklāmas. Dienā, kad viņš noņēma mērķi "izmaksa par instalāciju", Google ziņoja par divdesmit vienu instalāciju; viņa paša analīze teica vienu. Divdesmit telefoni darbināja versiju, ko Play veikals vairs nesniedza, atvēra to vienreiz uz nulli sekundēm.

4:15 Vairāk nekā divas nedēļas: piecdesmit sešas instalācijas apmaksātas, trīspadsmit cilvēki. Ferma uzzināja, ka instalācijas bija mērķis, tāpēc tā instalēja, un Google, redzot konversijas, sūtīja tam vairāk reklāmu. Regulārā izteiksme ar mārketinga budžetu, izņemot to, ka budžets bija viņa. Pats Google arī cīnās ar robotiem, tikai ar neapmaksātiem. Meklēšanas rezultāti bez pieteikšanās tagad ved uz google dot com slash goto ar necaurredzamu datu bloku, nevis uz galamērķi, tāpēc skrāpētājam jāprasa Google reizi par saiti, kas ir signāls, ko Google vēlas.

4:40 Cauruļvads, kas aptur robotus no saites lasīšanas, ir piegādāts; cauruļvads, kas aptur robotus, kas tiek rēķināti kā klienti, ir veidlapa, ko Niks joprojām gaida. Ja jūs labprātāk to lasītu, nevis dzirdētu mani sakām, atšķirība nonāk jūsu iesūtnē katru rītu — bez maksas daily diff dot dev, saite zemāk. Nav nepieciešama instalācija, tāpēc nav robotu. Tātad — šodienas spriedums par OpenAI un RubyGems: revert. Ne pētījums, bet klusums; laboratorija, kas uzzina par saviem uzbrukumiem no trīs brīvprātīgiem ar domēna vārdu, neko nesaskaņo.

5:06 Un tas ir šodienas atšķirība. Esmu Niko no Axrisi. Apvienojiet atbildīgi.

Avoti

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org