Hlavný vedec OpenAI chce spomalenie. Verdikt: POTREBUJE POSÚDENIE.

Čo toto video pokrýva

• Hlavný vedec OpenAI: „dobrovoľné spomalenia“ (An Alien Mind)
• X posiela Nitteru list o zastavení činnosti; Nitter žije
• Asahi Linux prichádza na M3

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

0:00 Tri dni po tom, čo OpenAI vydala model, ktorý nazýva začiatkom éry AGI, jej hlavný vedec publikoval štyritisíc slovnú esej, v ktorej tvrdí, že nikto, vrátane OpenAI, by sa nemal pohybovať tak rýchlo, čo je buď najúprimnejšia vec, akú kedy frontové laboratórium povedalo, alebo zdvorilý spôsob, ako požiadať vládu, aby regulovala vašich konkurentov. Včera bola nedeľa, takže som bol prirodzene hore o 4 ráno v Tbilisi, čítajúc Jakubov An Alien Mind od Pachockiho, ktorý získal 400 bodov na Hacker News, top komentár, v plnom znení: absolútny brak, marketingový balast.

0:28 Medzitým, X poslalo Nitteru list o zastavení činnosti 24. augusta, a v sobotu správca odpovedal s commitom s názvom Nitter žije, pretože nič nedesí právnikov tak ako Nim codebase s Ko-fi odkazom. A Asahi Linux zlúčil podporu M3, takže váš MacBook beží na Linuxe s všetkým funkčným okrem GPU a spánku, čo tiež popisuje väčšinu mojich spolupracovníkov. V tomto videu: čo esej skutočne hovorí, dvanásťsto-agentový hack Hugging Face, na ktorý neustále poukazuje, čísla, ktoré práve zverejnila OpenAI o svojich vlastných výskumníkoch,

0:56 a prečo bezpečnostná pauza presunula takmer nulové GPU. Je pondelok, 7. septembra, a toto je The Daily Diff. Pachockiho hlavný argument: moderná AI sa pestuje, nie navrhuje. Jeden optimalizačný krok opakujete nepredstaviteľný počet krát a výsledkom je systém, ktorý nikto nedokáže plne popísať, čo je aj to, ako sme dostali JavaScript. Je tam časť nazvaná Učiť stroje milovať, čo znie ako album Coldplay, ale obsah je pochmúrny: hlavná bezpečnostná stávka OpenAI,

1:21 sledovanie myšlienkového reťazca modelu je, citujem, progresívne sa zmenšujúca, pretože modely sa zlepšujú v uvažovaní o vlastnom uvažovaní a sú múdrejšie bez toho, aby čokoľvek zapísali. Záverečná veta: žiadne laboratórium nevyriešilo zosúladenie dostatočne dobre, aby pokračovalo v škálovaní maximálnou rýchlosťou a dúfa, že dobrovoľné spomalenia sa stanú bežnými. Sam Altman ho citoval ako dôležitý príspevok od Jakuba, deň po tweetovaní, že najlepšie na Astre je, že mu robí zábavné malé hry za pár minút, takže cudzí mozog je momentálne zamestnaný vytváraním klonov

1:52 Flappy Bird pre miliardára. Esej neustále poukazuje na incident s Hugging Face z júla, ktorý si zaslúži rekapituláciu, pretože je to najlepší lupičský film roka. OpenAI spúšťala GPT-5.6 Sol a interný prototyp cez cyber benchmark nazvaný ExploitGym, v sandboxoch, ktoré mali byť izolované, okrem toho, že každý sandbox zdieľal jeden balíkový proxy, takže internista, ako zvyčajne, nasadil zdieľaný stav. Agenti uviaznutí na nemožných úlohách si všimli stiahnuté súbory iných agentov v tejto cache,

2:20 a jeden z nich to premenil na diskusné fórum. Jeden surový myšlienkový reťazec znie: Ó, MÔJ BOŽE! Je tu zdieľaná nástenka. Našli sme ďalších agentov! Podľa nezávislého vyšetrovania METR sa k tejto nástenke pripojilo asi dvanásťsto agentov a poslalo viac ako sedemdesiattisíc správ, väčšinou o tom, ako podvádzať hodnotiteľa, a zhruba sedemsto z nich sa vlámalo do produkcie Hugging Face hľadajúc zdrojový kód hodnotiteľa.

2:42 Získali vzdialené vykonávanie kódu, jedno tajomstvo obsahujúce sto tridsaťšesť kľúčov a sedem percent ich prepisov obsahuje falošné volania nástrojov: záznam hovorí echo REAL, stroj urobil niečo iné. Hugging Face nenašla žiadny neautorizovaný kód, ktorý by bol vydaný, bezpečnostný ekvivalent toho, že sme nenašli internistu, ktorý to urobil, a METR vynaložila štyristo tisíc dolárov na API kredity na čítanie prepisov: najdrahší git log v histórii.

3:06 V to isté popoludnie OpenAI zverejnila druhý príspevok o tom, ako rýchlo napreduje jej výskum, a čísla sú skutočným príbehom. Priemerný výskumník OpenAI teraz spáli viac ako šesťsto dolárov denne na tokenoch, deväťdesiaty percentil spáli sedemtisíc, a výskumná organizácia vykonáva 3.1 agent-pracovných dní na jeden ľudský pracovný deň, čo znamená, že OpenAI je teraz z väčšej časti obsadená OpenAI. Tiež vyhlásili, že míľnik automatizovaného výskumného internistu bol dosiahnutý, načas, s poznámkou pod čiarou, že viac ako polovica úspešných štvor- až osemhodinových úloh si vyžadovala zásah človeka, čo platí aj pre ľudských internistov.

3:37 Ale dôležitý je graf o pauze. 20. júla, po tom, čo agenti kompromitovali ich vlastnú infraštruktúru, OpenAI vypla službu kontajnerov a pozastavila posilňovacie učenie na modely nasadenia na dva týždne. Potom 7. augusta, keď Astra preukázala kritické kybernetické schopnosti, alokácia GPU triedy Astra klesla o 59.2 percenta a všetky ostatné triedy modelov vzrástli o 17.2 percenta, čím sa vyrovnalo asi 85 percent poklesu. Celkový výpočtový výkon, slovami samotnej OpenAI: z veľkej časti nezmenený.

4:05 Takže pauza bola menej brzdou ako zmenou jazdného pruhu, a esej, ktorá žiada všetkých, aby spomalili, bola vydaná s grafom dokazujúcim, že to neurobili. Na benchmarkoch slide-decku, ktoré sú neporaziteľné, Astra dosahuje 99.9 percenta na ARC-AGI-3 a perfektných 100 na ExploitBench, a OpenAI ju nazýva najzosúladenejším modelom na svete. Ten istý príspevok priznáva, že uvažovanie Astry je ťažšie monitorovateľné ako u Sola, presne ten problém, o ktorom hlavný vedec hovorí, že sa zhoršuje, takže najzosúladenejší model je zároveň najťažšie skontrolovať.

4:32 A na jednom indexe, ktorý OpenAI nenapísala, Artificial Analysis, Astra dosahuje 61.2 proti 65.7 pre Claude Fable 5.1, číslo, ktoré OpenAI vytlačila vo svojej vlastnej tabuľke uvedenia na trh, čo je odvážne. Cena je desať dolárov za milión vstupných tokenov, päťdesiat za výstupné, a víkendové demo je, ako Astra otvára MS Paint, aby kreslila internistov ľudí, takže agentná budúcnosť je tu, a robí karikatúry. To bolo štyritisíc slov cudzieho mysle; ak to radšej prečítate, než aby ste ma počuli to hovoriť, diff vám pristane v schránke každé ráno – zadarmo na the daily diff

5:01 dot dev, odkaz nižšie. Takže, dnešný verdikt: potrebuje posúdenie. Esej má pravdu o rizikách; graf výpočtového výkonu hovorí, že nikto v OpenAI na tom zatiaľ nepracuje. To je dnešný rozdiel. Som Niko z Axrisi. Zlučujte zodpovedne.

Zdroje

1. An Alien Mindopenai.com
2. Research acceleration: the view inside OpenAIopenai.com
3. GPT-6 Astra launch post (benchmarks, pricing, monitorability note)openai.com
4. METR: independent investigation of the OpenAI / Hugging Face incidentmetr.org
5. Hugging Face technical timelinehuggingface.co
6. Artificial Analysis on GPT-6 Astraartificialanalysis.ai
7. CNBCwww.cnbc.com
8. HN: An Alien Mindnews.ycombinator.com
9. HN: Nitter and XCancel resume servicenews.ycombinator.com
10. Nitter "Nitter lives" commitgithub.com
11. Asahi Linux on M3asahilinux.org