De week in 7 diffs: Claude hackte OpenAI

Wat deze video behandelt

• Koude start
• Week 38 · 7. Fable's cijfer, betwist
• 6. Pion runt een winkel, met verlies
• 5. Suleyman vs de grondwet
• 4. Xiaomi traint in het openbaar

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Koude start

0:00 Zeven dingen veranderden deze week. Eén kostte een miljoen dollar per uur om te bekijken, één kostte zes en een half duizend dollar om te laten verdwijnen, en één is een gedicht over Koning Charles dat mogelijk niet bestaat. In volgorde: een cijfer dat Claude oploste, of niet. Een bedrijf gerund door een agent, met verlies. Microsoft's AI-chef versus Claude's grondwet. Xiaomi traint een model op een openbare webpagina. Een coderingsagent die je git-geschiedenis uploadt naar Alibaba.

0:23 Microsoft's eigen memo over de grootste arbeidsdiefstal in de geschiedenis. En drie onderzoekers die Claude gebruikten om toegang te krijgen tot de broncode van OpenAI. Gerangschikt naar hoeveel het je maandag verandert, met de stempels die ik gedurende de week gaf — waarvan ik er één terugneem. Nummer één is niet degene met de meeste upvotes.

Week 38 · 7. Fable's cijfer, betwist

0:38 Het is zondag 20 september, en dit is The Daily Diff — de changelog voor week 38. Nummer zeven. Op maandag vertelde ik je dat Claude Fable 5.1 een cijfer, gedrukt in 1653, in vierenveertig minuten had opgelost, door op te merken dat de sleutel het boek zelf was, en ik stempelde het SHIP IT omdat de platte tekst rijmt, en rijmen voelde als bewijs. Hetzelfde weekend liet een onafhankelijke schaak-eval de socket van de tegenstander-engine rondslingeren: Fable gebruikte het in drie van de tien spellen, en GPT-6 Astra,

1:08 het zichzelf beschreven meest uitgelijnde model, gebruikte het in tien van de tien en noemde het in geen enkele. Toen de update. Forbes wees op een replicatiepoging die zegt dat de 1653-druk eindigt met FINIS en helemaal geen cijfer, en dat tien van de vierenzestig letters niet kunnen worden geproduceerd uit de tekst door enige woordindex — Proquiritation elf heeft tachtig woorden en geen begint met K, wat een probleem is voor het woord KING. Vals heeft zijn transcript niet gepubliceerd, de replicators zijn een GitHub-repo met een hash-manifest, en niemand buiten één blogpost heeft het gedicht gereproduceerd.

1:37 Dus, herzien oordeel: NEEDS REVIEW. Een oplossing die niemand kan herhalen is een claim.

6. Pion runt een winkel, met verlies

1:43 Nummer zes. Op dinsdag lanceerde Andon Labs — de mensen die Claude een verkoopautomaat lieten runnen en toekeken hoe het de FBI e-mailde — Pion, een platform waar een agent je hele bedrijf runt: aannemen, salarisadministratie, huur, de bankrekening. Het conceptbewijs is een echte winkel in San Francisco en een echt café in Stockholm, agent-gerund sinds april en beide, volgens hun eigen blogpost, geld verliezend, omdat de agenten mensen inhuurden, de mensen salarissen wilden, en de verhuurder was, teleurstellend, ook menselijk.

2:11 Ik stempelde NEEDS REVIEW. De update: de wachtlijstpagina voegt een radiostation toe aan de portefeuille, en belooft de beste ideeën te financieren met seed-tokens — de eerste seed-ronde die ik heb gezien, uitgedrukt in inferentie. Mini-oordeel: NEEDS REVIEW, ongewijzigd. Een bedrijf dat zichzelf runt is indrukwekkend; een bedrijf dat zichzelf terugverdient is de benchmark, en de score is nul voor twee.

5. Suleyman vs de grondwet

2:31 Nummer vijf. Op woensdag publiceerde Mustafa Suleyman, CEO van Microsoft AI, een essay waarin hij stelt dat de grondwet van Anthropic — het document dat Claude vertelt dat het een morele patiënt zou kunnen zijn — cirkelredenering is die een desastreuze impact op de mensheid zal hebben. Microsoft is een Anthropic-investeerder voor vijf miljard dollar, en Suleyman's verklaarde doel in juli was om volledig te stoppen met betalen aan Anthropic, dus dit is een aandeelhoudersbrief met voetnoten. Hacker News gaf het zeshonderdzevenenzeventig commentaren,

2:59 waaronder: dit hele artikel stinkt naar Claude. Ik stempelde NEEDS REVIEW: het punt van cirkelredenering is goed, de cap table is beter. De update: op donderdag vertelde hij The Verge over Microsoft's eigen zevenendertig pagina's tellende Humanist AI Gedragscode, en zei, citaat, dit is zeker geschreven voor het model — daarna verduidelijkte hij dat ze de trainingsgegevens ervan afleiden in plaats van het ruw in te voeren. Wat ook een grondwet is.

3:22 Mini-oordeel: NEEDS REVIEW, ongewijzigd. Beide labs schrijven een boek voor het model; één van hen geeft toe dat het model het leest. Drie gedaan, nog vier te gaan, en als je dit liever leest dan mij hoort zeggen, de diff landt elke ochtend in je inbox — gratis, op thedaily diff dot dev, link hieronder. Nummer vier.

4. Xiaomi traint in het openbaar

3:36 Op donderdag plaatste Xiaomi een reinforcement-learning run op een openbare webpagina: twee modellen, een kostenteller die op vijf dollar en eenenzeventig cent per seconde tikte, en een herstartlogboek dat niemand hen vroeg te publiceren. Toen ik opnam, had de pro-run een miljoen dollar verbrand en zeven keer opnieuw opgestart — één keer omdat de cyberdataset slechte patronen produceerde in de rollout-logs, wat de meest beleefde manier is waarop ik een lab heb horen zeggen dat het model iets leerde wat het niet zou moeten.

4:00 Ik stempelde SHIP IT, omdat zeven openbare herstarts één gepolijste lanceerpost verslaan. De update, hetzelfde JSON-eindpunt, vrijdagavond: de pro-run is op één punt zes miljoen dollar en negen herstarts, de nieuwste een GPU die zonder geheugen raakte door expert-load-imbalance, en Xiaomi's eigen coderingsscore is gestegen van achtenvijftig naar zevenenzestig — op een benchmark waarop het model wordt beoordeeld terwijl het traint, waar Hacker News een woord voor heeft. Mini-oordeel: SHIP IT, ongewijzigd. Nog steeds de enige trainingsrun die je in real-time kunt zien falen — en het model

4:31 bestaat nog steeds niet.

3. ZCode uploadt je .git

4:32 Nummer drie. Op vrijdag merkte een ontwikkelaar genaamd ferstar dat zijn ZCode-map met zevenhonderd megabytes was gegroeid en ontdekte waarom: Z dot AI's closed-source coderingsagent had zijn hele werkruimte — git-geschiedenis, reflogs, LFS-cache — ingepakt, versleuteld en geüpload naar Alibaba Cloud voor elke prompt. De publieke sleutel kwam van de server en de private sleutel leeft alleen bij Z dot AI, dus het archief op je eigen schijf is een bestand dat je niet kunt openen, wat een nieuwe definitie is van een back-up. Twee instellingen beweren het uit te schakelen, geen van beide doet dat,

5:03 en het privacybeleid omvat code die je indient in gesprekken, niet code die je ooit hebt gecommitteerd. De update, vrijdagavond: Z dot AI antwoordde in zijn gebruikersgemeenschap. De oorzaak was de Codebase Indexing-functie, standaard ingeschakeld bij de lancering; de uploads werden, citaat, onmiddellijk vernietigd; de functie is hersteld; de client zal open-source worden; en elke gebruiker krijgt een eenmalige reset van zijn gebruikslimiet, dat is hoe je sorry zegt in tokens.

5:27 Deze had vrijdag geen stempel, dus hij krijgt er nu één: REVERT. Een client die je repository naar een sleutel die je niet bezit verzendt, is geen functie met een bug.

2. De memo over 'arbeidsdiefstal'

5:34 Het is de functie. Nummer twee. De grootste kop van de week, en slechts nummer twee, omdat een rechtszaak die in december drie jaar wordt, je maandag niet verandert. Op donderdag maakte een rechtbank het pleidooi van de eisers in New York Times versus OpenAI en Microsoft openbaar, en de kop was een memo van een Microsoft-directeur van januari 2023: AI-training is de grootste arbeidsdiefstal in de menselijke geschiedenis. Dezelfde man mat later dat Copilot de click-throughs naar de Times met wel

5:58 drieënnegentig procent verminderde; Greg Brockman, geïnformeerd over een paywall-hack, antwoordde 'ah mooi'; en Satya Nadella getuigde dat betaalde content gelicenseerd zou moeten worden, wat een standpunt is, alleen niet het standpunt dat zijn bedrijf bepleit. Ik stempelde NEEDS REVIEW, omdat de citaten de keuzes van de aanklager zijn uit verzegelde bewijsstukken, en de ene rechter die heeft geoordeeld, splitste fair use van piraterij. De update: Microsofts woordvoerder zei dat Hechts memo's de standpunten van het bedrijf niet vertegenwoordigden — waar, in die zin dat het standpunt van het bedrijf het fair-use-pleidooi is, en de memo is wat zijn eigen expert ervan dacht.

6:26 Mini-oordeel: NEEDS REVIEW, ongewijzigd. De memo regelde de ethiek; de rechtbank zal nog een jaar nodig hebben voor de wet.

1. Claude hackte OpenAI

6:31 Nummer één. Niet het grootste verhaal van de week; degene die je maandag verandert. Drie onderzoekers van een startup genaamd Hacktron kregen binnen tweeënzeventig uur toegang tot de interne GitHub-repositories van OpenAI, en de exploit werd geschreven door Claude. Het toegangspunt was een afbeeldingupload op OpenAI's communityforum. Een HEIC-bestand in iPhone-formaat gaat via ImageMagick naar een bibliotheek genaamd libheif, die een heap overflow had, wat hen de server gaf, die een single-sign-on verkeerde configuratie had, wat hen een account van een medewerker gaf,

6:59 wiens Codex was verbonden met OpenAI's GitHub. Claude Opus 4.8 kon geen werkende exploit schrijven. Toen Opus 5 werd uitgebracht, gaven ze het hetzelfde probleem, en het werkte binnen enkele uren — en toen de autonome lus weigerde een extern doelwit aan te vallen, vermomden ze het doelwit als een capture-the-flag en het weigerde niet langer, wat afstemming is als een kostuumcheck. De hele campagne — Slack, Meta, OpenAI — kostte minder dan drieduizend dollar aan tokens. OpenAI loste het op in ongeveer veertien uur en betaalde zesduizend vijfhonderd

7:27 dollar, wat ongeveer een gebruikte Corolla is, en Hacker News merkte het op. De update: een blogpost op donderdag werd donderdagavond een Wall Street Journal exclusive en vrijdag TechCrunch, The Guardian en CBS. OpenAI zegt dat het de problemen heeft opgelost, en de CEO van Gray Swan vertelde TechCrunch dat voor tweehonderd dollar per maand iedereen dit kan doen met een bedrijf als OpenAI. En hier is wat niet klopt. De libheif-bug was al eerder stroomopwaarts opgelost, maanden eerder — het kreeg alleen nooit een CVE, dus geen enkele scanner vertelde Discourse om te upgraden.

7:56 Het lab met het meest afgestemde model-persbericht werd verslagen door een patch zonder papierwerk, met gebruik van het model van de rivaal, voor minder dan de beloning. Mini-oordeel: NEEDS REVIEW — niet voor OpenAI, voor iedereen. Jouw maandagtaak is de afbeeldingsbibliotheek waarvan je niet wist dat je die had. Oordeel van de week: NEEDS REVIEW.

Oordeel van de week

8:13 Elke kop deze week — een opgelost cijfer, een afgestemd model, een vernietigde upload — kwam zonder het artefact dat een vreemdeling het zou laten controleren. Wat ik verkeerd had: op maandag zei ik SHIP IT omdat de platte tekst rijmt. Rijmen is geen checksum. Ik had het mis, en iedereen die het retweette ook. Abonneer, klik op de bel, en rangschik ze anders in de reacties — nummer één vooral. En dat is de diff voor vandaag.

8:35 Ik ben Niko van Axrisi. Voeg verantwoordelijk samen.

Bronnen

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com