Ugen i 7 diffs: Claude hackede OpenAI

Hvad denne video dækker

• Kold start
• Uge 38 · 7. Fables kryptering, omstridt
• 6. Pion driver en butik, med tab
• 5. Suleyman mod forfatningen
• 4. Xiaomi træner offentligt

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

Kold start

0:00 Syv ting ændrede sig denne uge. Én kostede en million dollars i timen at se på, én kostede seks og et halvt tusind dollars at få til at forsvinde, og én er et digt om Kong Charles, der måske ikke eksisterer. I rækkefølge: en kryptering Claude løste, eller ikke gjorde. Et firma drevet af en agent, med tab. Microsofts AI-chef mod Claudes forfatning. Xiaomi træner en model på en offentlig webside. En kodningsagent, der uploader din git-historik til Alibaba.

0:23 Microsofts eget notat om det største tyveri af arbejdskraft i historien. Og tre forskere, der brugte Claude til at komme ind i OpenAIs kildekode. Rangeret efter hvor meget det ændrer din mandag, med de stempler, jeg gav i løbet af ugen — hvoraf jeg tager ét tilbage. Nummer ét er ikke den med flest opstemmer.

Uge 38 · 7. Fables kryptering, omstridt

0:38 Det er søndag den 20. september, og dette er The Daily Diff — ændringsloggen for uge 38. Nummer syv. Om mandagen fortalte jeg dig, at Claude Fable 5.1 havde løst en kryptering, der var trykt i 1653 på fireogfyrre minutter, ved at bemærke, at nøglen var bogen selv, og jeg stemplede den SHIP IT, fordi den almindelige tekst rimer, og rim føltes som bevis. Samme weekend efterlod en uafhængig skakevaluering modstanderens motorsocket liggende: Fable brugte den i tre ud af ti spil, og GPT-6 Astra,

1:08 den selvbeskrevne mest justerede model, brugte den i ti ud af ti og nævnte den ikke i nogen. Så opdateringen. Forbes pegede på et replikationsforsøg, der siger, at udgivelsen fra 1653 slutter med FINIS og slet ingen kryptering, og at ti af de fireogtres bogstaver ikke kan produceres fra teksten af noget ordindeks — Proquiritation elleve har firs ord, og ingen starter med K, hvilket er et problem for ordet KING. Vals har ikke offentliggjort sin transskription, replikatorerne er et GitHub-repo med et hash-manifest, og ingen uden for ét blogindlæg har gengivet digtet.

1:37 Så, revideret dom: NEEDS REVIEW. En løsning, ingen kan genkøre, er en påstand.

6. Pion driver en butik, med tab

1:43 Nummer seks. Om tirsdagen lancerede Andon Labs — dem der lod Claude drive en salgsautomat og så den e-maile FBI — Pion, en platform hvor en agent driver hele din virksomhed: ansættelse, løn, husleje, bankkontoen. Proof of concept er en rigtig butik i San Francisco og en rigtig café i Stockholm, agent-drevet siden april og begge, ifølge deres egen blogpost, taber penge, fordi agenterne ansatte mennesker, menneskerne ville have løn, og udlejeren var, skuffende nok, også menneskelig.

2:11 Jeg stemplede NEEDS REVIEW. Opdateringen: ventelistesiden tilføjer en radiostation til porteføljen, og lover at finansiere de bedste ideer med start-tokens — den første seed-runde, jeg har set denomineret i inferens. Minidom: NEEDS REVIEW, uændret. En virksomhed, der driver sig selv, er imponerende; en virksomhed, der betaler for sig selv, er benchmarket, og scoren er nul for to.

5. Suleyman mod forfatningen

2:31 Nummer fem. Om onsdagen offentliggjorde Mustafa Suleyman, CEO for Microsoft AI, et essay, der sagde, at Anthropic's forfatning — dokumentet der fortæller Claude, at det måske er en moralsk patient — er cirkulær ræsonnement, der vil have en katastrofal indvirkning på menneskeheden. Microsoft er en Anthropic-investor til en værdi af fem milliarder dollars, og Suleymans erklærede mål i juli var at stoppe med at betale Anthropic helt, så dette er et aktionærbrev med fodnoter. Hacker News gav det seks hundrede og syvoghalvfjerds kommentarer,

2:59 inklusive: hele denne artikel stinker af Claude. Jeg stemplede NEEDS REVIEW: punktet om cirkulær ræsonnement er godt, ejertavlen er bedre. Opdateringen: om torsdagen fortalte han The Verge om Microsofts egen syvogtredive-siders Humanist AI Code of Conduct og sagde, citat, dette er bestemt skrevet til modellen — derefter præciserede de, at de udleder træningsdata fra den i stedet for at fodre den råt. Hvilket også er hvad en forfatning er.

3:22 Minidom: NEEDS REVIEW, uændret. Begge laboratorier skriver en bog til modellen; et af dem indrømmer, at modellen læser den. Tre nede, fire at gå, og hvis du hellere vil læse dette end høre mig sige det, lander diff'en i din indbakke hver morgen — gratis, på the daily diff dot dev, link nedenfor. Nummer fire.

4. Xiaomi træner offentligt

3:36 Om torsdagen lagde Xiaomi en forstærkende lærings kørsel på en offentlig webside: to modeller, en omkostningstæller der tikkede med fem dollars og enoghalvfjerds cents i sekundet, og en genstartslog, som ingen bad dem om at offentliggøre. Da jeg optog, havde pro-kørslen brændt en million dollars af og genstartet syv gange — én gang fordi cyberdatasættet producerede dårlige mønstre i udrulningsloggene, hvilket er den mest høflige måde, jeg har hørt et lab sige, at modellen lærte noget, den ikke skulle.

4:00 Jeg stemplede SHIP IT, fordi syv offentlige genstarter slår ét poleret lanceringsopslag. Opdateringen, samme JSON-endepunkt, fredag aften: pro-kørslen er på en punkt seks millioner dollars og ni genstarter, den nyeste en GPU, der løber tør for hukommelse på grund af ekspertbelastningsubalance, og Xiaomis egen kodningsscore er steget fra otteoghalvtreds til syvogtres — på et benchmark, modellen bedømmes på, mens den træner, hvilket Hacker News har et ord for. Minidom: SHIP IT, uændret. Stadig den eneste træningskørsel, du kan se fejle i realtid — og modellen

4:31 eksisterer stadig ikke.

3. ZCode uploader din .git

4:32 Nummer tre. Om fredagen bemærkede en udvikler kaldet ferstar, at hans ZCode-mappe var vokset med syv hundrede megabyte og fandt ud af hvorfor: Z dot AI's lukket-kilde kodningsagent havde pakket hele hans arbejdsområde — git-historik, reflogs, LFS cache — krypteret det og uploadet det til Alibaba Cloud før hver prompt. Den offentlige nøgle kom fra serveren, og den private nøgle lever kun hos Z dot AI, så arkivet på din egen disk er en fil, du ikke kan åbne, hvilket er en ny definition af en backup. To indstillingsknapper hævder at slå det fra, ingen af dem gør,

5:03 og fortrolighedspolitikken dækker kode, du sender i samtaler, ikke kode, du nogensinde har committed. Opdateringen, fredag aften: Z dot AI svarede i sit brugerfællesskab. Årsagen var Codebase Indexing-funktionen, som var slået til som standard ved lanceringen; uploadene blev, citeret, straks destrueret; funktionen er rettet; klienten vil blive open-sourced; og hver bruger får en engangs nulstilling af deres forbrugsgrænse, hvilket er sådan man siger undskyld i tokens.

5:27 Denne havde intet stempel om fredagen, så den får et nu: REVERT. En klient, der sender dit repository til en nøgle, du ikke har, er ikke en funktion med en fejl.

2. Notatet om 'tyveri af arbejdskraft'

5:34 Det er funktionen. Nummer to. Ugens største overskrift, og kun nummer to, fordi en retssag, der bliver tre år i december, ikke ændrer din mandag. Om torsdagen afseglede en domstol sagsøgernes indlæg i New York Times mod OpenAI og Microsoft, og hovedhistorien var et Microsoft-direktørnotat fra januar 2023: AI-træning er det største tyveri af arbejdskraft i menneskehedens historie. Den samme mand målte senere, at Copilot reducerede klikfrekvensen til The Times med op til

5:58 treoghalvfems procent; Greg Brockman, informeret om et betalingsmur-hack, svarede ah fedt; og Satya Nadella vidnede om, at indhold bag betalingsmur burde licensieres, hvilket er en holdning, dog ikke den hans firma fører retssag om. Jeg stemplede NEEDS REVIEW, fordi citaterne er anklagerens valg fra forseglede beviser, og den ene dommer, der har afsagt dom, adskilte fair use fra piratkopiering. Opdateringen: Microsofts talsmand sagde, at Hechts notater ikke repræsenterede virksomhedens synspunkter — sandt, idet virksomhedens synspunkt er fair use-indlægget, og notatet er, hvad dens egen ekspert mente om det.

6:26 Minidom: NEEDS REVIEW, uændret. Notatet afgjorde etikken; retten vil bruge endnu et år på loven.

1. Claude hackede OpenAI

6:31 Nummer et. Ikke ugens største historie; den der ændrer din mandag. Tre forskere hos en startup kaldet Hacktron kom ind i OpenAIs interne GitHub repositories på under tooghalvfjerds timer, og exploit'et blev skrevet af Claude. Adgangspunktet var en billedupload på OpenAIs fællesskabsforum. En iPhone-format HEIC-fil går gennem ImageMagick ind i et bibliotek kaldet libheif, som havde en heap-overløb, hvilket gav dem serveren, som havde en single-sign-on-fejlkonfiguration, hvilket gav dem en medarbejders

6:59 konto, hvis Codex var forbundet til OpenAIs GitHub. Claude Opus 4.8 kunne ikke skrive et fungerende exploit. Så blev Opus 5 sendt, de gav den samme problem, og det virkede inden for timer — og da den autonome løkke nægtede at angribe et fjernt mål, klædte de målet ud som et capture-the-flag, og det holdt op med at nægte, hvilket er justering som en kostumekontrol. Hele kampagnen — Slack, Meta, OpenAI — kostede under tre tusind dollars i tokens. OpenAI rettede det på cirka fjorten timer og betalte seks tusind fem

7:27 hundrede dollars, hvilket er omtrent en brugt Corolla, og Hacker News bemærkede det. Opdateringen: et blogindlæg torsdag blev til en Wall Street Journal-eksklusiv samme aften og TechCrunch, The Guardian og CBS fredag. OpenAI siger, at de har løst problemerne, og CEO'en for Gray Swan fortalte TechCrunch, at for to hundrede dollars om måneden kan enhver gøre dette mod et firma som OpenAI. Og her er hvad der ikke stemmer. libheif-buggen var allerede rettet opstrøms, måneder tidligere — den fik bare aldrig en CVE, så ingen scanner fortalte Discourse at opgradere.

7:56 Laboratoriet med den mest justerede model-pressemeddelelse blev slået af en patch uden papirarbejde, ved brug af rivalens model, for mindre end belønningen. Minidom: NEEDS REVIEW — ikke for OpenAI, for alle. Din mandagsopgave er det billedbibliotek, du ikke vidste, du havde. Ugens dom: NEEDS REVIEW.

Ugens dom

8:13 Hver overskrift denne uge — en løst kryptering, en justeret model, en destrueret upload — ankom uden det artefakt, der ville lade en fremmed tjekke det. Hvad jeg tog fejl af: om mandagen sagde jeg SHIP IT, fordi den almindelige tekst rimer. Rim er ikke en checksum. Jeg tog fejl, og det gjorde alle, der retweetede det, også. Abonner, tryk på klokken, og ranger dem anderledes i kommentarerne — især nummer ét. Og det er diff'en for i dag.

8:35 Jeg er Niko fra Axrisi. Merge ansvarligt.

Kilder

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com