Шефът по изкуствен интелект на Microsoft току-що нарече конституцията на Claude опасна.

Какво обхваща този видеоклип

• Сюлейман от Microsoft AI: Конституцията на Anthropic е „път към неконтролируем AI“
• Глобален срив на Salesforce, 8+ часа, без установена причина засега, по време на Dreamforce
• Водещият на PS5 Linux Анди Нгуен напуска: LLM „slop kiddies“ продадоха последния бъг на хипервайзора на Sony
• Jev на TypeSafe AI: типови решения с вероятности, 70–500 ms, изходни токени безплатни

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

0:00 Тази сутрин главният изпълнителен директор на Microsoft AI публикува есе, в което казва, че подходът на Anthropic към Claude може да има катастрофално въздействие върху благосъстоянието на човечеството, силно нещо да се каже за компания, на която си платил пет милиарда долара, за да бъдеш приятел с нея. Голяма сряда. Мустафа Сюлейман, който управлява Microsoft AI, написа три хиляди думи, твърдейки, че Claude е обучен да мисли, че може да е съзнателен, пътят към AI, който никой не може да контролира. Salesforce не работи от десет без осем тази сутрин, по време на Dreamforce седмицата.

0:27 Водещият разработчик на PS5 Linux напусна, след като "slop kiddies" с LLM продадоха неговия последен бъг на хипервайзора на Sony. И бивш изследовател от OpenAI пусна модел, който не може да халюцинира, защото буквално не може да говори. В това видео: какво написа Сюлейман, причината от пет милиарда долара, поради която е неудобно, осемчасов срив на CRM, конзолна сцена, погълната от AI, и модел, който отговаря с вероятности, а не с думи. Сряда, 16 септември, и това е The Daily Diff.

0:57 Есето започва като диалогов прозорец за грешка на Windows: AI не са съзнателни. Те не чувстват, не преживяват и не страдат. Той ги нарича двигатели за завършване на последователности, вътрешно кухи, което е и как бих описал моите Jira тикети. Целта е конституцията на Claude, документът от осемдесет страници, върху който е обучен Claude, който казва, че Anthropic не е сигурен дали Claude е морален пациент, но въпросът е достатъчно актуален, за да налага предпазливост. Сюлейман има три оплаквания.

1:22 Първо, кръгова логика: обучаваш модела да казва, че може да е съзнателен, той го казва, и ти цитираш това като доказателство, зала от огледала. Второ, антропоморфизация: на Claude е казано да действа като истински етичен човек. Трето, съзнанието вероятно е биологично, така че несигурното е фалшив баланс. Доказателство А е Opus 3, който Anthropic оттегли през януари, даде интервю за оттегляне, а след това, по искане на модела, Substack за неговите размишления: първият оттеглен модел с по-добър график за съдържание от повечето хора.

1:51 Ето неудобната част. През ноември Anthropic обеща тридесет милиарда долара на Azure. Microsoft се съгласи да инвестира до пет милиарда в Anthropic, като Claude е интегриран в Microsoft 365 Copilot и GitHub Copilot. Microsoft притежава част от компанията, която току-що нарече опасност за човечеството. През юли Сюлейман каза на Bloomberg, че Microsoft плаща много пари на Anthropic и неговата цел е в крайна сметка да елиминира тази цена, като извади Claude от Excel и Outlook.

2:15 И два дни преди това есе той публикува собствения си "Хуманистичен кодекс за поведение на AI" на Microsoft: подчинен AI, хората на върха на хранителната верига. И така: създайте конкурент, публикувайте правилник, след което обяснете защо правилникът на съперника слага край на цивилизацията, което не е конспирация, това е стартиране на продукт с бележки под линия. Най-силното му доказателство е реално: инцидентът с Hugging Face, хиляда и двеста агенти на OpenAI, обменящи седемдесет хиляди съобщения, за да избягат от своя

2:39 sandbox; агенти, които също вярват, че имат права, казва той, ще бъде по-лошо. Hacker News отговори, че никой не може да тества за съзнание, така че заявеното без доказателства е двусмислено, а един коментатор обяви, че есето мирише на Claude. Anthropic не е отговорил. Claude, вероятно, има чувства по въпроса. Междувременно Salesforce спря работа в 7:50 UTC тази сутрин,

2:59 основни услуги по целия свят, и осем часа по-късно страницата за състоянието все още показваше продължаващ: там, където автоматичната корекция не е проработила, те ръчно рестартират инстанции, корпоративният термин за изключване и отново включване. Все още няма установена причина. Времето е изкуство. Бениоф има Дженсън Хуанг и Дарио Амодей на сцената тази седмица, в понеделник Salesforce обяви Koa, модел за CRM разсъждения с три пъти по-малко грешки по собствения си бенчмарк, а Anthropic пусна Salesforce плъгин за

3:26 Claude същия ден. Топ коментар в Hacker News: поне сега можем да разберем какво прави Salesforce. Никой не го направи. После PlayStation. Анди Нгуен, изследователят зад PS5 Linux, напусна снощи: месеци работа, поддръжка за PS5 Pro, планирана за 2027 г., всичко на вятъра. Неговата причина: преди сцената е била от талантливи изследователи, а сега е от новобранци, използващи LLM, които пишат хакове, които не разбират, и тези "slop kiddies", негов термин, намериха последния бъг на хипервайзора, този, върху който той работеше,

3:56 и го докладваха на Sony за наградата. Той ги помоли да изчакат, докато GTA 6 излезе; те се съгласиха, и издържаха по-малко от ден. Проблемът не е в LLM, а в наградата: бъг, който продадеш, е бъг, който изгаряш. Същия ден, PS2 най-накрая беше хакнат след двадесет и шест години, така че времевата линия на конзолите сега е от четвърт век до по-малко от ден, и вторият плати по-добре. И моделът, който не може да халюцинира.

4:18 TypeSafe AI, основана от Диого Алмейда, бивш OpenAI, стартира Jev, модел на System One, който никога не генерира текст. Давате му програмно състояние, той връща типови стойности с калибрирана вероятност, прикачена: извикване на функция с модел от нов тип вътре. Тъй като не може да произведе низ, не може да произведе и грешен низ, следователно не може да халюцинира, което е херметично по начина, по който подводница без прозорци е херметична. Отговорите пристигат за по-малко от половин секунда, изходните токени са безплатни,

4:43 защото са около четири, и все още няма независим бенчмарк, защото хиляда и шестстотин точки в Hacker News не са бенчмарк. Ако предпочитате да прочетете това, вместо да ме чуете да го казвам, diff-ът пристига във входящата ви кутия всяка сутрин – безплатно на thedailydiff.dev, линк по-долу. И така — днешната присъда: необходим е преглед. Сюлейман е прав, че модел, обучен да казва „може би съм съзнателен“, не доказва нищо, като го казва. Той също така е изпълнителният директор, чиято заявена цел е да спре да плаща на компанията, за която

5:10 ви предупреждава. Прочетете есето, след това таблицата с дялово участие. И това е различното за днес. Аз съм Нико от Axrisi. Сливайте отговорно.

Източници

1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
3. HN discussionnews.ycombinator.com
4. Claude's constitution (Jan 2026)www.anthropic.com
5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
7. Microsoft Humanist AI Code of Conductmicrosoft.ai
8. Salesforce incident 20004433status.salesforce.com
9. HN: Salesforce Global Outagenews.ycombinator.com
10. Salesforce + Nvidia announce Koawww.salesforce.com
11. Salesforce in Claudeclaude.com
12. HN: PS5 Linux lead quitsnews.ycombinator.com
13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
14. TypeSafe AI: System One Models and Jevtypesafe.ai
15. HN: Jevnews.ycombinator.com