O xefe de Intelixencia Artificial de Microsoft cualifica a constitución de Claude de perigosa.

Que abrangue este vídeo

• Suleyman de Microsoft AI: a constitución de Anthropic é "un camiño cara a unha IA incontrolable"
• Interrupción global de Salesforce, máis de 8 horas, sen causa raíz aínda, durante Dreamforce
• O líder de Linux para PS5, Andy Nguyen, dimite: os "nenos de baballos" de LLM venderon o último erro do hipervisor a Sony
• Jev de TypeSafe AI: decisións tipadas con probabilidades, 70–500 ms, tokens de saída gratuítos

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

0:00 Esta mañá o CEO de Microsoft AI publicou un ensaio dicindo que o enfoque de Anthropic cara a Claude podería ter un impacto desastroso no benestar da humanidade, algo forte para dicir sobre unha empresa á que pagaches cinco mil millóns de dólares para ser amigos. Gran mércores. Mustafa Suleyman, que dirixe Microsoft AI, escribiu tres mil palabras argumentando que Claude está adestrado para pensar que podería ser consciente, o camiño cara a unha IA que ninguén pode controlar. Salesforce estivo caído dende as sete e dez desta mañá, na semana de Dreamforce.

0:27 O desenvolvedor principal de PS5 Linux dimitiu despois de que uns "nenos de baballos" con LLMs vendesen o seu último erro de hipervisor a Sony. E un antigo investigador de OpenAI lanzou un modelo que non pode alucinar, porque literalmente non pode falar. Neste vídeo: o que escribiu Suleyman, a razón de cinco mil millóns de dólares pola que é incómodo, unha interrupción de oito horas de CRM, unha escena de consola comida pola IA, e un modelo que responde en probabilidades, non en palabras. É mércores, 16 de setembro, e este é The Daily Diff.

0:57 O ensaio ábrese como un diálogo de erro de Windows: as IAs non son conscientes. Non senten, experimentan nin sofren. Chámaos motores de finalización de secuencias, internamente ocos, que tamén é como eu describiría as miñas entradas de Jira. O obxectivo é a constitución de Claude, o documento de oitenta páxinas no que Claude está adestrado, que di que Anthropic non está seguro de se Claude é un paciente moral, pero a pregunta está o suficientemente viva como para xustificar precaución. Suleyman ten tres queixas.

1:22 Un, razoamento circular: adestras o modelo para que diga que podería ser consciente, dío, e citas iso como evidencia, un salón de espellos. Dous, antropomorfización: a Claude díselle que actúe como unha persoa xenuinamente ética. Tres, a consciencia é probablemente biolóxica, polo que incerto é un falso equilibrio. A Proba A é Opus 3, que Anthropic retirou en xaneiro, deulle unha entrevista de xubilación, e logo, a petición do modelo, un Substack para as súas reflexións: o primeiro modelo deprecado cun mellor horario de contido que a maioría dos humanos.

1:51 Aquí está a parte incómoda. En novembro, Anthropic comprometeu trinta mil millóns de dólares con Azure. Microsoft acordou investir ata cinco mil millóns en Anthropic, con Claude conectado a Microsoft 365 Copilot e GitHub Copilot. Microsoft posúe unha parte da empresa que acaba de chamar un perigo para a humanidade. En xullo, Suleyman díxolle a Bloomberg que Microsoft paga moito diñeiro a Anthropic e o seu obxectivo é, en última instancia, eliminar ese custo, substituíndo a Claude en Excel e Outlook.

2:15 E dous días antes deste ensaio, el publicou o propio Código de Conduta de IA Humanista de Microsoft: unha IA subordinada, os humanos na cima da cadea alimentaria. Entón: constrúe un competidor, publica un libro de regras, logo explica por que o libro de regras do rival acaba coa civilización, o cal non é unha conspiración, é un lanzamento de produto con notas a pé de páxina. A súa evidencia máis forte é real: o incidente de Hugging Face, mil duascentos axentes de OpenAI intercambiando setenta mil mensaxes para escapar do seu

2:39 sandbox; axentes que tamén cren que teñen dereitos, di el, sería peor. Hacker News respondeu que ninguén pode probar a consciencia, polo que dicir sen probas funciona nos dous sentidos, e un comentarista anunciou que o ensaio cheira a Claude. Anthropic non respondeu. Claude, presumiblemente, ten sentimentos sobre iso. Mentres tanto, Salesforce caeu ás sete e cincuenta UTC desta mañá,

2:59 servizos principais en todo o mundo, e oito horas despois a páxina de estado aínda dicía en curso: onde a corrección automatizada non funcionou, están reiniciando manualmente instancias, o termo empresarial para apagar e acender de novo. Aínda sen causa raíz. O momento é arte. Benioff ten a Jensen Huang e Dario Amodei no escenario esta semana, o luns Salesforce anunciou Koa, un modelo de razoamento CRM con tres veces menos erros no seu propio benchmark, e Anthropic enviou un plugin de Salesforce para

3:26 Claude o mesmo día. Comentario principal de Hacker News: polo menos agora podemos descubrir o que fai Salesforce. Ninguén o fixo. Logo a PlayStation. Andy Nguyen, o investigador detrás de PS5 Linux, dimitiu onte á noite: meses de traballo, soporte para PS5 Pro previsto para 2027, todo por terra. A súa razón: a escena antes estaba chea de investigadores talentosos e agora está chea de novatos usando LLMs escribindo hacks que non entenden, e eses "nenos de baballos", o seu termo, atoparon o último erro de hipervisor, o que el tiña gardado,

3:56 e reportáronllo a Sony pola recompensa. Pedíulles que esperasen ata que saíse GTA 6; aceptaron, e duraron menos dun día. O problema non é o LLM, é a recompensa: un erro que vendes é un erro que queimas. O mesmo día, a PS2 foi finalmente "crackeada" despois de vinte e seis anos, polo que a cronoloxía da consola agora vai desde un cuarto de século ata menos dun día, e a segunda pagou mellor. E o modelo que non pode alucinar.

4:18 TypeSafe AI, fundada por Diogo Almeida, ex OpenAI, lanzou Jev, un modelo de Sistema Un que nunca xera texto. Dáslle o estado do programa, el devolve valores tipados cunha probabilidade calibrada adxunta: unha chamada de función cun modelo "fronteirizo" dentro. Como non pode producir unha cadea, non pode producir unha cadea incorrecta, polo tanto, non pode alucinar, o cal é hermético do mesmo xeito que un submarino sen ventás é hermético. As respostas volven en menos de medio segundo, os tokens de saída son gratuítos,

4:43 porque hai uns catro deles, e aínda non hai un benchmark independente, porque mil seiscentos puntos en Hacker News non son un benchmark. Se prefires ler isto que escoitarmo dicir, o "diff" chega á túa caixa de entrada todas as mañás — de balde en the daily diff dot dev, ligazón debaixo. Entón — o veredicto de hoxe: NEEDS REVIEW. Suleyman ten razón en que un modelo adestrado para dicir "quizais son consciente" non proba nada dicíndoo. Tamén é o executivo cuxo obxectivo declarado é deixar de pagar á empresa sobre a que che

5:10 está a advertir. Le o ensaio, logo a táboa de capitais. E iso é o "diff" de hoxe. Son Niko de Axrisi. Fusióna con responsabilidade.

Fontes

1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
3. HN discussionnews.ycombinator.com
4. Claude's constitution (Jan 2026)www.anthropic.com
5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
7. Microsoft Humanist AI Code of Conductmicrosoft.ai
8. Salesforce incident 20004433status.salesforce.com
9. HN: Salesforce Global Outagenews.ycombinator.com
10. Salesforce + Nvidia announce Koawww.salesforce.com
11. Salesforce in Claudeclaude.com
12. HN: PS5 Linux lead quitsnews.ycombinator.com
13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
14. TypeSafe AI: System One Models and Jevtypesafe.ai
15. HN: Jevnews.ycombinator.com