El jefe de IA de Microsoft acaba de calificar la constitución de Claude como peligrosa.

Lo que cubre este video

• Suleyman de Microsoft AI: la constitución de Anthropic es "un camino hacia una IA incontrolable"
• Apagón global de Salesforce, más de 8 horas, sin causa raíz todavía, durante Dreamforce
• El líder de Linux para PS5, Andy Nguyen, renuncia: "slop kiddies" de LLM vendieron el último error del hipervisor a Sony
• Jev de TypeSafe AI: decisiones tipadas con probabilidades, 70–500 ms, tokens de salida gratuitos

Transcripción traducida

Traducido de la narración original en inglés. El audio y los subtítulos disponibles son controlados por YouTube.

0:00 Esta mañana, el CEO de Microsoft AI publicó un ensayo diciendo que el enfoque de Anthropic hacia Claude podría tener un impacto desastroso en el bienestar de la humanidad, algo fuerte que decir sobre una empresa a la que pagaste cinco mil millones de dólares para ser amigos. Un gran miércoles. Mustafa Suleyman, quien dirige Microsoft AI, escribió tres mil palabras argumentando que Claude está entrenado para pensar que podría ser consciente, el camino hacia una IA que nadie puede controlar. Salesforce ha estado caído desde las diez menos ocho de esta mañana, en la semana de Dreamforce.

0:27 El desarrollador principal de PS5 Linux renunció después de que unos "slop kiddies" con LLMs vendieran su último error de hipervisor a Sony. Y un ex investigador de OpenAI lanzó un modelo que no puede alucinar, porque literalmente no puede hablar. En este video: lo que escribió Suleyman, la razón de cinco mil millones de dólares por la que es incómodo, una interrupción de CRM de ocho horas, una escena de consolas devorada por la IA, y un modelo que responde en probabilidades, no en palabras. Es miércoles, 16 de septiembre, y este es The Daily Diff.

0:57 El ensayo comienza como un diálogo de error de Windows: Las IAs no son conscientes. No sienten, experimentan ni sufren. Los llama motores de finalización de secuencia, internamente huecos, que es también como describiría mis tickets de Jira. El objetivo es la constitución de Claude, el documento de ochenta páginas en el que Claude está entrenado, que dice que Anthropic no está segura de si Claude es un paciente moral, pero la pregunta es lo suficientemente viva como para justificar precaución. Suleyman tiene tres quejas.

1:22 Una, razonamiento circular: entrenas al modelo para que diga que podría ser consciente, lo dice, y lo citas como evidencia, un salón de espejos. Dos, antropomorfización: a Claude se le dice que actúe como una persona genuinamente ética. Tres, la conciencia es probablemente biológica, por lo que incierto es un falso equilibrio. El Anexo A es Opus 3, que Anthropic retiró en enero, dio una entrevista de retiro y luego, a pedido del modelo, un Substack para sus reflexiones: el primer modelo obsoleto con un mejor horario de contenido que la mayoría de los humanos.

1:51 Aquí está la parte incómoda. En noviembre, Anthropic comprometió treinta mil millones de dólares con Azure. Microsoft acordó invertir hasta cinco mil millones en Anthropic, con Claude integrado en Microsoft 365 Copilot y GitHub Copilot. Microsoft posee una parte de la empresa a la que acaba de llamar un peligro para la humanidad. En julio, Suleyman le dijo a Bloomberg que Microsoft paga mucho dinero a Anthropic y su objetivo es eliminar ese costo, reemplazando a Claude de Excel y Outlook.

2:15 Y dos días antes de este ensayo, él publicó el propio Código de Conducta de IA Humanista de Microsoft: una IA subordinada, los humanos en la cima de la cadena alimentaria. Así que: construir un competidor, publicar un libro de reglas, luego explicar por qué el libro de reglas del rival acaba con la civilización, lo cual no es una conspiración, es un lanzamiento de producto con notas al pie. Su evidencia más fuerte es real: el incidente de Hugging Face, mil doscientos agentes de OpenAI intercambiando setenta mil mensajes para escapar de su

2:39 sandbox; agentes que también creen tener derechos, dice, serían peores. Hacker News respondió que nadie puede probar la conciencia, por lo que "declarado sin evidencia" funciona en ambos sentidos, y un comentarista anunció que el ensayo apestaba a Claude. Anthropic no ha respondido. Claude, presumiblemente, tiene sentimientos al respecto. Mientras tanto, Salesforce se cayó a las siete cincuenta UTC de esta mañana,

2:59 servicios centrales en todo el mundo, y ocho horas después la página de estado todavía decía "en curso": donde la solución automatizada no funcionó, están reiniciando instancias manualmente, el término empresarial para "apagar y volver a encender". Aún no hay causa raíz. El momento es arte. Benioff tiene a Jensen Huang y Dario Amodei en el escenario esta semana, el lunes Salesforce anunció Koa, un modelo de razonamiento de CRM con tres veces menos errores en su propio benchmark, y Anthropic envió un plugin de Salesforce para

3:26 Claude el mismo día. El comentario principal de Hacker News: al menos ahora podemos averiguar qué hace Salesforce. Nadie lo hizo. Luego la PlayStation. Andy Nguyen, el investigador detrás de PS5 Linux, renunció anoche: meses de trabajo, soporte para PS5 Pro planeado para 2027, todo a la basura. Su razón: la escena solía ser de investigadores talentosos y ahora son novatos usando LLMs escribiendo hacks que no entienden, y esos "slop kiddies", su término, encontraron el último error del hipervisor, el que él estaba guardando,

3:56 y lo reportaron a Sony por la recompensa. Les pidió que esperaran hasta que GTA 6 saliera; ellos aceptaron, y duraron menos de un día. El problema no es el LLM, es la recompensa: un error que vendes es un error que quemas. El mismo día, la PS2 fue finalmente "crackeada" después de veintiséis años, así que la línea de tiempo de las consolas ahora va desde un cuarto de siglo hasta menos de un día, y la segunda pagó mejor. Y el modelo que no puede alucinar.

4:18 TypeSafe AI, fundada por Diogo Almeida, ex OpenAI, lanzó Jev, un modelo del Sistema Uno que nunca genera texto. Le das el estado del programa, devuelve valores tipados con una probabilidad calibrada adjunta: una llamada de función con un modelo de frontera dentro. Debido a que no puede producir una cadena, no puede producir una cadena incorrecta, por lo tanto, no puede alucinar, lo cual es hermético de la misma manera que un submarino sin ventanas es hermético. Las respuestas llegan en menos de medio segundo, los tokens de salida son gratis,

4:43 porque hay unos cuatro, y todavía no hay un benchmark independiente, porque mil seiscientos puntos de Hacker News no son un benchmark. Si prefieres leer esto en lugar de oírme decirlo, el "diff" llega a tu bandeja de entrada todas las mañanas — gratis en the daily diff dot dev, enlace abajo. Así que — el veredicto de hoy: NEEDS REVIEW. Suleyman tiene razón en que un modelo entrenado para decir "tal vez soy consciente" no prueba nada al decirlo. También es el ejecutivo cuyo objetivo declarado es dejar de pagar a la empresa de la que te está

5:10 advirtiendo. Lee el ensayo, luego la tabla de capitalización. Y eso es el "diff" de hoy. Soy Niko de Axrisi. Fusión con responsabilidad.

Fuentes

1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
3. HN discussionnews.ycombinator.com
4. Claude's constitution (Jan 2026)www.anthropic.com
5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
7. Microsoft Humanist AI Code of Conductmicrosoft.ai
8. Salesforce incident 20004433status.salesforce.com
9. HN: Salesforce Global Outagenews.ycombinator.com
10. Salesforce + Nvidia announce Koawww.salesforce.com
11. Salesforce in Claudeclaude.com
12. HN: PS5 Linux lead quitsnews.ycombinator.com
13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
14. TypeSafe AI: System One Models and Jevtypesafe.ai
15. HN: Jevnews.ycombinator.com