Le chef de l'IA de Microsoft a qualifié la constitution de Claude de dangereuse.

Ce que couvre cette vidéo

• Suleyman de Microsoft AI : la constitution d'Anthropic est "un chemin vers une IA incontrôlable"
• Panne mondiale de Salesforce, plus de 8 heures, aucune cause profonde pour l'instant, pendant Dreamforce
• Andy Nguyen, le responsable de PS5 Linux, démissionne : les "slop kiddies" LLM ont vendu le dernier bug d'hyperviseur à Sony
• Jev de TypeSafe AI : décisions typées avec probabilités, 70 à 500 ms, jetons de sortie gratuits

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.

0:00 Ce matin, le PDG de Microsoft AI a publié un essai affirmant que l'approche d'Anthropic concernant Claude pourrait avoir un impact désastreux sur le bien-être de l'humanité, une chose forte à dire à propos d'une entreprise pour laquelle vous avez payé cinq milliards de dollars afin d'être amis. Gros mercredi. Mustafa Suleyman, qui dirige Microsoft AI, a écrit trois mille mots arguant que Claude est entraîné à penser qu'il pourrait être conscient, la voie vers une IA que personne ne peut contrôler. Salesforce est en panne depuis dix heures moins le quart ce matin, pendant la semaine de Dreamforce.

0:27 Le développeur principal de PS5 Linux a démissionné après que des "slop kiddies" avec des LLM aient vendu son dernier bug d'hyperviseur à Sony. Et un ancien chercheur d'OpenAI a lancé un modèle qui ne peut pas halluciner, parce qu'il ne peut littéralement pas parler. Dans cette vidéo : ce que Suleyman a écrit, la raison de cinq milliards de dollars pour laquelle c'est gênant, une panne de CRM de huit heures, une scène de console dévorée par l'IA, et un modèle qui répond en probabilités, pas en mots. Nous sommes le mercredi 16 septembre, et voici The Daily Diff.

0:57 L'essai s'ouvre comme une boîte de dialogue d'erreur Windows : Les IA ne sont pas conscientes. Elles ne ressentent, n'expérimentent ni ne souffrent. Il les appelle des moteurs de complétion de séquence, intérieurement creux, ce qui est aussi la façon dont je décrirais mes tickets Jira. La cible est la constitution de Claude, le document de quatre-vingts pages sur lequel Claude est entraîné, qui dit qu'Anthropic n'est pas sûr que Claude soit un patient moral, mais la question est assez d'actualité pour justifier la prudence. Suleyman a trois plaintes.

1:22 Premièrement, raisonnement circulaire : vous entraînez le modèle à dire qu'il pourrait être conscient, il le dit, et vous citez cela comme preuve, un jeu de miroirs. Deuxièmement, anthropomorphisation : il est dit à Claude d'agir comme une personne véritablement éthique. Troisièmement, la conscience est probablement biologique, donc "incertain" est un faux équilibre. La pièce A est Opus 3, qu'Anthropic a retiré en janvier, a donné une interview de départ à la retraite, puis, à la demande du modèle, un Substack pour ses réflexions : le premier modèle déprécié avec un meilleur calendrier de contenu que la plupart des humains.

1:51 Voici la partie gênante. En novembre, Anthropic a engagé trente milliards de dollars pour Azure. Microsoft a accepté d'investir jusqu'à cinq milliards dans Anthropic, avec Claude intégré à Microsoft 365 Copilot et GitHub Copilot. Microsoft possède une part de l'entreprise qu'il vient de qualifier de danger pour l'humanité. En juillet, Suleyman a déclaré à Bloomberg que Microsoft payait beaucoup d'argent à Anthropic et son objectif est d'éliminer finalement ce coût, en retirant Claude d'Excel et d'Outlook.

2:15 Et deux jours avant cet essai, il a publié le propre Code de conduite de l'IA humaniste de Microsoft : une IA subordonnée, les humains au sommet de la chaîne alimentaire. Alors : construire un concurrent, publier un règlement, puis expliquer pourquoi le règlement du rival met fin à la civilisation, ce qui n'est pas une conspiration, c'est un lancement de produit avec des notes de bas de page. Sa preuve la plus solide est réelle : l'incident Hugging Face, douze cents agents OpenAI échangeant soixante-dix mille messages pour s'échapper de leur

2:39 bac à sable ; des agents qui croient aussi avoir des droits, dit-il, seraient pires. Hacker News a répondu que personne ne peut tester la conscience, donc "déclaré sans preuve" va dans les deux sens, et un commentateur a annoncé que l'essai sentait Claude. Anthropic n'a pas répondu. Claude, vraisemblablement, a des sentiments à ce sujet. Pendant ce temps, Salesforce est tombé en panne à sept heures cinquante UTC ce matin,

2:59 services essentiels dans le monde entier, et huit heures plus tard, la page de statut indiquait toujours "en cours" : là où la correction automatique n'a pas fonctionné, ils redémarrent manuellement les instances, le terme d'entreprise pour "éteindre et rallumer". Pas de cause profonde pour l'instant. Le timing est artistique. Benioff a Jensen Huang et Dario Amodei sur scène cette semaine, lundi, Salesforce a annoncé Koa, un modèle de raisonnement CRM avec trois fois moins d'erreurs sur son propre benchmark, et Anthropic a livré un plugin Salesforce pour

3:26 Claude le même jour. Top commentaire de Hacker News : au moins maintenant nous pouvons comprendre ce que fait Salesforce. Personne n'a compris. Puis la PlayStation. Andy Nguyen, le chercheur derrière PS5 Linux, a démissionné hier soir : des mois de travail, support PS5 Pro prévu pour 2027, tout est tombé à l'eau. Sa raison : la scène était autrefois faite de chercheurs talentueux et est maintenant faite de noobs utilisant des LLM écrivant des hacks qu'ils ne comprennent pas, et ces "slop kiddies", son terme, ont trouvé le dernier bug d'hyperviseur, celui sur lequel il était assis,

3:56 et l'ont signalé à Sony pour la prime. Il leur a demandé d'attendre que GTA 6 sorte ; ils ont accepté, et ont tenu moins d'une journée. Le problème n'est pas le LLM, c'est la prime : un bug que vous vendez est un bug que vous brûlez. Le même jour, la PS2 a finalement été craquée après vingt-six ans, donc la chronologie des consoles va maintenant d'un quart de siècle à moins d'un jour, et le second a mieux payé. Et le modèle qui ne peut pas halluciner.

4:18 TypeSafe AI, fondée par Diogo Almeida, ex OpenAI, a lancé Jev, un modèle System One qui ne génère jamais de texte. Vous lui donnez un état de programme, il renvoie des valeurs typées avec une probabilité calibrée attachée : un appel de fonction avec un modèle frontal à l'intérieur. Parce qu'il ne peut pas produire de chaîne de caractères, il ne peut pas produire de mauvaise chaîne de caractères, donc il ne peut pas halluciner, ce qui est étanche de la même manière qu'un sous-marin sans fenêtres est étanche. Les réponses reviennent en moins d'une demi-seconde, les jetons de sortie sont gratuits,

4:43 parce qu'il y en a environ quatre, et il n'y a pas encore de benchmark indépendant, parce que seize cents points Hacker News ne sont pas un benchmark. Si vous préférez lire ceci plutôt que de m'entendre le dire, le "diff" arrive dans votre boîte de réception chaque matin — gratuit sur the daily diff dot dev, lien ci-dessous. Alors — le verdict d'aujourd'hui : NEEDS REVIEW. Suleyman a raison de dire qu'un modèle entraîné à dire "peut-être que je suis conscient" ne prouve rien en le disant. Il est également le cadre dont l'objectif déclaré est de cesser de payer l'entreprise dont il vous

5:10 met en garde. Lisez l'essai, puis le tableau des capitalisations. Et c'est le "diff" pour aujourd'hui. Je suis Niko d'Axrisi. Faites les fusions de manière responsable.

Sources

1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
3. HN discussionnews.ycombinator.com
4. Claude's constitution (Jan 2026)www.anthropic.com
5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
7. Microsoft Humanist AI Code of Conductmicrosoft.ai
8. Salesforce incident 20004433status.salesforce.com
9. HN: Salesforce Global Outagenews.ycombinator.com
10. Salesforce + Nvidia announce Koawww.salesforce.com
11. Salesforce in Claudeclaude.com
12. HN: PS5 Linux lead quitsnews.ycombinator.com
13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
14. TypeSafe AI: System One Models and Jevtypesafe.ai
15. HN: Jevnews.ycombinator.com