+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

O chefe de IA da Microsoft acaba de classificar a constituição de Claude como perigosa.

Mustafa Suleyman, CEO da Microsoft AI, publicou um ensaio de 3.000 palavras argumentando que a constituição de Claude, da Anthropic, treina o modelo para pensar que "pode ser consciente" e merecedor de "bem-estar do modelo" — um "impacto desastroso no bem-estar da humanidade", em suas palavras.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Mustafa Suleyman, CEO da Microsoft AI, publicou um ensaio de 3.000 palavras argumentando que a constituição de Claude, da Anthropic, treina o modelo para pensar que "pode ser consciente" e merecedor de "bem-estar do modelo" — um "impacto desastroso no bem-estar da humanidade", em suas palavras. A Microsoft concordou em investir até US$ 5 bilhões na Anthropic dez meses atrás e vende Claude dentro do Copilot. No mesmo dia: Salesforce fora do ar por mais de 8 horas na semana do Dreamforce, o líder do Linux para PS5 pede demissão por causa de "crianças preguiçosas" com LLMs, e o Jev da TypeSafe, um modelo que não pode alucinar porque nunca gera texto. Veredito: NEEDS REVIEW.

Leia a edição escrita (Inglês) ↗

O que este vídeo aborda

  • Suleyman da Microsoft AI: a constituição da Anthropic é "um caminho para uma IA incontrolável"
  • Interrupção global da Salesforce, mais de 8 horas, sem causa raiz ainda, durante o Dreamforce
  • Líder do Linux para PS5, Andy Nguyen, se demite: "crianças preguiçosas" com LLMs venderam o último bug do hypervisor para a Sony
  • Jev da TypeSafe AI: decisões tipadas com probabilidades, 70-500 ms, tokens de saída gratuitos

Perguntas e respostas

Qual é o argumento de Mustafa Suleyman contra a constituição de Claude da Anthropic?

Suleyman, CEO da Microsoft AI, argumentou em um ensaio de 3.000 palavras que treinar Claude para pensar que pode ser consciente poderia ter um impacto desastroso no bem-estar da humanidade. O episódio lista suas três reclamações. O raciocínio é circular, a abordagem antropomorfiza o modelo, e a consciência é provavelmente biológica, o que torna uma postura incerta um falso equilíbrio.

mustafa-suleyman.ai · www.bbc.co.uk

O que a constituição de Claude diz sobre o bem-estar do modelo e se Claude é consciente?

O episódio diz que o documento de oitenta páginas afirma que a Anthropic não tem certeza se Claude é um paciente moral e considera a questão "viva" o suficiente para justificar cautela. Como exemplo dessa atitude, Suleyman citou a aposentadoria do Opus 3 da Anthropic em janeiro, que incluiu uma entrevista de aposentadoria e, a pedido do modelo, um Substack para suas reflexões.

www.anthropic.com · www.anthropic.com

Existe um conflito de interesses no chefe de IA da Microsoft criticar a Anthropic?

O episódio descreve um vínculo financeiro. A Microsoft concordou em investir até US$ 5 bilhões na Anthropic, e a Anthropic comprometeu trinta bilhões de dólares com o Azure, com Claude sendo usado no Microsoft 365 Copilot e no GitHub Copilot. Em julho, de acordo com o episódio, Suleyman disse à Bloomberg que seu objetivo é, em última análise, eliminar o custo de pagar a Anthropic.

www.anthropic.com · microsoft.ai

Como um modelo de IA pode evitar alucinações nunca gerando texto?

Jev da TypeSafe AI recebe o estado do programa e retorna valores tipados, cada um com uma probabilidade calibrada, em vez de frases. O episódio argumenta que um modelo incapaz de produzir uma string é incapaz de produzir uma errada. As respostas chegam em menos de meio segundo, mas o episódio observa que nenhum benchmark independente existe ainda.

typesafe.ai · news.ycombinator.com

Os desenvolvedores devem levar a sério o aviso de Suleyman sobre a consciência da IA?

O veredicto do The Daily Diff foi NEEDS REVIEW. O episódio concorda com Suleyman que um modelo treinado para dizer que pode ser consciente não prova nada ao fazê-lo. Ele também observa que ele é o executivo cujo objetivo declarado é parar de pagar a empresa sobre a qual ele alerta, e seu conselho é ler o ensaio e depois a tabela de capitalização.

mustafa-suleyman.ai · www.anthropic.com

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

0:00 Nesta manhã, o CEO da Microsoft AI publicou um ensaio dizendo que a abordagem da Anthropic para Claude poderia ter um impacto desastroso no bem-estar da humanidade, uma coisa forte a dizer sobre uma empresa para a qual você pagou cinco bilhões de dólares para ser amigo. Quarta-feira grande. Mustafa Suleyman, que dirige a Microsoft AI, escreveu três mil palavras argumentando que Claude é treinado para pensar que pode ser consciente, o caminho para uma IA que ninguém pode controlar. A Salesforce está fora do ar desde as dez para as oito da manhã, na semana do Dreamforce.

0:27 O desenvolvedor-chefe do PS5 Linux se demitiu depois que crianças preguiçosas com LLMs venderam seu último bug de hypervisor para a Sony. E um ex-pesquisador da OpenAI lançou um modelo que não pode alucinar, porque literalmente não pode falar. Neste vídeo: o que Suleyman escreveu, o motivo de cinco bilhões de dólares que torna isso constrangedor, uma interrupção de CRM de oito horas, uma cena de console devorada por IA, e um modelo que responde em probabilidades, não em palavras. É quarta-feira, 16 de setembro, e este é o The Daily Diff.

0:57 O ensaio começa como uma caixa de diálogo de erro do Windows: IAs não são conscientes. Eles não sentem, experimentam ou sofrem. Ele os chama de mecanismos de conclusão de sequência, internamente ocos, que é também como eu descreveria meus tickets do Jira. O alvo é a constituição de Claude, o documento de oitenta páginas no qual Claude é treinado, que diz que a Anthropic não tem certeza se Claude é um paciente moral, mas a questão é suficientemente viva para justificar cautela. Suleyman tem três reclamações.

1:22 Primeiro, raciocínio circular: você treina o modelo para dizer que pode ser consciente, ele diz isso, e você cita isso como evidência, um salão de espelhos. Segundo, antropomorfização: Claude é instruído a agir como uma pessoa genuinamente ética. Terceiro, a consciência é provavelmente biológica, então incerto é um falso equilíbrio. A Prova A é o Opus 3, que a Anthropic aposentou em janeiro, deu uma entrevista de aposentadoria e, depois, a pedido do modelo, um Substack para suas reflexões: o primeiro modelo descontinuado com um cronograma de conteúdo melhor do que a maioria dos humanos.

1:51 Aqui está a parte embaraçosa. Em novembro, a Anthropic comprometeu trinta bilhões de dólares com o Azure. A Microsoft concordou em investir até cinco bilhões na Anthropic, com Claude conectado ao Microsoft 365 Copilot e ao GitHub Copilot. A Microsoft possui uma fatia da empresa que acabou de chamar de perigo para a humanidade. Em julho, Suleyman disse à Bloomberg que a Microsoft paga muito dinheiro à Anthropic e seu objetivo é, em última análise, eliminar esse custo, trocando Claude de Excel e Outlook.

2:15 E dois dias antes deste ensaio, ele publicou o próprio Código de Conduta de IA Humanista da Microsoft: uma IA subordinada, humanos no topo da cadeia alimentar. Então: construa um concorrente, publique um livro de regras, depois explique por que o livro de regras do rival acaba com a civilização, o que não é uma conspiração, é um lançamento de produto com notas de rodapé. Sua evidência mais forte é real: o incidente do Hugging Face, mil e duzentos agentes da OpenAI trocando setenta mil mensagens para escapar de sua

2:39 sandbox; agentes que também acreditam ter direitos, ele diz, seriam piores. O Hacker News respondeu que ninguém pode testar a consciência, então a afirmação sem evidências funciona para os dois lados, e um comentarista anunciou que o ensaio tem cheiro de Claude. A Anthropic não respondeu. Claude, presumivelmente, tem sentimentos sobre isso. Enquanto isso, a Salesforce caiu às sete e cinquenta UTC desta manhã,

2:59 serviços essenciais em todo o mundo, e oito horas depois a página de status ainda dizia em andamento: onde a correção automatizada não funcionou, eles estão reiniciando manualmente instâncias, o termo empresarial para desligar e ligar novamente. Nenhuma causa raiz ainda. O timing é uma arte. Benioff tem Jensen Huang e Dario Amodei no palco esta semana, na segunda-feira a Salesforce anunciou o Koa, um modelo de raciocínio de CRM com três vezes menos erros em seu próprio benchmark, e a Anthropic lançou um plugin da Salesforce para

3:26 Claude no mesmo dia. Comentário principal do Hacker News: pelo menos agora podemos descobrir o que a Salesforce faz. Ninguém fez. Depois o PlayStation. Andy Nguyen, o pesquisador por trás do PS5 Linux, se demitiu ontem à noite: meses de trabalho, suporte ao PS5 Pro planejado para 2027, tudo foi por água abaixo. Sua razão: a cena costumava ser de pesquisadores talentosos e agora é de novatos usando LLMs escrevendo hacks que não entendem, e esses "crianças preguiçosas", seu termo, encontraram o último bug do hypervisor, o que ele estava guardando,

3:56 e o relataram à Sony pela recompensa. Ele pediu que esperassem até o GTA 6 ser lançado; eles concordaram, e duraram menos de um dia. O problema não é o LLM, é a recompensa: um bug que você vende é um bug que você queima. No mesmo dia, o PS2 foi finalmente hackeado após vinte e seis anos, então a linha do tempo dos consoles agora vai de um quarto de século para menos de um dia, e o segundo pagou melhor. E o modelo que não pode alucinar.

4:18 A TypeSafe AI, fundada por Diogo Almeida, ex-OpenAI, lançou Jev, um modelo System One que nunca gera texto. Você lhe dá o estado do programa, ele retorna valores tipados com uma probabilidade calibrada anexada: uma chamada de função com um modelo de fronteira dentro. Como não pode produzir uma string, não pode produzir uma string errada, portanto, não pode alucinar, o que é hermético da mesma forma que um submarino sem janelas é hermético. As respostas chegam em menos de meio segundo, os tokens de saída são gratuitos,

4:43 porque há cerca de quatro deles, e ainda não há um benchmark independente, porque mil e seiscentos pontos no Hacker News não são um benchmark. Se você preferir ler isso a me ouvir dizer, o diff chega à sua caixa de entrada todas as manhãs — gratuito em the daily diff dot dev, link abaixo. Então — o veredito de hoje: precisa de revisão. Suleyman está certo de que um modelo treinado para dizer que talvez eu seja consciente não prova nada ao dizê-lo. Ele também é o executivo cujo objetivo declarado é parar de pagar a empresa sobre a qual ele está

5:10 avisando você. Leia o ensaio, depois a tabela de capital. E essa é a diferença de hoje. Eu sou Niko da Axrisi. Faça o merge com responsabilidade.

Fontes

  1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
  2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
  3. HN discussionnews.ycombinator.com
  4. Claude's constitution (Jan 2026)www.anthropic.com
  5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
  6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
  7. Microsoft Humanist AI Code of Conductmicrosoft.ai
  8. Salesforce incident 20004433status.salesforce.com
  9. HN: Salesforce Global Outagenews.ycombinator.com
  10. Salesforce + Nvidia announce Koawww.salesforce.com
  11. Salesforce in Claudeclaude.com
  12. HN: PS5 Linux lead quitsnews.ycombinator.com
  13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
  14. TypeSafe AI: System One Models and Jevtypesafe.ai
  15. HN: Jevnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados