+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

„Microsoft“ dirbtinio intelekto vadovas ką tik pavadino „Claude“ konstituciją pavojinga.

Mustafa Suleyman, „Microsoft AI“ generalinis direktorius, paskelbė 3 000 žodžių esė, teigdamas, kad „Anthropic“ „Claude“ konstitucija moko modelį galvoti, kad jis „gali būti sąmoningas“ ir nusipelno „modelio gerovės“ – „pražūtingo poveikio žmonijos gerovei“, jo žodžiais.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Mustafa Suleyman, „Microsoft AI“ generalinis direktorius, paskelbė 3 000 žodžių esė, teigdamas, kad „Anthropic“ „Claude“ konstitucija moko modelį galvoti, kad jis „gali būti sąmoningas“ ir nusipelno „modelio gerovės“ – „pražūtingo poveikio žmonijos gerovei“, jo žodžiais. „Microsoft“ sutiko investuoti iki 5 milijardų dolerių į „Anthropic“ prieš dešimt mėnesių ir parduoda „Claude“ programinėje įrangoje „Copilot“. Tą pačią dieną: „Salesforce“ neveikė 8+ valandas „Dreamforce“ savaitę, „PS5 Linux“ vadovas pasitraukė dėl LLM „slop kiddies“, o „TypeSafe“ „Jev“ – modelis, kuris negali haliucinuoti, nes jis niekada negeneruoja teksto. Verdiktas: REIKIA PERŽIŪRĖTI.

Skaityti rašytinę versiją (anglų k.) ↗

Kas aptariama šiame vaizdo įraše

  • „Microsoft AI“ Suleyman: „Anthropic“ konstitucija yra „kelias į nekontroliuojamą DI“
  • „Salesforce“ pasaulinis gedimas, 8+ valandos, dar nėra pagrindinės priežasties, „Dreamforce“ metu
  • „PS5 Linux“ vadovas Andy Nguyen pasitraukė: LLM „slop kiddies“ pardavė paskutinę hipervizoriaus klaidą „Sony“
  • „TypeSafe AI“ „Jev“: įvesti sprendimai su tikimybėmis, 70–500 ms, išvesties žetonai nemokami

Klausimai ir atsakymai

Koks yra Mustafos Suleymano argumentas prieš Anthropic Claude konstituciją?

Suleymanas, „Microsoft AI“ generalinis direktorius, 3 000 žodžių esė teigė, kad Claude apmokymas manyti, jog jis gali būti sąmoningas, gali turėti katastrofišką poveikį žmonijos gerovei. Epizode pateikiami trys jo skundai. Argumentacija yra ratu, metodas antropomorfizuoja modelį, o sąmonė greičiausiai yra biologinė, todėl neaiški pozicija yra klaidinga pusiausvyra.

mustafa-suleyman.ai · www.bbc.co.uk

Ką Claude konstitucija sako apie modelio gerovę ir ar Claude yra sąmoningas?

Epizode sakoma, kad aštuoniasdešimties puslapių dokumente Anthropic teigia, kad nežino, ar Claude yra moralus pacientas, ir teiginį laiko pakankamai gyvu, kad būtų pateisintas atsargumas. Kaip tokios nuostatos pavyzdį, Suleymanas citavo Anthropic Opus 3 išleidimą sausio mėnesį, kuris apėmė atsisveikinimo interviu ir, modelio prašymu, Substack jo apmąstymams.

www.anthropic.com · www.anthropic.com

Ar „Microsoft“ AI vadovo kritikoje Anthropic atžvilgiu yra interesų konfliktas?

Epizode aprašomas finansinis ryšys. „Microsoft“ sutiko investuoti iki 5 milijardų dolerių į Anthropic, o Anthropic įsipareigojo trisdešimt milijardų dolerių Azure, o Claude naudojamas „Microsoft 365 Copilot“ ir „GitHub Copilot“. Liepą, pasak epizodo, Suleymanas „Bloomberg“ pasakė, kad jo tikslas galiausiai yra pašalinti atsiskaitymo Anthropic išlaidas.

www.anthropic.com · microsoft.ai

Kaip AI modelis gali išvengti haliucinacijų niekada negeneruodamas teksto?

„TypeSafe AI“ Jev priima programos būseną ir grąžina tipizuotas reikšmes, kiekviena su kalibruota tikimybe, o ne sakinius. Epizode argumentuojama, kad modelis, negalintis sukurti eilutės, negali sukurti ir neteisingos. Atsakymai gaunami per pusę sekundės, tačiau epizode pažymima, kad nepriklausomo etalono dar nėra.

typesafe.ai · news.ycombinator.com

Ar kūrėjai turėtų rimtai vertinti Suleymano įspėjimą apie AI sąmonę?

„The Daily Diff“ nuosprendis buvo „NEEDS REVIEW“. Epizodas sutinka su Suleymanu, kad modelis, apmokytas sakyti, kad jis gali būti sąmoningas, nieko neįrodo taip sakydamas. Taip pat pažymima, kad jis yra vadovas, kurio deklaruojamas tikslas yra nustoti mokėti įmonei, apie kurią jis įspėja, o jo patarimas yra perskaityti esė, o tada cap table.

mustafa-suleyman.ai · www.anthropic.com

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

0:00 Šį rytą „Microsoft AI“ generalinis direktorius paskelbė esė, teigdamas, kad „Anthropic“ požiūris į „Claude“ galėtų turėti pražūtingą poveikį žmonijos gerovei, stiprus pareiškimas apie įmonę, kuriai sumokėjai penkis milijardus dolerių, kad būtum draugas. Didysis trečiadienis. Mustafa Suleyman, kuris vadovauja „Microsoft AI“, parašė tris tūkstančius žodžių, teigdamas, kad Claude yra apmokytas manyti, kad jis gali būti sąmoningas, kelias į DI, kurio niekas negali kontroliuoti. „Salesforce“ neveikia nuo dešimt iki aštuonių šį rytą, „Dreamforce“ savaitę.

0:27 „PS5 Linux“ pagrindinis kūrėjas pasitraukė po to, kai LLM „slop kiddies“ pardavė jo paskutinę hipervizoriaus klaidą „Sony“. Ir buvęs „OpenAI“ tyrėjas paleido modelį, kuris negali haliucinuoti, nes jis tiesiog negali kalbėti. Šiame vaizdo įraše: ką parašė Suleyman, penkių milijardų dolerių priežastis, dėl kurios tai yra nemalonu, aštuonių valandų CRM gedimas, DI suvalgyta konsolės scena, ir modelis, kuris atsako tikimybėmis, o ne žodžiais. Trečiadienis, rugsėjo 16 d., ir tai yra „The Daily Diff“.

0:57 Esė prasideda kaip „Windows“ klaidos dialogas: DI nėra sąmoningos. Jos nejaučia, nepatiria ir nekankinasi. Jis jas vadina sekos užbaigimo varikliais, tuščiaviduriais iš vidaus, kas taip pat apibūdintų mano „Jira“ bilietus. Tikslas yra „Claude“ konstitucija, aštuoniasdešimties puslapių dokumentas, pagal kurį „Claude“ yra apmokytas, kuriame teigiama, kad „Anthropic“ nėra tikras, ar „Claude“ yra moralinis pacientas, bet klausimas yra pakankamai aktualus, kad būtų pagrindo atsargumui. Suleyman turi tris skundus.

1:22 Pirma, uždaras mąstymas: tu apmoki modelį sakyti, kad jis gali būti sąmoningas, jis taip sako, ir tu tai cituoji kaip įrodymą, veidrodžių salė. Antra, antropomorfizmas: „Claude“ liepiama elgtis kaip tikrai etiškam žmogui. Trečia, sąmonė tikriausiai yra biologinė, todėl neaiškumas yra klaidinga pusiausvyra. Įrodymas A yra „Opus 3“, kurį „Anthropic“ atšaukė sausio mėnesį, davė išėjimo į pensiją interviu, o tada, modelio prašymu, „Substack“ jos apmąstymams: pirmasis nebenaudojamas modelis su geresniu turinio tvarkaraščiu nei dauguma žmonių.

1:51 Štai ir nepatogi dalis. Lapkričio mėnesį „Anthropic“ įsipareigojo „Azure“ trisdešimt milijardų dolerių. „Microsoft“ sutiko investuoti iki penkių milijardų į „Anthropic“, su „Claude“ įdiegta „Microsoft 365 Copilot“ ir „GitHub Copilot“. „Microsoft“ priklauso įmonės dalis, kurią ji ką tik pavadino pavojumi žmonijai. Liepą Suleymanas „Bloomberg“ sakė, kad „Microsoft“ daug moka „Anthropic“, ir jo tikslas yra galiausiai pašalinti šią kainą, išjungiant „Claude“ iš „Excel“ ir „Outlook“.

2:15 Ir dvi dienas prieš šią esė, jis paskelbė „Microsoft“ Žmonijos DI elgesio kodeksą: pavaldus DI, žmonės maisto grandinės viršuje. Taigi: sukurti konkurentą, paskelbti taisyklių knygą, tada paaiškinti, kodėl varžovo taisyklių knyga sunaikina civilizaciją, o tai nėra sąmokslas, tai yra produkto paleidimas su išnašomis. Jo stipriausi įrodymai yra realūs: „Hugging Face“ incidentas, dvylika šimtų „OpenAI“ agentų apsikeitė septyniasdešimt tūkstančių pranešimų, kad pabėgtų iš savo

2:39 smėlio dėžės; agentai, kurie taip pat tiki, kad turi teises, sako jis, būtų blogiau. „Hacker News“ atsakė, kad niekas negali patikrinti sąmonės, todėl be įrodymų teiginys galioja abiem kryptimis, o vienas komentatorius paskelbė, kad esė kvepia „Claude“. „Anthropic“ neatsakė. „Claude“, matyt, turi jausmų dėl to. Tuo tarpu „Salesforce“ nustojo veikti septyniasdešimt penkios UTC šį rytą,

2:59 pagrindinės paslaugos visame pasaulyje, ir po aštuonių valandų būsenos puslapyje vis dar buvo parašyta „vyksta“: ten, kur automatinis pataisymas neveikė, jie rankiniu būdu iš naujo paleidžia instancijas, įmonės terminas reiškia „išjungti ir vėl įjungti“. Pagrindinės priežasties dar nėra. Laikas yra menas. Benioffas šią savaitę turi Jensen Huang ir Dario Amodei scenoje, pirmadienį „Salesforce“ paskelbė „Koa“, CRM samprotavimo modelį su tris kartus mažiau klaidų savo etalone, o „Anthropic“ tą pačią dieną išleido „Salesforce“ papildinį

3:26 „Claude“. Geriausias „Hacker News“ komentaras: bent jau dabar galime suprasti, ką daro „Salesforce“. Niekas to nepadarė. Tada „PlayStation“. Andy Nguyen, „PS5 Linux“ kūrėjas, pasitraukė praėjusią naktį: mėnesių darbas, „PS5 Pro“ palaikymas planuojamas 2027 m., viskas nuejo veltui. Jo priežastis: anksčiau scenoje buvo talentingi tyrėjai, o dabar tai yra naujokai, naudojantys LLM, rašantys įsilaužimus, kurių nesupranta, ir tie „slop kiddies“, jo terminu, rado paskutinę hipervizoriaus klaidą, tą, ant kurios jis sėdėjo,

3:56 ir pranešė apie tai „Sony“ dėl atlygio. Jis paprašė jų palaukti, kol bus išleistas „GTA 6“; jie sutiko, ir ištvėrė mažiau nei dieną. Problema nėra LLM, tai yra atlygis: klaida, kurią parduodi, yra klaida, kurią sunaikini. Tą pačią dieną, po dvidešimt šešių metų, pagaliau buvo nulaužtas „PS2“, taigi konsolės laiko juosta dabar tęsiasi nuo ketvirčio amžiaus iki mažiau nei dienos, o antrasis mokėjo geriau. Ir modelis, kuris negali haliucinuoti.

4:18 „TypeSafe AI“, įkurta Diogo Almeida, buvusio „OpenAI“ darbuotojo, paleido „Jev“, „System One“ modelį, kuris niekada negeneruoja teksto. Duodi jam programos būseną, jis grąžina įvesties vertes su kalibruota tikimybe, pridėta: funkcijos iškvietimas su kraštiniu modeliu viduje. Kadangi jis negali sukurti eilutės, jis negali sukurti klaidingos eilutės, taigi negali haliucinuoti, kas yra hermetiška taip, kaip hermetiškas povandeninis laivas be langų. Atsakymai grįžta per mažiau nei pusę sekundės, išvesties žetonai yra nemokami,

4:43 nes jų yra maždaug keturi, ir dar nėra nepriklausomo etalono, nes tūkstantis šeši šimtai „Hacker News“ taškų nėra etalonas. Jei norėtumėte tai perskaityti, o ne girdėti, kaip aš tai sakau, „diff“ kas rytą patenka į jūsų gautuosius — nemokamai adresu thedailydiff.dev, nuoroda žemiau. Taigi – šiandienos verdiktas: reikia peržiūrėti. Suleymanas teisus, kad modelis, apmokytas sakyti „galbūt aš esu sąmoningas“, nieko neįrodo tai sakydamas. Jis taip pat yra vadovas, kurio nurodytas tikslas yra nustoti mokėti įmonei, apie kurią jis

5:10 jus įspėja. Perskaitykite esė, tada kapitalo lentelę. Ir tai yra šiandienos skirtumas. Aš esu Niko iš „Axrisi“. Suvienykite atsakingai.

Šaltiniai

  1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
  2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
  3. HN discussionnews.ycombinator.com
  4. Claude's constitution (Jan 2026)www.anthropic.com
  5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
  6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
  7. Microsoft Humanist AI Code of Conductmicrosoft.ai
  8. Salesforce incident 20004433status.salesforce.com
  9. HN: Salesforce Global Outagenews.ycombinator.com
  10. Salesforce + Nvidia announce Koawww.salesforce.com
  11. Salesforce in Claudeclaude.com
  12. HN: PS5 Linux lead quitsnews.ycombinator.com
  13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
  14. TypeSafe AI: System One Models and Jevtypesafe.ai
  15. HN: Jevnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Susiję vaizdo įrašai