Codul și semnalul AlphaProof: dovezi de securitate verificate de cod mașină și ipoteze de încredere

Ce acoperă acest videoclip

• Agenții AI produc dovezi candidate; kernelul lui Lean verifică dacă aceștia stabilesc afirmația formală aprobată de om.
• Ținta verificată este o aplicație CLI libsignal compilată, cu semantică și contracte criptografice de încredere.
• Dovedirea binarelor compilate elimină compilatorul Rust din baza de încredere pentru proprietățile declarate ale acelui binar.
• Cercetătorii raportează două reintroduceri izolate ale unor erori remediate anterior care încalcă teorema lor de securitate simbolică.
• Comparatorul verifică teorema și fiecare definiție dependentă în raport cu o specificație aprobată protejată; modificările trec printr-un proces revizuit separat.

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

Cine verifică o dovadă de securitate AI?

0:00 Un audit de securitate AI încă sună ca și cum ai avea încredere într-un chatbot. Noul rezultat Signal al Google vine cu dovezi matematice un kernel separat verifică. În acest videoclip, ce a dovedit Google? Și cum îi împiedică pe un agent să schimbe obiectivele? Iată răspunsul util. Modelele scriu dovezi candidate, iar Lean verifică dovezile în raport cu o afirmație aprobată de om despre codul compilat selectat. Oamenii dețin în continuare afirmația și ipotezele.

0:21 Puteți verifica rezultatul fără să credeți discursul de victorie al modelului. O verificare separată prinde schimbarea liniștită a întrebării. Vom urma acest lucru până la definiții. Este marți, 10 noiembrie, și acesta este The Daily Diff. AlphaProof Code este cadrul Google pentru scrierea specificațiilor software cu îndrumare umană și generarea de dovezi verificate cu agenți AI. Acest studiu vizează libsignal, biblioteca Rust care implementează protocolul de mesagerie al Signal, într-un anumit program de linie de comandă.

0:45 Google a anunțat lucrarea astăzi. Lucrarea sa spune că cinci cercetători au lucrat timp de patru săptămâni. Agenții au scris dovezile, în timp ce oamenii au dedicat cea mai mare parte a eforturilor lor specificațiilor. Cerințele au găsit o modalitate de a deveni chiar mai scumpe ședințe. Specificația spune ce trebuie să facă programul,

Cum devine o afirmație o țintă de dovadă?

0:59 ce controlează un atacator și ce ipoteze necesită argumentul. Evaluatorii întreabă dacă surprinde securitatea la care le pasă oamenilor. Un răspuns frumos verificat la o întrebare slabă lasă acea întrebare intactă. Echipa se bazează pe cercetări anterioare privind handshake-ul Signal și cheia sa de mesagerie ratchet. Analizele formale au studiat deja aceste modele. Afirmația Google conectează argumentele lor de securitate la o implementare compilată a unei biblioteci de producție nemodificate, unde designul trebuie să supraviețuiască contactului cu codul real. Directorul tehnic al Signal, Ehren Kret,

1:27 descrie o extindere dincolo de scopurile mai mici ale verificării anterioare. Detaliile implementării includ mesaje în afara ordinii și sesiuni arhivate pentru mesaje întârziate. Software-ul real păstrează chitanțele pe care diagrama dvs. elegantă le-a aruncat. Cercetătorii compilează biblioteca Rust nemodificată cu compilatorul standard

De ce să dovedești binarul compilat?

1:41 într-un executabil Arm șaizeci și patru Linux. Teoremele lor descriu acel binar folosind un model formal de instrucțiuni, ajungând peste decalajul dintre codul sursă și codul mașină optimizat. O eroare de compilare care încalcă o proprietate declarată ar face teorema falsă. Compilatorul, prin urmare, părăsește baza de încredere pentru acest binar. Aveți încredere în modelul de instrucțiuni și în verificatorul lui Lean. Limita de încredere s-a mutat și are o adresă. Aproximativ șase milioane și jumătate de linii de dovadă verificată se bazează pe aproximativ douăzeci și șase

2:06 de mii de linii de specificație și semantică de instrucțiuni de încredere. Acestea sunt numărătoare de artefacte. A le trata ca scoruri de inteligență este ca și cum ai clasifica dezvoltatorii după dimensiunea folderului lor de module node.

Ce proprietăți de securitate au supraviețuit decalajului de implementare?

2:16 Argumentele acoperă confidențialitatea și autentificarea mesajelor, cu secretizare directă și securitate post-compromis în cadrul modelelor declarate. Ultimele două descriu limitele privind daunele cheii furate și recuperarea după schimburi proaspete. Fiecare garanție are condiții privind atacatorul și sesiunea. Primitivele criptografice se află în spatele contractelor de încredere. Dovada presupune că acele rutine se comportă conform specificațiilor și se bazează pe ipoteze de securitate criptografică. O dovadă idealizează criptografia; cealaltă raționează despre probabilitățile de succes ale atacatorului.

2:42 Ambele au restricții privind scenariile pe care le acoperă. Întrebați ce construcție, ce proprietate și ce ipoteze. Acest rezultat se referă la aplicația de linie de comandă a cercetătorilor. Mesageria de grup este o lucrare viitoare, iar modelul computațional exclude starea multi-dispozitiv. A numi fiecare instalare Signal fără erori depășește teorema. Cercetătorii au reintrodus două erori Signal remediate anterior în

Poate specificația să respingă codul defect?

3:02 copii izolate și le-au compilat. Dovezile verificate au arătat că acele binare au încălcat teorema de securitate simbolică. Asta a testat dacă specificația putea respinge implementările reale defecte. Bifa dvs. verde are nevoie de un test roșu. Google publică specificațiile și dovezile cu instrucțiuni de verificare. Depozitul spune că o construcție curată durează ore și memorie substanțială. Citirea anunțului este considerabil mai ușoară pe laptop. Modelul hardware și contractele de încredere necesită încă revizuire.

3:26 Nu am reconstruit artefactul enorm pentru acest episod. Raportăm rezultatul publicat și limitele sale. Exterii au o cale de a-l inspecta, ceea ce contează mai mult pentru mine decât o altă tură de victorie a AI. Acum capcana.

Poate o dovadă corectă să răspundă la întrebarea greșită?

3:36 Lean poate accepta o dovadă corectă a unei afirmații care cere aproape nimic. Ipotezele imposibile pot face o teoremă nulă. Modificarea unei definiții îngropate sub teorema principală poate slăbi obiectivul. Lucrarea concepe verificări împotriva acestui lucru. Paznicul păstrează o specificație aprobată, care nu poate fi scrisă de agenții de dovadă. Aceștia pot propune corecții printr-un proces separat de modificare. Slăbirea securității este escaladată ca o posibilă eroare. Declarația de succes a celui care dovedește nu are autoritate aici.

4:00 Oamenii judecă modificările ipotezelor de încredere, direct sau prin politica lor, și revizuiesc modificările după fiecare campanie. Judecata experților rămâne responsabilă. Agentul poate solicita o altă sarcină. Nu își poate acorda singur o notă de trecere.

Ce prinde obiectivele în mișcare?

4:13 Iată verificarea promisă. Comparatorul lui Lean compară teorema și fiecare definiție de care depinde cu această copie aprobată protejată. De asemenea, verifică axiomele permise și reia dovada într-un kernel nou. Slăbirea discretă a unei definiții auxiliare schimbă, prin urmare, lucrul care este comparat. O dovadă acceptată trebuie să stabilească ținta aprobată. Asta îi lasă în continuare pe oameni responsabili pentru alegerea unei ținte puternice și a unor ipoteze oneste. Pentru propriul dvs. flux de lucru AI, păstrați criteriile de acceptare în afara

4:37 permisiunilor de editare ale lucrătorului și revizuiți modificările propuse separat. Rezultatul Google concretizează această separare. Cel care scrie dovada face munca; limita de verificare decide dacă aceasta contează. Dacă preferați să citiți acest lucru decât să mă auziți spunând-o, diff-ul ajunge în căsuța dvs. de e-mail în fiecare dimineață, gratuit la the daily diff dot dev, link mai jos. Deci verdictul de astăzi este SHIP IT.

Aș implementa acest flux de lucru de dovadă?

4:54 Aș implementa acest flux de lucru de dovadă verificată deoarece afirmația aprobată rămâne separată de agentul care produce răspunsul. Aș păstra domeniul de aplicare și ipotezele atașate fiecărui rezultat. Abonați-vă, apăsați clopoțelul și spuneți-mi în comentarii dacă ați fi ștampilat-o diferit. Și asta e diferența pentru astăzi. Sunt Niko de la Axrisi. Îmbinare responsabilă.

Surse

1. AlphaProof Code: Verifying Signal's Security at the Machine-Code Level — technical scope, trusted base and gatekeepingSwarat Chaudhuri and colleagues / Google DeepMind and Google
2. Introducing AlphaProof Code — November 10 announcement and attributed Signal CTO responsePushmeet Kohli and Swarat Chaudhuri / Google DeepMind
3. Code-verification repository — initial commit, public artifacts and checking instructionsGoogle DeepMind / GitHub
4. The PQXDH Key Agreement Protocol — older official specification and prior-analysis contextEhren Kret and Rolfe Schmidt / Signal
5. The Double Ratchet Algorithm — Triple Ratchet sectionTrevor Perrin, Moxie Marlinspike and Rolfe Schmidt / Signal
6. Google DeepMind leadership — Demis Hassabis's relevant lab identityGoogle DeepMind
7. Demis Hassabis in 2025 — authentic portrait, cropped/resized/compressed and unflipped; no background removal or generated expression/detail; lab identity only, no authorship, proof writing, current reaction or endorsementChristopher P. Michel / Cmichel67 / Wikimedia Commons
8. Portrait licence — CC BY-SA 4.0; attribution, adaptation disclosure and ShareAlikeCreative Commons
9. Expanding Brain template — cropped/captioned artifact-count satire, brief transformed <=2s commentary; no benchmark, hosting licence, legal-clearance or blanket reuse claimImgflip / user-uploaded meme template
10. Tom and Jerry — Boomerang Official actual animated reaction, silent resized/captioned 1.875s excerpt; brief transformed process commentary, no actual researcher or executive reaction, hosting licence, legal-clearance or blanket reuse claimBoomerang Official / GIPHY / Tom and Jerry
11. Boomerang GIF source link — uploader-provided provenanceBoomerang
12. AlphaProof Code discussion — attention context, anonymous opinions excluded from factual proof claimsHacker News
13. Code-verification licence — Apache 2.0 for Google code, third-party licences retainedGoogle / GitHub