AlphaProof Code dhe Signal: prova të kontrolluara të sigurisë së kodit të makinerisë dhe supozime të besuara

Çfarë mbulon kjo video

• Agjentët e AI prodhojnë prova kandidate; thelbi i Lean kontrollon nëse ato vendosin pretendimin formal të miratuar nga njerëzit.
• Objektivi i verifikuar është një pajisje e veçantë CLI e përpiluar e libsignal, me semantikë të besueshme dhe kontrata kriptografike.
• Provimi i binarit të përpiluar heq përpiluesin Rust nga baza e besuar për vetitë e deklaruara të atij binari.
• Studiuesit raportojnë dy ri-futje të izoluara të gabimeve të rregulluara më parë që shkelin teoremën e tyre simbolike të sigurisë.
• Krahasuesi kontrollon teoremën dhe çdo përkufizim të varur kundrejt një specifikimi të mbrojtur të miratuar; ndryshimet kalojnë nëpër një proces të rishikuar të veçantë.

Transkript i përkthyer

Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.

Kush kontrollon një provë sigurie të AI?

0:00 Një auditim sigurie i AI ende tingëllon si besim tek një chatbot. Rezultati i ri i Signal i Google vjen me prova matematikore, një thelb i veçantë i kontrollon. Në këtë video, çfarë provoi Google? Dhe si e ndalojnë ata një agjent të lëvizë objektivin? Ja përgjigjja e dobishme. Modelet shkruajnë prova kandidate, dhe Lean kontrollon provat kundrejt një pretendimi të miratuar nga njerëzit rreth kodit të zgjedhur të përpiluar. Njerëzit ende zotërojnë pretendimin dhe supozimet.

0:21 Mund ta kontrolloni rezultatin pa besuar fjalimin e fitores së modelit. Një kontroll i veçantë kap ndryshimin e qetë të pyetjes. Do ta ndjekim deri tek përkufizimet. Është e martë, dhjetë nëntori, dhe kjo është The Daily Diff. AlphaProof Code është korniza e Google për shkrimin e specifikimeve të softuerit me udhëzime njerëzore dhe gjenerimin e provave të kontrolluara me agjentë AI. Ky studim synon libsignal, librarinë Rust që zbaton protokollin e mesazheve të Signal, brenda një programi të veçantë të rreshtit të komandave.

0:45 Google njoftoi punën sot. Letra e tij thotë se pesë studiues punuan për katër javë. Agjentët shkruan provat, ndërsa njerëzit shpenzuan pjesën më të madhe të përpjekjeve të tyre në specifikimet. Kërkesat kanë gjetur një mënyrë për t'u bërë takime edhe më të kushtueshme. Specifikimi thotë se çfarë duhet të bëjë programi,

Si bëhet një pretendim objektiv prove?

0:59 çfarë kontrollon një sulmues, dhe cilat supozime ka nevojë argumenti. Rishikuesit pyesin nëse ai kap sigurinë për të cilën njerëzit kujdesen. Një përgjigje e kontrolluar bukur për një pyetje të dobët e lë atë pyetje të paprekur. Ekipi bazohet në kërkime të mëparshme mbi shtrëngimin e duarve të Signal dhe shkallëzimin e çelësave të mesazheve. Analizat formale tashmë i studionin ato dizajne. Pretendimi i Google lidh argumentet e tyre të sigurisë me një zbatim të përpiluar të një librarie prodhimi të pa modifikuar, ku dizajni duhet t'i mbijetojë kontaktit me kodin aktual. Shefi i teknologjisë i Signal, Ehren Kret,

1:27 përshkruan një zgjerim përtej fushave më të vogla të verifikimit të mëparshëm. Detajet e zbatimit përfshijnë mesazhe jashtë rendit dhe sesione të arkivuara për mesazhe të vonuara. Softueri real mban faturat që diagrami juaj elegant i hodhi larg. Studiuesit përpilojnë librarinë Rust të pa modifikuar me përpiluesin standard

Pse të provosh binarin e përpiluar?

1:41 në një ekzekutues Arm sixty-four Linux. Teoremat e tyre e përshkruajnë atë binar duke përdorur një model instruksioni formal, duke kapërcyer boshllëkun midis kodit burimor dhe kodit makinerik të optimizuar. Një gabim i përpiluesit që thyen një pronë të deklaruar do ta bënte teoremën e tij të gabuar. Përpiluesi pra lë bazën e besuar për këtë binar. Ende besoni modelin e instruksionit dhe kontrolluesin e Lean. Kufiri i besimit u zhvendos, dhe ka një adresë. Rreth gjashtë milionë e gjysmë rreshta provë të kontrolluar bazohen në afërsisht njëzet e gjashtë

2:06 mijë rreshta specifikimesh dhe semantikash instruksionesh të besuara. Këto janë numërimet e artefakteve. Trajtimi i tyre si rezultate inteligjence është si të rendisësh zhvilluesit sipas madhësisë së dosjes së moduleve të tyre të nyjeve.

Cilat veti sigurie i mbijetuan boshllëkut të zbatimit?

2:16 Argumentet mbulojnë konfidencialitetin dhe autentifikimin e mesazheve, me sekret të përparuar dhe siguri pas komprometimit sipas modeleve të deklaruara. Këto dy të fundit përshkruajnë kufizimet në dëmtimin e çelësit të vjedhur dhe rikuperimin pas shkëmbimeve të freskëta. Çdo garanci ka kushte mbi sulmuesin dhe sesionin. Primitivat kriptografike qëndrojnë pas kontratave të besuara. Prova supozon se ato rutina sillen siç specifikohet dhe bazohet në supozimet e sigurisë kriptografike. Një provë idealizon kriptografinë; arsyeja tjetër ka të bëjë me probabilitetet e suksesit të sulmuesit.

2:42 Të dyja kanë kufizime në skenarët që mbulojnë. Pyesni se cili ndërtim, cila pronë, dhe cilat supozime. Ky rezultat ka të bëjë me pajisjen e rreshtit të komandave të studiuesve. Mesazhet në grup janë punë e ardhshme, dhe modeli llogaritës përjashton gjendjen multi-pajisje. Thirrja e çdo instalimi të Signal pa gabime shkon jashtë teoremës. Studiuesit ri-futën dy gabime të Signal të rregulluara më parë në

A mundet specifikimi të refuzojë kodin e gabuar?

3:02 kopje të izoluara dhe i përpiluan. Provat e kontrolluara treguan se ato binarë shkelnin teoremën simbolike të sigurisë. Kjo testoi nëse specifikimi mund të refuzonte zbatime reale të gabuara. Shenja juaj e gjelbër ka nevojë për një test të kuq. Google publikon specifikimet dhe provat me udhëzime kontrolli. Depoja thotë se një ndërtim i pastër merr orë dhe memorie të konsiderueshme. Leximi i njoftimit është dukshëm më i lehtë në laptop. Modeli i harduerit dhe kontratat e besuara ende kanë nevojë për rishikim.

3:26 Nuk e kam rindërtuar artefaktin e madh për këtë episod. Ne po raportojmë rezultatin e publikuar dhe kufijtë e tij. Të huajt kanë një rrugë për ta inspektuar, gjë që më intereson më shumë sesa një raund tjetër fitoreje të AI. Tani kurthi.

A mundet një provë e saktë të përgjigjet në pyetjen e gabuar?

3:36 Lean mund të pranojë një provë të saktë të një deklarate që nuk kërkon pothuajse asgjë. Supozimet e pamundura mund ta bëjnë një teoremë boshe. Ndryshimi i një përkufizimi të varrosur poshtë teoremës kryesore mund të dobësojë objektivin. Letra dizajnon kontrolle kundër kësaj. Roja mban një specifikim të miratuar të mbajtur jashtë të cilit agjentët e provës nuk mund t'i shkruajnë. Ata mund të propozojnë korrigjime nëpërmjet një procesi të veçantë amendimi. Dobësimi i sigurisë escalohet si një gabim potencial. Deklarata e suksesit e provuesit nuk ka autoritet këtu.

4:00 Njerëzit gjykojnë ndryshimet në supozimet e besuara, drejtpërdrejt ose nëpërmjet politikës së tyre, dhe rishikojnë amendamentet pas çdo fushate. Gjykimi i ekspertëve mbetet në grep. Agjenti mund të kërkojë një detyrë tjetër. Nuk mund t'i japë vetes një notë kaluese.

Çfarë kap objektivin në lëvizje?

4:13 Ja kontrolli i premtuar. Krahasuesi i Lean krahason teoremën dhe çdo përkufizim nga i cili varet ajo me atë kopje të mbrojtur të miratuar. Ai gjithashtu kontrollon aksiomat e lejuara dhe ri-luan provën në një thelb të freskët. Dobësimi i qetë i një përkufizimi ndihmës pra ndryshon gjënë që po krahasohet. Një provë e pranuar duhet të vendosë objektivin e miratuar. Kjo ende i lë njerëzit përgjegjës për zgjedhjen e një objektivi të fortë dhe supozimeve të sinqerta. Për fluksin tuaj të punës të AI, mbani kriteret e pranimit jashtë lejeve të redaktimit të punëtorit

4:37 dhe rishikoni ndryshimet e propozuara veçmas. Rezultati i Google e bën atë ndarje konkrete. Shkruesi i provës bën punën; kufiri i kontrollit vendos nëse ajo numërohet. Nëse preferoni ta lexoni këtë sesa të më dëgjoni duke e thënë, diff-i arrin në kutinë tuaj hyrëse çdo mëngjes, falas në daily diff dot dev, lidhja më poshtë. Pra, vendimi i sotëm është SHIP IT.

A do ta dërgoja këtë fluks pune të provës?

4:54 Unë do ta dërgoja këtë fluks pune të provave të kontrolluara sepse pretendimi i miratuar mbetet i ndarë nga agjenti që prodhon përgjigjen. Do t'i mbaja fushëveprimin dhe supozimet të bashkangjitura çdo rezultati. Abonohuni, shtypni zilen, dhe më tregoni në komente nëse do ta kishit vulosur ndryshe. Dhe ky është diff-i për sot. Unë jam Niko nga Axrisi. Bashkohuni me përgjegjësi.

Burimet

1. AlphaProof Code: Verifying Signal's Security at the Machine-Code Level — technical scope, trusted base and gatekeepingSwarat Chaudhuri and colleagues / Google DeepMind and Google
2. Introducing AlphaProof Code — November 10 announcement and attributed Signal CTO responsePushmeet Kohli and Swarat Chaudhuri / Google DeepMind
3. Code-verification repository — initial commit, public artifacts and checking instructionsGoogle DeepMind / GitHub
4. The PQXDH Key Agreement Protocol — older official specification and prior-analysis contextEhren Kret and Rolfe Schmidt / Signal
5. The Double Ratchet Algorithm — Triple Ratchet sectionTrevor Perrin, Moxie Marlinspike and Rolfe Schmidt / Signal
6. Google DeepMind leadership — Demis Hassabis's relevant lab identityGoogle DeepMind
7. Demis Hassabis in 2025 — authentic portrait, cropped/resized/compressed and unflipped; no background removal or generated expression/detail; lab identity only, no authorship, proof writing, current reaction or endorsementChristopher P. Michel / Cmichel67 / Wikimedia Commons
8. Portrait licence — CC BY-SA 4.0; attribution, adaptation disclosure and ShareAlikeCreative Commons
9. Expanding Brain template — cropped/captioned artifact-count satire, brief transformed <=2s commentary; no benchmark, hosting licence, legal-clearance or blanket reuse claimImgflip / user-uploaded meme template
10. Tom and Jerry — Boomerang Official actual animated reaction, silent resized/captioned 1.875s excerpt; brief transformed process commentary, no actual researcher or executive reaction, hosting licence, legal-clearance or blanket reuse claimBoomerang Official / GIPHY / Tom and Jerry
11. Boomerang GIF source link — uploader-provided provenanceBoomerang
12. AlphaProof Code discussion — attention context, anonymous opinions excluded from factual proof claimsHacker News
13. Code-verification licence — Apache 2.0 for Google code, third-party licences retainedGoogle / GitHub