AlphaProof Code and Signal: pārbaudīti mašīnkoda drošības pierādījumi un uzticami pieņēmumi

Ko aptver šis video

• AI aģenti sagatavo pierādījumu kandidātus; Lean kodols pārbauda, vai tie apstiprina cilvēka apstiprināto formālo prasību.
• Verificētais mērķis ir konkrēts kompilēts libsignal CLI rīks ar uzticamu semantiku un kriptogrāfiskiem līgumiem.
• Binārā koda kompilēšana noņem Rust kompilatoru no uzticamās bāzes šī binārā koda norādītajām īpašībām.
• Pētnieki ziņo par divām izolētām iepriekš izlabotu kļūdu atkārtotām ieviešanām, kas pārkāpj viņu simbolisko drošības teorēmu.
• Salīdzinātājs pārbauda teorēmu un katru atkarīgo definīciju pret aizsargātu, apstiprinātu specifikāciju; grozījumi tiek veikti atsevišķā pārskatītā procesā.

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

Kurš pārbauda AI drošības pierādījumu?

0:00 AI drošības audits joprojām izklausās kā uzticēšanās tērzēšanas robotam. Google jaunais Signal rezultāts nāk ar matemātiskiem pierādījumiem atsevišķu kodolu pārbauda. Šajā video, ko Google pierādīja? Un kā viņi aptur aģentu, kurš maina mērķus? Šeit ir noderīga atbilde. Modeļi raksta pierādījumu kandidātus, un Lean pārbauda pierādījumus pret cilvēka apstiprinātu prasību par izvēlētu kompilētu kodu. Cilvēkiem joprojām pieder prasība un pieņēmumi.

0:21 Jūs varat pārbaudīt rezultātu, neticot modeļa uzvaras runai. Atsevišķa pārbaude noķer jautājuma klusu maiņu. Mēs sekosim tai līdz definīcijām. Ir otrdiena, desmitais novembris, un šis ir The Daily Diff. AlphaProof Code ir Google ietvars programmatūras specifikāciju rakstīšanai ar cilvēka vadību un pārbaudītu pierādījumu ģenerēšanai ar AI aģentiem. Šis pētījums mērķē uz libsignal, Rust bibliotēku, kas īsteno Signal ziņojumapmaiņas protokolu, konkrētā komandrindas programmā.

0:45 Google šodien paziņoja par darbu. Viņu rakstā teikts, ka pieci pētnieki strādāja četras nedēļas. Aģenti rakstīja pierādījumus, savukārt cilvēki lielāko daļu savu pūļu veltīja specifikācijām. Prasības ir atradušas veidu, kā kļūt vēl dārgākām sanāksmēm. Specifikācija nosaka, kas programmai jādara,

Kā prasība kļūst par pierādījuma mērķi?

0:59 ko kontrolē uzbrucējs un kādi pieņēmumi ir nepieciešami argumentam. Recenzenti jautā, vai tā aptver drošību, par kuru cilvēki rūpējas. Skaisti pārbaudīta atbilde uz vāju jautājumu atstāj šo jautājumu neskartu. Komanda balstās uz agrākiem pētījumiem par Signal sasveicināšanos un tā ziņojuma atslēgu sprūdratu. Formālās analīzes jau pētīja šos dizainus. Google apgalvojums savieno viņu drošības argumentus ar nemodificētas ražošanas bibliotēkas kompilētu ieviešanu, kur dizainam jāpārvar saskarsme ar faktisko kodu. Signal tehniskais direktors Ehrens Krets,

1:27 apraksta paplašināšanos ārpus agrākās verifikācijas mazākām darbības jomām. Ieviešanas detaļas ietver ziņojumus ārpus secības un arhivētas sesijas kavētiem ziņojumiem. Reāla programmatūra saglabā kvītis, ko jūsu elegantā diagramma izmeta. Pētnieki kompilē nemodificēto Rust bibliotēku ar standarta

Kāpēc pārbaudīt kompilēto bināro failu?

1:41 kompilatoru Arm sešdesmit četru Linux izpildāmajā failā. Viņu teorēmas apraksta šo bināro failu, izmantojot formālu instrukciju modeli, pārvarot plaisu starp avota un optimizētu mašīnkodu. Kompilatora kļūda, kas sabojā norādītu īpašību, padarītu tās teorēmu viltus. Tāpēc kompilators atstāj uzticamo bāzi šim binārajam failam. Jūs joprojām uzticaties instrukciju modelim un Lean pārbaudītājam. Uzticamības robeža pārvietojās, un tai ir adrese. Aptuveni seši ar pusi miljoni pārbaudītu pierādījumu rindu balstās uz aptuveni divdesmit sešiem

2:06 tūkstošiem uzticamu specifikāciju un instrukciju semantikas rindu. Šie ir artefaktu skaiti. Apskatīt tos kā inteliģences rādītājus ir kā rangot izstrādātājus pēc viņu mezglu moduļu mapes lieluma.

Kuras drošības īpašības saglabājās pēc ieviešanas atšķirības?

2:16 Argumenti aptver ziņojumu konfidencialitāti un autentifikāciju, ar virziena slepenību un pēckompromisa drošību saskaņā ar norādītajiem modeļiem. Šie divi pēdējie apraksta nozagto atslēgu bojājumu robežas un atjaunošanu pēc jaunas apmaiņas. Katrai garantijai ir nosacījumi attiecībā uz uzbrucēju un sesiju. Kriptogrāfiskie primitīvi atrodas aiz uzticamiem līgumiem. Pierādījums pieņem, ka šīs rutīnas darbojas, kā norādīts, un paļaujas uz kriptogrāfiskajiem drošības pieņēmumiem. Viens pierādījums idealizē kriptogrāfiju; otrs pamatojas uz uzbrucēja veiksmes varbūtībām.

2:42 Abiem ir ierobežojumi attiecībā uz scenārijiem, ko tie aptver. Jautājiet, kura versija, kura īpašība un kādi pieņēmumi. Šis rezultāts attiecas uz pētnieku komandrindas rīku. Grupu ziņojumapmaiņa ir nākotnes darbs, un skaitļošanas modelis izslēdz vairāku ierīču stāvokli. Uzskatīt katru Signal instalāciju par bezkļūdu klīst ārpus teorēmas. Pētnieki atkārtoti ieviesa divas iepriekš izlabotas Signal kļūdas

Vai specifikācija var noraidīt bojātu kodu?

3:02 izolētās kopijās un tās kompilēja. Pārbaudītie pierādījumi parādīja, ka šie binārie faili pārkāpj simbolisko drošības teorēmu. Tas pārbaudīja, vai specifikācija varētu noraidīt reālas bojātas ieviešanas. Jūsu zaļajai atzīmei ir nepieciešams sarkans tests. Google publicē specifikācijas un pierādījumus ar pārbaudes instrukcijām. Repozitorijā teikts, ka tīra būvēšana aizņem stundas un ievērojamu atmiņu. Paziņojuma lasīšana ir ievērojami vieglāka klēpjdatorā. Aparatūras modelis un uzticamie līgumi joprojām ir jāpārskata.

3:26 Es neesmu pārbūvējis milzīgo artefaktu šai epizodei. Mēs ziņojam par publicēto rezultātu un tā robežām. Ārējām personām ir iespēja to pārbaudīt, kas man ir svarīgāk nekā vēl viena AI uzvaras aplis. Tagad lamatas.

Vai pareizs pierādījums var atbildēt uz nepareizu jautājumu?

3:36 Lean var pieņemt pareizu pierādījumu apgalvojumam, kas prasa gandrīz neko. Neiespējami pieņēmumi var padarīt teorēmu bezjēdzīgu. Definīcijas maiņa, kas atrodas zem virsraksta teorēmas, var vājināt mērķi. Raksts paredz šādus pārbaudījumus. Vārtu sargs glabā apstiprinātu specifikāciju, kurā pierādījumu aģenti nevar rakstīt. Viņi var ierosināt labojumus, izmantojot atsevišķu grozījumu procesu. Drošības vājināšanās tiek eskalēta kā potenciāla kļūda. Pierādītāja deklarācijai par panākumiem šeit nav autoritātes.

4:00 Cilvēki izlemj par uzticamo pieņēmumu izmaiņām, tieši vai ar savas politikas starpniecību, un pārskata grozījumus pēc katras kampaņas. Ekspertu spriedums paliek atbildīgs. Aģents var pieprasīt citu uzdevumu. Tas nevar dot sev sekmīgu atzīmi.

Kas noķer mainīgos mērķus?

4:13 Šeit ir solītā pārbaude. Lean salīdzinātājs salīdzina teorēmu un katru definīciju, no kuras tā ir atkarīga, ar to aizsargāto apstiprināto kopiju. Tas arī pārbauda atļautos aksiomas un atkārto pierādījumu jaunā kodolā. Tāpēc palīgdefinīcijas klusa vājināšana maina salīdzināmo lietu. Pieņemtam pierādījumam ir jāapstiprina apstiprinātais mērķis. Tas joprojām atstāj cilvēkus atbildīgus par spēcīga mērķa un godīgu pieņēmumu izvēli. Jūsu pašu AI darba plūsmā saglabājiet pieņemšanas kritērijus ārpus

4:37 darbinieka rediģēšanas atļaujām un atsevišķi pārskatiet ierosinātās izmaiņas. Google rezultāts padara šo atdalīšanu konkrētu. Pierādījumu autors veic darbu; pārbaudes robeža nosaka, vai tas tiek ņemts vērā. Ja jūs labāk to lasītu, nekā dzirdētu mani sakām, atšķirība nonāk jūsu iesūtnē katru rītu, bez maksas vietnē the daily diff dot dev, saite zemāk. Tātad šodienas spriedums ir SŪTIET TO.

Vai es izmantotu šo pierādījuma darba plūsmu?

4:54 Es izmantotu šo pārbaudīto pierādījumu darba plūsmu, jo apstiprinātā prasība paliek atsevišķi no aģenta, kas sniedz atbildi. Es saglabātu darbības jomu un pieņēmumus pie katra rezultāta. Abonējiet, nospiediet zvaniņu un komentāros pastāstiet, vai jūs būtu to apzīmogojis citādi. Un tas ir šodienas atšķirība. Esmu Niko no Axrisi. Apvienojiet atbildīgi.

Avoti

1. AlphaProof Code: Verifying Signal's Security at the Machine-Code Level — technical scope, trusted base and gatekeepingSwarat Chaudhuri and colleagues / Google DeepMind and Google
2. Introducing AlphaProof Code — November 10 announcement and attributed Signal CTO responsePushmeet Kohli and Swarat Chaudhuri / Google DeepMind
3. Code-verification repository — initial commit, public artifacts and checking instructionsGoogle DeepMind / GitHub
4. The PQXDH Key Agreement Protocol — older official specification and prior-analysis contextEhren Kret and Rolfe Schmidt / Signal
5. The Double Ratchet Algorithm — Triple Ratchet sectionTrevor Perrin, Moxie Marlinspike and Rolfe Schmidt / Signal
6. Google DeepMind leadership — Demis Hassabis's relevant lab identityGoogle DeepMind
7. Demis Hassabis in 2025 — authentic portrait, cropped/resized/compressed and unflipped; no background removal or generated expression/detail; lab identity only, no authorship, proof writing, current reaction or endorsementChristopher P. Michel / Cmichel67 / Wikimedia Commons
8. Portrait licence — CC BY-SA 4.0; attribution, adaptation disclosure and ShareAlikeCreative Commons
9. Expanding Brain template — cropped/captioned artifact-count satire, brief transformed <=2s commentary; no benchmark, hosting licence, legal-clearance or blanket reuse claimImgflip / user-uploaded meme template
10. Tom and Jerry — Boomerang Official actual animated reaction, silent resized/captioned 1.875s excerpt; brief transformed process commentary, no actual researcher or executive reaction, hosting licence, legal-clearance or blanket reuse claimBoomerang Official / GIPHY / Tom and Jerry
11. Boomerang GIF source link — uploader-provided provenanceBoomerang
12. AlphaProof Code discussion — attention context, anonymous opinions excluded from factual proof claimsHacker News
13. Code-verification licence — Apache 2.0 for Google code, third-party licences retainedGoogle / GitHub