AlphaProof kod i signal: provjereni sigurnosni dokazi strojnog koda i povjerljive pretpostavke

Šta ovaj video pokriva

• AI agenti proizvode kandidatske dokaze; Leanova jezgra provjerava jesu li oni uspostavili formalnu tvrdnju odobrenu od strane ljudi.
• Provjerena meta je određena kompilacija libsignal CLI sučelja, s pouzdanom semantikom i kriptografskim ugovorima.
• Dokazivanje kompiliranog binarnog koda uklanja Rust kompajler iz pouzdane baze za navedena svojstva tog binarnog koda.
• Istraživači izvještavaju o dva izolirana ponovna uvođenja prethodno ispravljenih bugova koji krše njihov simbolički sigurnosni teorem.
• Komparator provjerava teorem i svaku ovisnu definiciju u odnosu na zaštićenu odobrenu specifikaciju; izmjene prolaze kroz zaseban postupak pregleda.

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Tko provjerava AI sigurnosni dokaz?

0:00 Sigurnosna revizija AI-ja i dalje zvuči kao povjerenje chatbotu. Googleov novi Signal rezultat dolazi s matematičkim dokazima koje zasebna jezgra provjerava. U ovom videu, što je Google dokazao? I kako zaustavljaju agenta da pomiče ciljeve? Evo korisnog odgovora. Modeli pišu kandidatske dokaze, a Lean provjerava dokaze u odnosu na tvrdnju o odabranom kompiliranom kodu koju su odobrili ljudi. Ljudi i dalje posjeduju tvrdnju i pretpostavke.

0:21 Rezultat možete provjeriti bez vjerovanja u pobjednički govor modela. Zasebna provjera hvata tiho mijenjanje pitanja. Pratit ćemo to do definicija. Utorak je, deseti studeni, i ovo je The Daily Diff. AlphaProof Code je Googleov okvir za pisanje softverskih specifikacija uz ljudsko vodstvo i generiranje provjerenih dokaza s AI agentima. Ova studija cilja libsignal, Rust biblioteku koja implementira Signalov protokol za razmjenu poruka, unutar određenog programa komandne linije.

0:45 Google je danas najavio rad. U njihovom radu piše da je pet istraživača radilo preko četiri tjedna. Agenti su pisali dokaze, dok su ljudi većinu svog truda posvetili specifikacijama. Zahtjevi su pronašli način da postanu još skuplji sastanci. Specifikacija kaže što program mora učiniti,

Kako tvrdnja postaje meta dokazivanja?

0:59 što napadač kontrolira i koje su pretpostavke potrebne za argument. Recenzenti pitaju je li to uhvatilo sigurnost do koje je ljudima stalo. Lijepo provjeren odgovor na slabo pitanje ostavlja to pitanje netaknutim. Tim se nadograđuje na ranija istraživanja Signalovog rukovanja i njegovog ključa za poruke ratchet. Formalne analize već su proučavale te dizajne. Googleova tvrdnja povezuje njihove sigurnosne argumente s neizmijenjenom proizvodnom kompiliranom implementacijom biblioteke, gdje dizajn mora preživjeti kontakt sa stvarnim kodom. Signalov glavni tehnološki direktor, Ehren Kret,

1:27 opisuje proširenje izvan manjih opsega ranije provjere. Detalji implementacije uključuju neuređene poruke i arhivirane sesije za odgođene poruke. Stvarni softver čuva potvrde koje je vaš elegantan dijagram odbacio. Istraživači kompiliraju neizmijenjenu Rust biblioteku sa standardnim

Zašto dokazivati kompilirani binarni kod?

1:41 kompilatorom u Arm šezdesetčetverobitni Linux izvršni kod. Njihovi teoremi opisuju taj binarni kod koristeći formalni model instrukcija, premošćujući jaz između izvornog i optimiziranog strojnog koda. Pogreška kompajlera koja krši navedeno svojstvo učinila bi njegov teorem netočnim. Kompajler stoga napušta pouzdanu bazu za ovaj binarni kod. I dalje vjerujete modelu instrukcija i Leanovom provjeravaču. Granica povjerenja se pomaknula i ima adresu. Oko šest i pol milijuna redaka provjerenog dokaza počiva na otprilike dvadeset i šest

2:06 tisuća pouzdanih redaka specifikacije i semantike instrukcija. To su brojevi artefakata. Tretirati ih kao rezultate inteligencije je kao rangirati programere prema veličini njihove mape node_modules.

Koja su sigurnosna svojstva preživjela jaz u implementaciji?

2:16 Argumenti pokrivaju povjerljivost i autentičnost poruka, s naprijed tajnošću i sigurnošću nakon kompromitacije prema navedenim modelima. Ova posljednja dva opisuju ograničenja štete od ukradenog ključa i oporavak nakon svježih razmjena. Svaka garancija ima uvjete za napadača i sesiju. Kriptografske primitive stoje iza pouzdanih ugovora. Dokaz pretpostavlja da te rutine funkcioniraju kako je navedeno i oslanja se na kriptografske sigurnosne pretpostavke. Jedan dokaz idealizira kriptografiju; drugi razmišlja o vjerojatnostima uspjeha napadača.

2:42 Oba imaju ograničenja na scenarije koje pokrivaju. Pitaj koji build, koje svojstvo i koje pretpostavke. Ovaj rezultat se tiče radnog okvira istraživača za komandnu liniju. Grupno slanje poruka je budući rad, a računski model isključuje stanje više uređaja. Tvrdnja da je svaka Signal instalacija bez grešaka izlazi izvan teorema. Istraživači su ponovno uveli dva prethodno ispravljena Signal buga u

Može li specifikacija odbiti neispravan kod?

3:02 izolirane kopije i kompilirali ih. Provjereni dokazi pokazali su da ti binarni kodovi krše simbolički sigurnosni teorem. To je testiralo može li specifikacija odbaciti stvarne neispravne implementacije. Vaša zelena kvačica treba crveni test. Google objavljuje specifikacije i dokaze s uputama za provjeru. Repozitorij kaže da čista izgradnja traje satima i zahtijeva značajnu memoriju. Čitanje najave je znatno lakše na laptopu. Hardverski model i pouzdani ugovori i dalje trebaju pregled.

3:26 Nisam ponovno izgradio ogroman artefakt za ovu epizodu. Izvještavamo o objavljenom rezultatu i njegovim granicama. Vanjski ljudi imaju put da ga pregledaju, što mi je važnije od još jednog AI pobjedničkog kruga. Sada zamka.

Može li točan dokaz odgovoriti na pogrešno pitanje?

3:36 Lean može prihvatiti točan dokaz izjave koja traži gotovo ništa. Nemoguće pretpostavke mogu učiniti teorem praznim. Mijenjanje definicije skrivene ispod naslovnog teorema može oslabiti cilj. Rad se bavi provjerama protiv toga. Čuvar čuva odobrenu specifikaciju kojoj agenti za dokazivanje ne mogu pisati. Oni mogu predložiti ispravke kroz zaseban postupak izmjena. Sigurnosno slabljenje se eskalira kao potencijalni bug. Izjava o uspjehu dokazivača ovdje nema autoritet.

4:00 Ljudi ocjenjuju promjene povjerljivih pretpostavki, izravno ili putem svoje politike, i pregledavaju izmjene nakon svake kampanje. Stručno mišljenje ostaje odgovorno. Agent može zatražiti drugačiji zadatak. Ne može sam sebi dati prolaznu ocjenu.

Što hvata pokretne ciljeve?

4:13 Evo obećane provjere. Leanov komparator uspoređuje teorem i svaku definiciju o kojoj ovisi s zaštićenom odobrenom kopijom. Također provjerava dopuštene aksiome i ponavlja dokaz u novoj jezgri. Tiho slabljenje pomoćne definicije stoga mijenja stvar koja se uspoređuje. Prihvaćen dokaz mora uspostaviti odobrenu metu. To još uvijek ostavlja ljude odgovornima za odabir snažne mete i poštenih pretpostavki. Za vlastiti tijek rada s umjetnom inteligencijom, kriterije prihvaćanja držite izvan

4:37 dozvole za uređivanje radnika i zasebno pregledajte predložene promjene. Googleov rezultat tu razliku čini konkretnom. Pisac dokaza radi posao; granica provjere odlučuje hoće li se to računati. Ako biste radije pročitali ovo nego da me čujete kako to govorim, razlike stižu u vašu pristiglu poštu svako jutro, besplatno na the daily diff dot dev, link dolje. Dakle, današnja presuda je SHIP IT.

Bih li isporučio ovaj tijek rada dokazivanja?

4:54 Poslao bih ovaj provjereni tijek rada dokaza jer odobrena tvrdnja ostaje odvojena od agenta koji proizvodi odgovor. Držao bih opseg i pretpostavke priložene svakom rezultatu. Pretplatite se, pritisnite zvonce i recite mi u komentarima biste li to drugačije žigosali. I to je razlika za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

1. AlphaProof Code: Verifying Signal's Security at the Machine-Code Level — technical scope, trusted base and gatekeepingSwarat Chaudhuri and colleagues / Google DeepMind and Google
2. Introducing AlphaProof Code — November 10 announcement and attributed Signal CTO responsePushmeet Kohli and Swarat Chaudhuri / Google DeepMind
3. Code-verification repository — initial commit, public artifacts and checking instructionsGoogle DeepMind / GitHub
4. The PQXDH Key Agreement Protocol — older official specification and prior-analysis contextEhren Kret and Rolfe Schmidt / Signal
5. The Double Ratchet Algorithm — Triple Ratchet sectionTrevor Perrin, Moxie Marlinspike and Rolfe Schmidt / Signal
6. Google DeepMind leadership — Demis Hassabis's relevant lab identityGoogle DeepMind
7. Demis Hassabis in 2025 — authentic portrait, cropped/resized/compressed and unflipped; no background removal or generated expression/detail; lab identity only, no authorship, proof writing, current reaction or endorsementChristopher P. Michel / Cmichel67 / Wikimedia Commons
8. Portrait licence — CC BY-SA 4.0; attribution, adaptation disclosure and ShareAlikeCreative Commons
9. Expanding Brain template — cropped/captioned artifact-count satire, brief transformed <=2s commentary; no benchmark, hosting licence, legal-clearance or blanket reuse claimImgflip / user-uploaded meme template
10. Tom and Jerry — Boomerang Official actual animated reaction, silent resized/captioned 1.875s excerpt; brief transformed process commentary, no actual researcher or executive reaction, hosting licence, legal-clearance or blanket reuse claimBoomerang Official / GIPHY / Tom and Jerry
11. Boomerang GIF source link — uploader-provided provenanceBoomerang
12. AlphaProof Code discussion — attention context, anonymous opinions excluded from factual proof claimsHacker News
13. Code-verification licence — Apache 2.0 for Google code, third-party licences retainedGoogle / GitHub