AlphaProof Code och Signal: maskinkontrollerade säkerhetsbevis för maskinkod och betrodda antaganden

Vad den här videon täcker

• AI-agenter producerar kandidatbevis; Leans kärna kontrollerar om de fastställer det mänskligt godkända formella påståendet.
• Det verifierade målet är en specifik kompilerad libsignal CLI-harness, med betrodd semantik och kryptografiska kontrakt.
• Att bevisa den kompilerade binären tar bort Rust-kompilatorn från den betrodda basen för den binärens angivna egenskaper.
• Forskarna rapporterar två isolerade återinföranden av tidigare fixade buggar som bryter mot deras symboliska säkerhetssats.
• Jämföraren kontrollerar satsen och varje beroende definition mot en skyddad godkänd specifikation; ändringar går igenom en separat granskad process.

Översatt transkription

Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.

Vem kontrollerar ett AI-säkerhetsbevis?

0:00 En AI-säkerhetsrevision låter fortfarande som att lita på en chatbot. Googles nya Signalresultat kommer med matematiska bevis som en separat kärna kontrollerar. Vad bevisade Google i den här videon? Och hur hindrar de en agent från att flytta målstolparna? Här är det användbara svaret. Modeller skriver kandidatbevis, och Lean kontrollerar bevisen mot ett mänskligt godkänt påstående om utvald kompilerad kod. Människor äger fortfarande påståendet och antagandena.

0:21 Du kan kontrollera resultatet utan att tro på modellens segertal. En separat kontroll fångar upp tyst ändrade frågor. Vi följer den ner till definitionerna. Det är tisdag den tionde november, och detta är The Daily Diff. AlphaProof Code är Googles ramverk för att skriva programvaruspecifikationer med mänsklig vägledning och generera kontrollerade bevis med AI-agenter. Denna studie riktar sig mot libsignal, Rust-biblioteket som implementerar Signals meddelandeprotokoll, inuti ett specifikt kommandoradsprogram.

0:45 Google tillkännagav arbetet idag. Deras rapport säger att fem forskare arbetade i över fyra veckor. Agenterna skrev bevisen, medan människor lade det mesta av sin ansträngning på specifikationerna. Krav har hittat ett sätt att bli ännu dyrare möten. Specifikationen säger vad programmet måste göra,

Hur blir ett påstående ett bevisobjekt?

0:59 vad en angripare kontrollerar, och vilka antaganden argumentet behöver. Granskare frågar om det fångar den säkerhet människor bryr sig om. Ett vackert kontrollerat svar på en svag fråga lämnar den frågan intakt. Teamet bygger på tidigare forskning om Signals handslag och dess meddelandenyckel- ratchet. Formella analyser har redan studerat dessa designlösningar. Googles påstående kopplar deras säkerhetsargument till en omodifierad produktionsbiblioteks kompilerade implementering, där designen måste överleva kontakt med faktisk kod. Signals tekniska chef, Ehren Kret,

1:27 beskriver en expansion bortom tidigare verifierings mindre omfattningar. Implementeringsdetaljer inkluderar oordnade meddelanden och arkiverade sessioner för fördröjda meddelanden. Verklig programvara behåller kvittona som ditt eleganta diagram kastade bort. Forskarna kompilerar det omodifierade Rust-biblioteket med standardkompilatorn

Varför bevisa den kompilerade binären?

1:41 till en Arm sixty-four Linux körbar fil. Deras satser beskriver den binären med en formell instruktionsmodell, som sträcker sig över klyftan mellan källkod och optimerad maskinkod. Ett kompilatorfel som bryter en angiven egenskap skulle göra dess sats falsk. Kompilatorn lämnar därför den betrodda basen för denna binär. Du litar fortfarande på instruktionsmodellen och Leans kontrollant. Förtroendegränsen flyttades, och den har en adress. Ungefär sex och en halv miljon rader kontrollerat bevis vilar på ungefär tjugosex

2:06 tusen betrodda specifikations- och instruktionssemantikrader. Dessa är artefakträknelser. Att behandla dem som intelligenspoäng är som att rangordna utvecklare efter storleken på deras node_modules-mapp.

Vilka säkerhetsegenskaper överlevde implementeringsgapet?

2:16 Argumenten täcker meddelandekonfidentialitet och autentisering, med forward secrecy och post-compromise security under angivna modeller. Dessa två sista beskriver gränser för skadade stulna nycklar och återhämtning efter nya utbyten. Varje garanti har villkor för angriparen och sessionen. Kryptografiska primitiver ligger bakom betrodda kontrakt. Beviset antar att dessa rutiner fungerar som specificerat och förlitar sig på kryptografiska säkerhetsantaganden. Ett bevis idealiserar kryptografi; det andra resonerar om angriparens framgångssannolikheter.

2:42 Båda har restriktioner för de scenarier de täcker. Fråga vilken build, vilken egenskap, och vilka antaganden. Detta resultat gäller forskarnas kommandorads-harness. Gruppmeddelanden är framtida arbete, och den beräkningsmässiga modellen utesluter fler-enhetstillstånd. Att kalla varje Signal-installation buggfri ligger utanför satsen. Forskarna återinförde två tidigare fixade Signal-buggar i

Kan specifikationen avvisa trasig kod?

3:02 isolerade kopior och kompilerade dem. Kontrollerade bevis visade att dessa binärer bröt mot den symboliska säkerhetssatsen. Det testade om specifikationen kunde avvisa verkliga trasiga implementeringar. Din gröna bock behöver ett rött test. Google publicerar specifikationerna och bevisen med kontrollinstruktioner. Repositoryt säger att en ren build tar timmar och betydande minne. Att läsa tillkännagivandet är betydligt enklare på laptopen. Hårdvarumodellen och betrodda kontrakt behöver fortfarande granskas.

3:26 Jag har inte byggt om den enorma artefakten för detta avsnitt. Vi rapporterar det publicerade resultatet och dess gränser. Utomstående har en väg att inspektera det, vilket betyder mer för mig än ännu ett AI segervarv. Nu fällan.

Kan ett korrekt bevis svara på fel fråga?

3:36 Lean kan acceptera ett korrekt bevis på ett påstående som nästan inte kräver något. Omöjliga antaganden kan göra en sats tom. Att ändra en definition som är begravd under huvudrubriken kan försvaga målet. Rapporten utformar kontroller mot detta. Grindvakten upprätthåller en undanhållen godkänd specifikation som bevisagenter inte kan skriva till. De kan föreslå korrigeringar genom en separat ändringsprocess. Säkerhetsförsvagning eskalerar som en potentiell bugg. Bevisföringens framgångsförklaring har ingen auktoritet här.

4:00 Människor bedömer ändringar av betrodda antaganden, direkt eller genom sin policy, och granskar ändringar efter varje kampanj. Expertbedömningen kvarstår. Agenten kan begära en annan uppgift. Den kan inte ge sig själv ett godkänt betyg.

Vad fångar de rörliga målstolparna?

4:13 Här är den utlovade kontrollen. Leans jämförare jämför satsen och varje definition den beror på med den skyddade godkända kopian. Den kontrollerar också tillåtna axiom och spelar upp beviset i en ny kärna. Att tyst försvaga en hjälpdefinition ändrar därför det som jämförs. Ett accepterat bevis måste fastställa det godkända målet. Det lämnar fortfarande människor ansvariga för att välja ett starkt mål och ärliga antaganden. För ditt eget AI-arbetsflöde, håll acceptanskriterierna utanför

4:37 arbetarens redigeringstillstånd och granska föreslagna ändringar separat. Googles resultat konkretiserar den separationen. Bevisförfattaren gör arbetet; kontrollgränsen avgör om det räknas. Om du hellre läser detta än hör mig säga det, landar diffen i din inkorg varje morgon, gratis på thedailydiff.dev, länk nedan. Så dagens dom är SHIP IT.

Skulle jag implementera detta bevisarbetsflöde?

4:54 Jag skulle godkänna detta arbetsflöde för kontrollerade bevis eftersom det godkända påståendet förblir separat från agenten som producerar svaret. Jag skulle behålla omfattningen och antagandena kopplade till varje resultat. Prenumerera, tryck på klockan, och berätta i kommentarerna om du skulle ha stämplat det annorlunda. Och det var diffen för idag. Jag är Niko från Axrisi. Slå samman ansvarsfullt.

Källor

1. AlphaProof Code: Verifying Signal's Security at the Machine-Code Level — technical scope, trusted base and gatekeepingSwarat Chaudhuri and colleagues / Google DeepMind and Google
2. Introducing AlphaProof Code — November 10 announcement and attributed Signal CTO responsePushmeet Kohli and Swarat Chaudhuri / Google DeepMind
3. Code-verification repository — initial commit, public artifacts and checking instructionsGoogle DeepMind / GitHub
4. The PQXDH Key Agreement Protocol — older official specification and prior-analysis contextEhren Kret and Rolfe Schmidt / Signal
5. The Double Ratchet Algorithm — Triple Ratchet sectionTrevor Perrin, Moxie Marlinspike and Rolfe Schmidt / Signal
6. Google DeepMind leadership — Demis Hassabis's relevant lab identityGoogle DeepMind
7. Demis Hassabis in 2025 — authentic portrait, cropped/resized/compressed and unflipped; no background removal or generated expression/detail; lab identity only, no authorship, proof writing, current reaction or endorsementChristopher P. Michel / Cmichel67 / Wikimedia Commons
8. Portrait licence — CC BY-SA 4.0; attribution, adaptation disclosure and ShareAlikeCreative Commons
9. Expanding Brain template — cropped/captioned artifact-count satire, brief transformed <=2s commentary; no benchmark, hosting licence, legal-clearance or blanket reuse claimImgflip / user-uploaded meme template
10. Tom and Jerry — Boomerang Official actual animated reaction, silent resized/captioned 1.875s excerpt; brief transformed process commentary, no actual researcher or executive reaction, hosting licence, legal-clearance or blanket reuse claimBoomerang Official / GIPHY / Tom and Jerry
11. Boomerang GIF source link — uploader-provided provenanceBoomerang
12. AlphaProof Code discussion — attention context, anonymous opinions excluded from factual proof claimsHacker News
13. Code-verification licence — Apache 2.0 for Google code, third-party licences retainedGoogle / GitHub