AlphaProof Code en Signal: gecontroleerde machinecode-beveiligingsbewijzen en vertrouwde aannames

Wat deze video behandelt

• AI-agenten produceren kandidaat-bewijzen; de kernel van Lean controleert of deze de door mensen goedgekeurde formele claim vaststellen.
• Het geverifieerde doel is een specifiek gecompileerd libsignal CLI-harnas, met vertrouwde semantiek en cryptografische contracten.
• Het bewijzen van de gecompileerde binary verwijdert de Rust-compiler uit de vertrouwde basis voor de gestelde eigenschappen van die binary.
• De onderzoekers rapporteren twee geïsoleerde herintroducties van eerder verholpen bugs die hun symbolische beveiligingsstelling schenden.
• De vergelijker controleert de stelling en elke afhankelijke definitie tegen een beschermde goedgekeurde specificatie; wijzigingen doorlopen een afzonderlijk beoordelingsproces.

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Wie controleert een AI-beveiligingsbewijs?

0:00 Een AI-beveiligingsaudit klinkt nog steeds als het vertrouwen van een chatbot. Het nieuwe Signal-resultaat van Google komt met wiskundige bewijzen die een afzonderlijke kernel controleert. Wat heeft Google in deze video bewezen? En hoe voorkomen ze dat een agent de doelpalen verplaatst? Hier is het nuttige antwoord. Modellen schrijven kandidaat-bewijzen, en Lean controleert de bewijzen tegen een door mensen goedgekeurde claim over geselecteerde gecompileerde code. Mensen zijn nog steeds eigenaar van de claim en de aannames.

0:21 Je kunt het resultaat controleren zonder de overwinningstoespraak van het model te geloven. Een afzonderlijke controle voorkomt het stilletjes veranderen van de vraag. We zullen het tot de definities volgen. Het is dinsdag 10 november, en dit is The Daily Diff. AlphaProof Code is Googles raamwerk voor het schrijven van softwarespecificaties met menselijke begeleiding en het genereren van gecontroleerde bewijzen met AI-agenten. Deze studie richt zich op libsignal, de Rust-bibliotheek die het berichtenprotocol van Signal implementeert, binnen een specifiek commandoregelprogramma.

0:45 Google kondigde het werk vandaag aan. De paper zegt dat vijf onderzoekers vier weken hebben gewerkt. Agenten schreven de bewijzen, terwijl mensen het grootste deel van hun inspanningen besteedden aan de specificaties. Vereisten hebben een manier gevonden om nog duurder te worden vergaderingen. De specificatie zegt wat het programma moet doen,

Hoe wordt een claim een bewijsdoel?

0:59 wat een aanvaller controleert en welke aannames het argument nodig heeft. Recensenten vragen zich af of het de beveiliging vangt waar mensen om geven. Een prachtig gecontroleerd antwoord op een zwakke vraag laat die vraag intact. Het team bouwt voort op eerder onderzoek naar de handshake van Signal en de berichtensleutel ratchet. Formele analyses bestudeerden die ontwerpen al. Googles claim verbindt hun beveiligingsargumenten met een ongewijzigde productie gecompileerde implementatie van de bibliotheek, waar het ontwerp contact met werkelijke code moet overleven. De Chief Technology Officer van Signal, Ehren Kret,

1:27 beschrijft een uitbreiding voorbij de kleinere scopes van eerdere verificatie. Implementatiedetails omvatten ongeordende berichten en gearchiveerde sessies voor uitgestelde berichten. Echte software bewaart de bonnen die je elegante diagram weggooide. De onderzoekers compileren de ongewijzigde Rust-bibliotheek met de standaard

Waarom de gecompileerde binary bewijzen?

1:41 compiler tot een Arm zestig-vier Linux uitvoerbaar bestand. Hun stellingen beschrijven die binary met behulp van een formeel instructiemodel, overbruggend de kloof tussen bron- en geoptimaliseerde machinecode. Een compilerfout die een gestelde eigenschap breekt, zou de stelling vals maken. De compiler verlaat daarom de vertrouwde basis voor deze binary. Je vertrouwt nog steeds het instructiemodel en de checker van Lean. De vertrouwensgrens is verplaatst en heeft een adres. Ongeveer zes en een half miljoen regels gecontroleerd bewijs rusten op ongeveer zesentwintig

2:06 duizend vertrouwde specificatie- en instructie-semantiekregels. Dit zijn artefacttellen. Ze behandelen als intelligentiescores is als ontwikkelaars rangschikken op de grootte van hun node_modules-map.

Welke beveiligingseigenschappen overleefden de implementatiekloof?

2:16 De argumenten omvatten berichtvertrouwelijkheid en -authenticatie, met forward secrecy en post-compromise beveiliging onder gestelde modellen. Die laatste twee beschrijven de grenzen aan schade door gestolen sleutels en herstel na verse uitwisselingen. Elke garantie heeft voorwaarden voor de aanvaller en sessie. Cryptografische primitieven bevinden zich achter vertrouwde contracten. Het bewijs gaat ervan uit dat die routines zich gedragen zoals gespecificeerd en is gebaseerd op cryptografische beveiligingsaannames. Het ene bewijs idealiseert cryptografie; het andere redeneert over aanvaller succeswaarschijnlijkheden.

2:42 Beide hebben beperkingen op de scenario's die ze dekken. Vraag welke build, welke eigenschap en welke aannames. Dit resultaat betreft het commandoregelharnas van de onderzoekers. Groepsberichten is toekomstig werk, en het computationele model sluit multi-apparaatstatus uit. Elke Signal-installatie als bugvrij bestempelen, dwaalt buiten de stelling. De onderzoekers introduceerden twee eerder verholpen Signal-bugs opnieuw in

Kan de specificatie gebroken code afwijzen?

3:02 geïsoleerde kopieën en compileerden ze. Gecontroleerde bewijzen toonden aan dat die binaries de symbolische beveiligingsstelling schonden. Dat testte of de specificatie daadwerkelijk kapotte implementaties kon afwijzen. Je groene vinkje heeft een rode test nodig. Google publiceert de specificaties en bewijzen met controle-instructies. De repository zegt dat een schone build uren en aanzienlijk geheugen kost. Het lezen van de aankondiging is aanzienlijk eenvoudiger op de laptop. Het hardwaremodel en de vertrouwde contracten moeten nog worden beoordeeld.

3:26 Ik heb het enorme artefact voor deze aflevering niet opnieuw opgebouwd. We rapporteren het gepubliceerde resultaat en de grenzen ervan. Buitenstaanders hebben een weg om het te inspecteren, wat voor mij belangrijker is dan nog een AI overwinning. Nu de valkuil.

Kan een correct bewijs de verkeerde vraag beantwoorden?

3:36 Lean kan een correct bewijs accepteren van een stelling die bijna niets vraagt. Onmogelijke aannames kunnen een stelling inhoudsloos maken. Het wijzigen van een definitie die begraven ligt onder de hoofdregel kan het doel verzwakken. De paper ontwerpt controles hiertegen. De poortwachter bewaart een goedgekeurde specificatie waarnaar bewijsagenten niet kunnen schrijven. Ze kunnen correcties voorstellen via een afzonderlijk wijzigingsproces. Beveiligingsverzwakking wordt geëscaleerd als een potentiële bug. De succesverklaring van de bewijzer heeft hier geen autoriteit.

4:00 Mensen beoordelen wijzigingen in vertrouwde aannames, direct of via hun beleid, en beoordelen wijzigingen na elke campagne. Deskundig oordeel blijft verantwoordelijk. De agent kan een andere opdracht aanvragen. Het kan zichzelf geen voldoende geven.

Wat vangt de bewegende doelpalen op?

4:13 Hier is de beloofde controle. Lean's vergelijker vergelijkt de stelling en elke definitie waarvan deze afhangt met die beschermde goedgekeurde kopie. Het controleert ook toegestane axioma's en speelt het bewijs opnieuw af in een verse kernel. Het stilletjes verzwakken van een hulpdefinitie verandert daarom het ding dat wordt vergeleken. Een geaccepteerd bewijs moet het goedgekeurde doel vaststellen. Dat laat mensen nog steeds verantwoordelijk voor het kiezen van een sterk doel en eerlijke aannames. Houd voor je eigen AI-workflow de acceptatiecriteria buiten de

4:37 bewerkingsrechten van de werknemer en beoordeel voorgestelde wijzigingen afzonderlijk. Googles resultaat maakt die scheiding concreet. De bewijsschrijver doet het werk; de controle grens bepaalt of het telt. Als je dit liever leest dan mij het hoort zeggen, landt de diff elke ochtend in je inbox, gratis op thedailydiff.dev, link hieronder. Dus het oordeel van vandaag is SHIP IT.

Zou ik deze bewijsworkflow verzenden?

4:54 Ik zou deze gecontroleerde-bewijsworkflow verzenden omdat de goedgekeurde claim gescheiden blijft van de agent die het antwoord produceert. Ik zou de reikwijdte en aannames aan elk resultaat gekoppeld houden. Abonneer, druk op de bel, en vertel me in de reacties of je het anders zou hebben gestempeld. En dat is de diff voor vandaag. Ik ben Niko van Axrisi. Voeg verantwoordelijk samen.

Bronnen

1. AlphaProof Code: Verifying Signal's Security at the Machine-Code Level — technical scope, trusted base and gatekeepingSwarat Chaudhuri and colleagues / Google DeepMind and Google
2. Introducing AlphaProof Code — November 10 announcement and attributed Signal CTO responsePushmeet Kohli and Swarat Chaudhuri / Google DeepMind
3. Code-verification repository — initial commit, public artifacts and checking instructionsGoogle DeepMind / GitHub
4. The PQXDH Key Agreement Protocol — older official specification and prior-analysis contextEhren Kret and Rolfe Schmidt / Signal
5. The Double Ratchet Algorithm — Triple Ratchet sectionTrevor Perrin, Moxie Marlinspike and Rolfe Schmidt / Signal
6. Google DeepMind leadership — Demis Hassabis's relevant lab identityGoogle DeepMind
7. Demis Hassabis in 2025 — authentic portrait, cropped/resized/compressed and unflipped; no background removal or generated expression/detail; lab identity only, no authorship, proof writing, current reaction or endorsementChristopher P. Michel / Cmichel67 / Wikimedia Commons
8. Portrait licence — CC BY-SA 4.0; attribution, adaptation disclosure and ShareAlikeCreative Commons
9. Expanding Brain template — cropped/captioned artifact-count satire, brief transformed <=2s commentary; no benchmark, hosting licence, legal-clearance or blanket reuse claimImgflip / user-uploaded meme template
10. Tom and Jerry — Boomerang Official actual animated reaction, silent resized/captioned 1.875s excerpt; brief transformed process commentary, no actual researcher or executive reaction, hosting licence, legal-clearance or blanket reuse claimBoomerang Official / GIPHY / Tom and Jerry
11. Boomerang GIF source link — uploader-provided provenanceBoomerang
12. AlphaProof Code discussion — attention context, anonymous opinions excluded from factual proof claimsHacker News
13. Code-verification licence — Apache 2.0 for Google code, third-party licences retainedGoogle / GitHub