AlphaProof Code and Signal: prove di sicurezza del codice macchina verificate e ipotesi attendibili

Contenuto di questo video

• Gli agenti AI producono prove candidate; il kernel di Lean verifica se stabiliscono l'affermazione formale approvata dall'uomo.
• Il target verificato è un particolare harness CLI libsignal compilato, con semantiche e contratti crittografici attendibili.
• La dimostrazione del binario compilato rimuove il compilatore Rust dalla base fidata per le proprietà dichiarate di quel binario.
• I ricercatori riportano due reintroduzioni isolate di bug precedentemente corretti che violano il loro teorema di sicurezza simbolica.
• Il comparatore controlla il teorema e ogni definizione dipendente rispetto a una specifica approvata protetta; le modifiche passano attraverso un processo di revisione separato.

Trascrizione tradotta

Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.

Chi controlla una prova di sicurezza AI?

0:00 Un audit di sicurezza AI suona ancora come fidarsi di un chatbot. Il nuovo risultato di Google su Signal arriva con prove matematiche un kernel separato controlla. In questo video, cosa ha dimostrato Google? E come impediscono a un agente di spostare gli obiettivi? Ecco la risposta utile. I modelli scrivono prove candidate e Lean controlla le prove rispetto a un' affermazione approvata dall'uomo su codice compilato selezionato. Gli umani possiedono ancora l'affermazione e le ipotesi.

0:21 Puoi controllare il risultato senza credere al discorso di vittoria del modello. Un controllo separato rileva il cambiamento silenzioso della domanda. Lo seguiremo fino alle definizioni. È martedì 10 novembre e questo è The Daily Diff. AlphaProof Code è il framework di Google per scrivere specifiche software con guida umana e generare prove verificate con agenti AI. Questo studio ha come obiettivo libsignal, la libreria Rust che implementa il protocollo di messaggistica di Signal, all'interno di un particolare programma da riga di comando.

0:45 Google ha annunciato il lavoro oggi. Il suo articolo afferma che cinque ricercatori hanno lavorato per quattro settimane. Gli agenti hanno scritto le prove, mentre gli umani hanno dedicato la maggior parte dei loro sforzi alle specifiche. I requisiti hanno trovato un modo per diventare ancora più costosi in termini di riunioni. La specifica dice cosa deve fare il programma,

Come un'affermazione diventa un obiettivo di prova?

0:59 cosa controlla un attaccante e quali ipotesi necessita l'argomento. I revisori chiedono se cattura la sicurezza a cui le persone tengono. Una risposta splendidamente verificata a una domanda debole lascia quella domanda intatta. Il team si basa su ricerche precedenti sull'handshake di Signal e sul suo ratchet di chiavi di messaggio. Analisi formali avevano già studiato quei design. L'affermazione di Google collega i loro argomenti di sicurezza a un'implementazione compilata di una libreria di produzione non modificata, dove il design deve sopravvivere al contatto con il codice reale. Il Chief Technology Officer di Signal, Ehren Kret,

1:27 descrive un'espansione oltre gli ambiti più ristretti della verifica precedente. I dettagli dell'implementazione includono messaggi fuori ordine e sessioni archiviate per messaggi ritardati. Il software reale conserva le ricevute che il tuo elegante diagramma ha gettato via. I ricercatori compilano la libreria Rust non modificata con il compilatore standard

Perché dimostrare il binario compilato?

1:41 in un eseguibile Arm 64 Linux. I loro teoremi descrivono quel binario usando un modello formale di istruzioni, raggiungendo il divario tra codice sorgente e codice macchina ottimizzato. Un errore del compilatore che viola una proprietà dichiarata renderebbe falso il suo teorema. Il compilatore quindi lascia la base fidata per questo binario. Ti fidi ancora del modello di istruzioni e del checker di Lean. Il confine di fiducia si è spostato e ha un indirizzo. Circa sei milioni e mezzo di righe di prova verificata si basano su circa ventiseimila

2:06 righe di specifica fidata e semantiche delle istruzioni. Questi sono conteggi di artefatti. Trattarli come punteggi di intelligenza è come classificare gli sviluppatori in base alla dimensione della loro cartella di moduli node.

Quali proprietà di sicurezza sono sopravvissute al divario di implementazione?

2:16 Gli argomenti coprono la riservatezza e l'autenticazione dei messaggi, con segretezza in avanti e sicurezza post-compromissione secondo modelli dichiarati. Questi ultimi due descrivono i limiti sul danno da chiavi rubate e il recupero dopo nuovi scambi. Ogni garanzia ha condizioni sull'attaccante e sulla sessione. Le primitive crittografiche si trovano dietro contratti fidati. La prova assume che quelle routine si comportino come specificato e si basa su ipotesi di sicurezza crittografica. Una prova idealizza la crittografia; l'altra ragiona sulle probabilità di successo dell'attaccante.

2:42 Entrambe hanno restrizioni sugli scenari che coprono. Chiedi quale build, quale proprietà e quali ipotesi. Questo risultato riguarda l'harness da riga di comando dei ricercatori. La messaggistica di gruppo è un lavoro futuro e il modello computazionale esclude lo stato multi-dispositivo. Definire ogni installazione di Signal priva di bug esula dal teorema. I ricercatori hanno reintrodotto due bug di Signal precedentemente corretti in

La specifica può rifiutare codice difettoso?

3:02 copie isolate e li hanno compilati. Le prove verificate hanno mostrato che quei binari violavano il teorema di sicurezza simbolica. Ciò ha testato se la specifica potesse rifiutare implementazioni difettose reali. Il tuo segno di spunta verde necessita di un test rosso. Google pubblica le specifiche e le prove con istruzioni di verifica. Il repository afferma che una build pulita richiede ore e memoria considerevole. Leggere l'annuncio è notevolmente più facile sul laptop. Il modello hardware e i contratti fidati necessitano ancora di revisione.

3:26 Non ho ricostruito l'enorme artefatto per questo episodio. Stiamo riportando il risultato pubblicato e i suoi confini. Gli esterni hanno un percorso per ispezionarlo, il che mi importa più di un'altra vittoria dell'IA. Ora la trappola.

Una prova corretta può rispondere alla domanda sbagliata?

3:36 Lean può accettare una prova corretta di un'affermazione che chiede quasi nulla. Ipotesi impossibili possono rendere un teorema tautologico. Cambiare una definizione sepolta sotto il teorema principale può indebolire l'obiettivo. Il documento progetta controlli contro questo. Il guardiano mantiene una specifica approvata e riservata a cui gli agenti di prova non possono scrivere. Possono proporre correzioni tramite un processo di modifica separato. L'indebolimento della sicurezza viene segnalato come potenziale bug. La dichiarazione di successo del dimostratore non ha alcuna autorità qui.

4:00 Gli umani giudicano i cambiamenti alle ipotesi fidate, direttamente o attraverso la loro politica, e revisionano le modifiche dopo ogni campagna. Il giudizio degli esperti rimane sotto controllo. L'agente può richiedere un incarico diverso. Non può darsi un voto sufficiente.

Cosa blocca gli obiettivi in movimento?

4:13 Ecco il controllo promesso. Il comparatore di Lean confronta il teorema e ogni definizione da cui dipende con quella copia protetta e approvata. Controlla anche gli assiomi consentiti e riproduce la prova in un nuovo kernel. L'indebolimento silenzioso di una definizione ausiliaria cambia quindi ciò che viene confrontato. Una prova accettata deve stabilire il target approvato. Ciò lascia comunque gli umani responsabili di scegliere un target forte e ipotesi oneste. Per il tuo flusso di lavoro AI, mantieni i criteri di accettazione al di fuori delle

4:37 autorizzazioni di modifica del lavoratore e revisiona le modifiche proposte separatamente. Il risultato di Google rende questa separazione concreta. Lo scrittore della prova fa il lavoro; il confine di verifica decide se conta. Se preferisci leggere questo piuttosto che sentirlo dire, The Daily Diff arriva nella tua casella di posta ogni mattina, gratuitamente su thedailydiff.dev, link qui sotto. Quindi il verdetto di oggi è SHIP IT.

Spedirei questo flusso di lavoro di prova?

4:54 Spedirei questo flusso di lavoro di prova verificata perché l'affermazione approvata rimane separata dall'agente che produce la risposta. Manterrei l'ambito e le ipotesi allegate a ogni risultato. Iscriviti, premi la campanella e dimmi nei commenti se l'avresti timbrato diversamente. E questa è la differenza per oggi. Sono Niko di Axrisi. Unire con responsabilità.

Fonti

1. AlphaProof Code: Verifying Signal's Security at the Machine-Code Level — technical scope, trusted base and gatekeepingSwarat Chaudhuri and colleagues / Google DeepMind and Google
2. Introducing AlphaProof Code — November 10 announcement and attributed Signal CTO responsePushmeet Kohli and Swarat Chaudhuri / Google DeepMind
3. Code-verification repository — initial commit, public artifacts and checking instructionsGoogle DeepMind / GitHub
4. The PQXDH Key Agreement Protocol — older official specification and prior-analysis contextEhren Kret and Rolfe Schmidt / Signal
5. The Double Ratchet Algorithm — Triple Ratchet sectionTrevor Perrin, Moxie Marlinspike and Rolfe Schmidt / Signal
6. Google DeepMind leadership — Demis Hassabis's relevant lab identityGoogle DeepMind
7. Demis Hassabis in 2025 — authentic portrait, cropped/resized/compressed and unflipped; no background removal or generated expression/detail; lab identity only, no authorship, proof writing, current reaction or endorsementChristopher P. Michel / Cmichel67 / Wikimedia Commons
8. Portrait licence — CC BY-SA 4.0; attribution, adaptation disclosure and ShareAlikeCreative Commons
9. Expanding Brain template — cropped/captioned artifact-count satire, brief transformed <=2s commentary; no benchmark, hosting licence, legal-clearance or blanket reuse claimImgflip / user-uploaded meme template
10. Tom and Jerry — Boomerang Official actual animated reaction, silent resized/captioned 1.875s excerpt; brief transformed process commentary, no actual researcher or executive reaction, hosting licence, legal-clearance or blanket reuse claimBoomerang Official / GIPHY / Tom and Jerry
11. Boomerang GIF source link — uploader-provided provenanceBoomerang
12. AlphaProof Code discussion — attention context, anonymous opinions excluded from factual proof claimsHacker News
13. Code-verification licence — Apache 2.0 for Google code, third-party licences retainedGoogle / GitHub