A Facebook törölte magát az internetről. Hat óra.

Amit ez a videó tartalmaz

• A Facebook eltávolítja saját címét
• A források: Meta Engineering, Cloudflare, Hacker News
• Ez a The Daily Diff, postmortem
• Idővonal: 15:39 parancs → 15:40 visszavonva → 21:20 vissza
• Mechanizmus: az egészségügyi ellenőrzés, ami töröl, a 30x DNS vihar, az ajtók

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

A Facebook eltávolítja saját címét

0:00 A Facebook eltávolítja saját címét az internetről, és amikor a mérnökei megérkeznek, hogy visszaállítsák, a belépőkártya-olvasók sem működnek, mert azok is a Facebookon futnak. A Meta saját postmortemje, másnap: egy rutin karbantartási parancs leállítja az összes gerinchálózati kapcsolatot, és az ilyen parancsok blokkolására épített eszköz hibás.

A források: Meta Engineering, Cloudflare, Hacker News

0:16 A Cloudflare, kívülről: 15:40 UTC-kor a Facebook névszervereihez vezető útvonalak eltűnnek, és a dig facebook.com SERVFAIL-t ad vissza a bolygó minden pontján. Hogyan történik, miért rontja el egy biztonsági funkció, és kit terhel a felelősség. Ez a The Daily Diff, postmortem. Kora délután, UTC.

Ez a The Daily Diff, postmortem

0:34 Egy parancs, melynek célja a szabad gerinchálózati kapacitás ellenőrzése volt, ehelyett leállítja a Facebook adatközpontjai közötti összes kapcsolatot, és az ellenőrző eszköz, amely pontosan ezt

Idővonal: 15:39 parancs → 15:40 visszavonva → 21:20 vissza

0:41 fogta volna meg, átengedi. 15:40. A Cloudflare BGP-feedje visszavonásokkal telik meg; a Facebook DNS prefixek elhagyják az útválasztási táblázatot. Egy percen belül a Cloudflare mérnökei egy szobában azon tűnődnek, hogy eltörték-e az 1.1.1.1-et. 15:45, Hacker News, huszonhatszáz pont. 16:07, a Facebook szóvivője, épp a Twitteren: néhány embernek problémái vannak az alkalmazásaink elérésével. Néhány ember az három és fél milliárd.

1:06 18:51, a New York Times: dolgozókat kizártak az épületeikből, belépőkártyák halottak. 19:52, a CTO elnézést kér. 21:00, öt óra elteltével, az útvonalak visszatérnek; 21:20, a facebook.com feloldódik. Miért törli ki a Facebookot az internetről egy gerinchálózati hiba?

Mechanizmus: az egészségügyi ellenőrzés, ami töröl, a 30x DNS vihar, az ajtók

1:20 A névszervereinek van egy szabálya: ha nem érik el az adatközpontokat, deklarálják magukat egészségtelennek, állítsák le a címük hirdetését. Ésszerű, ha egy hely meghibásodik. Amikor az egész gerinchálózat elmegy, minden névszerver egyszerre teszi ezt. A szerverek működnek. Senki sem találja meg őket. Egy biztonsági funkció hálózati hibát létezési hibává változtat. Aztán az internet rátelepszik: az alkalmazások újra próbálkoznak, a felhasználók újratöltik,

1:39 és a Cloudflare feloldója a normál terhelés harmincszorosát látja, egy olyan webhely számára, ami nincs is ott. És az ajtók. Eszközök, sávon kívüli hozzáférés, belépőkártyák: ugyanaz a hálózat. A mérnökök elhajtanak az adatközpontokhoz, nem tudnak bejutni, majd találkoznak olyan megerősített szerverekkel, amelyek megakadályoznak bárkit, akinek fizikai hozzáférése van. Arra építve, hogy lassítson egy támadót, a tulajdonost is lassítja. A gerinchálózat visszatér; lassan, szándékosan növelik a forgalmat.

1:59 Minden adatközpont több tíz megawattot ejtett, és ennek egy lépésben történő megfordítása egy második leállást jelent.

git blame — a megosztás

2:05 git blame. Facebook, ötvenöt százalék: a parancsot ellenőrizték, az ellenőr hibás volt, egy parancs minden routert elért. A DNS tervezés, huszonöt: egy arányérzék nélküli egészségügyi ellenőrzés. Egy hálózat, tizenöt: eszközök, sávon kívüli, belépőkártyák. A szerverek, öt, a munkájuk elvégzéséért. Robbanási sugár: három és fél milliárd felhasználó, közel hat óra. A részvény öt százalékot esik, hat milliárd dollárral kevesebb Zuckerbergnek,

Robbanási sugár

2:27 papíron. A Telegram hetvenmillió regisztrációt jelent aznap. Ítélet, postmortem: NEEDS REVIEW. Ugyanezen esti nyilatkozat, névre szóló postmortem egy napon belül, az audit-eszköz hibáját nyíltan beismerték.

Ítélet + a hétfői vonal

2:38 A javítási lista: a tesztelés és a gyakorlatok megerősítése. Semmi arról, hogy az ajtókat leveszik a termelési hálózatról. Hétfő: tedd a sávon kívüli hozzáférésedet és az ajtódat egy olyan hálózatra, amit nem te üzemeltetsz. Küldd el nekem azt az incidenst, amiről még mindig nem beszélhetsz, a kommentekben, vagy a the daily diff dot dev címen. És ez a mai diff. Niko vagyok az Axrisitől.

2:58 SHIP IT.

Források

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com