+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

A Facebook törölte magát az internetről. Hat óra.

A Facebook eltávolítja saját címét az internetről, és amikor a mérnökök megérkeznek, hogy visszaállítsák, a belépőkártya-olvasók sem működnek, mert azok is a Facebookon futnak.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

A Facebook eltávolítja saját címét az internetről, és amikor a mérnökök megérkeznek, hogy visszaállítsák, a belépőkártya-olvasók sem működnek, mert azok is a Facebookon futnak. 2021. október 4., 15:40 UTC: egy rutin gerinchálózati karbantartási parancs leállítja a Facebook adatközpontjai közötti összes kapcsolatot; az ellenőrző eszköz, amelyet ennek megakadályozására építettek, hibás; a Facebook névszerverei, mivel nem érik el az adatközpontokat, szándékosan visszavonják saját BGP útvonalaikat – és a facebook.com, Instagram, WhatsApp és Messenger közel hat órára eltűnik a DNS-ből. A belső eszközök, a sávon kívüli hozzáférés és az irodai belépőkártyák ugyanazon a hálózaton működnek, így a javításhoz emberekre van szükség a szervereknél.

Olvassa el az írott kiadást (angolul) ↗

Amit ez a videó tartalmaz

  • A Facebook eltávolítja saját címét
  • A források: Meta Engineering, Cloudflare, Hacker News
  • Ez a The Daily Diff, postmortem
  • Idővonal: 15:39 parancs → 15:40 visszavonva → 21:20 vissza
  • Mechanizmus: az egészségügyi ellenőrzés, ami töröl, a 30x DNS vihar, az ajtók

Kérdések és válaszok

Mi okozta a 2021. októberi Facebook, Instagram és WhatsApp leállást?

Egy rutin karbantartási parancs leállította a Facebook adatközpontjai közötti összes kapcsolatot, és az ilyen parancsok blokkolására szolgáló audit eszköz hibás volt. A Meta mérnöki beszámolója szerint ez elválasztotta egymástól az adatközpontokat. 15:40 UTC-kor a Cloudflare látta, hogy a Facebook névszervereihez vezető útvonalakat visszavonták, és a facebook.com SERVFAIL hibát adott, amíg 21:20-kor újra fel nem oldódott.

Nézze meg ezt a részt 0:40 · engineering.fb.com · blog.cloudflare.com

Miért távolították el magukat a Facebook DNS szerverei az internetről?

A névszervereket úgy tervezték, hogy visszavonják saját BGP útvonalaikat, ha nem érik el az adatközpontokat. Ez a szabály ésszerű, ha egy oldal meghibásodik. Amikor a teljes gerinchálózat meghibásodott, minden névszerver egyszerre nyilvánította magát egészségtelennek, és leállította címeinek hirdetését. A szerverek továbbra is futottak, de senki sem találta őket.

Nézze meg ezt a részt 1:20 · engineering.fb.com · blog.cloudflare.com

Miért nem tudták a Facebook mérnökei távolról kijavítani a leállást?

A belső eszközök, a sávon kívüli hozzáférés és az irodai belépőkártya-olvasók mind ugyanazon a hálózaton futottak, amely meghibásodott. A mérnököknek el kellett menniük az adatközpontokba, ahol a szerverszekrények megerősítettek voltak minden fizikai hozzáféréssel szemben. A New York Times jelentése szerint az alkalmazottak 18:51 UTC-kor zárva voltak az épületekből, halott belépőkártyákkal.

Nézze meg ezt a részt 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Hogyan befolyásolta a Facebook leállása az internet többi részét?

Az alkalmazások újrapróbálták, a felhasználók újratöltöttek, így a Cloudflare feloldója a normális terhelés harmincszorosát látta egy elérhetetlen webhely esetében. Az eset három és fél milliárd felhasználót érintett közel hat órán keresztül. Azt is jelentik, hogy a Telegram hetvenmillió regisztrációt jelentett azon a napon.

Nézze meg ezt a részt 2:25 · blog.cloudflare.com · www.reuters.com

A Facebook utólagos elemzése megoldotta-e a leállás mögötti alapvető problémákat?

A The Daily Diff ítélete NEEDS REVIEW volt. A Facebook még aznap este kiadott egy nyilatkozatot, egy napon belül közzétett egy neves szerző által írt utólagos elemzést, és világosan beismerte az audit eszköz hibáját. A javítási listája az erősebb tesztelésre és gyakorlatokra összpontosított, és semmit sem mondott arról, hogy eltávolítanák az ajtókat a gyártási hálózatról. Az epizód azt tanácsolja, hogy a sávon kívüli hozzáférést olyan hálózaton helyezze el, amelyet nem Ön üzemeltet.

Nézze meg ezt a részt 2:38 · engineering.fb.com · engineering.fb.com

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

A Facebook eltávolítja saját címét

0:00 A Facebook eltávolítja saját címét az internetről, és amikor a mérnökei megérkeznek, hogy visszaállítsák, a belépőkártya-olvasók sem működnek, mert azok is a Facebookon futnak. A Meta saját postmortemje, másnap: egy rutin karbantartási parancs leállítja az összes gerinchálózati kapcsolatot, és az ilyen parancsok blokkolására épített eszköz hibás.

A források: Meta Engineering, Cloudflare, Hacker News

0:16 A Cloudflare, kívülről: 15:40 UTC-kor a Facebook névszervereihez vezető útvonalak eltűnnek, és a dig facebook.com SERVFAIL-t ad vissza a bolygó minden pontján. Hogyan történik, miért rontja el egy biztonsági funkció, és kit terhel a felelősség. Ez a The Daily Diff, postmortem. Kora délután, UTC.

Ez a The Daily Diff, postmortem

0:34 Egy parancs, melynek célja a szabad gerinchálózati kapacitás ellenőrzése volt, ehelyett leállítja a Facebook adatközpontjai közötti összes kapcsolatot, és az ellenőrző eszköz, amely pontosan ezt

Idővonal: 15:39 parancs → 15:40 visszavonva → 21:20 vissza

0:41 fogta volna meg, átengedi. 15:40. A Cloudflare BGP-feedje visszavonásokkal telik meg; a Facebook DNS prefixek elhagyják az útválasztási táblázatot. Egy percen belül a Cloudflare mérnökei egy szobában azon tűnődnek, hogy eltörték-e az 1.1.1.1-et. 15:45, Hacker News, huszonhatszáz pont. 16:07, a Facebook szóvivője, épp a Twitteren: néhány embernek problémái vannak az alkalmazásaink elérésével. Néhány ember az három és fél milliárd.

1:06 18:51, a New York Times: dolgozókat kizártak az épületeikből, belépőkártyák halottak. 19:52, a CTO elnézést kér. 21:00, öt óra elteltével, az útvonalak visszatérnek; 21:20, a facebook.com feloldódik. Miért törli ki a Facebookot az internetről egy gerinchálózati hiba?

Mechanizmus: az egészségügyi ellenőrzés, ami töröl, a 30x DNS vihar, az ajtók

1:20 A névszervereinek van egy szabálya: ha nem érik el az adatközpontokat, deklarálják magukat egészségtelennek, állítsák le a címük hirdetését. Ésszerű, ha egy hely meghibásodik. Amikor az egész gerinchálózat elmegy, minden névszerver egyszerre teszi ezt. A szerverek működnek. Senki sem találja meg őket. Egy biztonsági funkció hálózati hibát létezési hibává változtat. Aztán az internet rátelepszik: az alkalmazások újra próbálkoznak, a felhasználók újratöltik,

1:39 és a Cloudflare feloldója a normál terhelés harmincszorosát látja, egy olyan webhely számára, ami nincs is ott. És az ajtók. Eszközök, sávon kívüli hozzáférés, belépőkártyák: ugyanaz a hálózat. A mérnökök elhajtanak az adatközpontokhoz, nem tudnak bejutni, majd találkoznak olyan megerősített szerverekkel, amelyek megakadályoznak bárkit, akinek fizikai hozzáférése van. Arra építve, hogy lassítson egy támadót, a tulajdonost is lassítja. A gerinchálózat visszatér; lassan, szándékosan növelik a forgalmat.

1:59 Minden adatközpont több tíz megawattot ejtett, és ennek egy lépésben történő megfordítása egy második leállást jelent.

git blame — a megosztás

2:05 git blame. Facebook, ötvenöt százalék: a parancsot ellenőrizték, az ellenőr hibás volt, egy parancs minden routert elért. A DNS tervezés, huszonöt: egy arányérzék nélküli egészségügyi ellenőrzés. Egy hálózat, tizenöt: eszközök, sávon kívüli, belépőkártyák. A szerverek, öt, a munkájuk elvégzéséért. Robbanási sugár: három és fél milliárd felhasználó, közel hat óra. A részvény öt százalékot esik, hat milliárd dollárral kevesebb Zuckerbergnek,

Robbanási sugár

2:27 papíron. A Telegram hetvenmillió regisztrációt jelent aznap. Ítélet, postmortem: NEEDS REVIEW. Ugyanezen esti nyilatkozat, névre szóló postmortem egy napon belül, az audit-eszköz hibáját nyíltan beismerték.

Ítélet + a hétfői vonal

2:38 A javítási lista: a tesztelés és a gyakorlatok megerősítése. Semmi arról, hogy az ajtókat leveszik a termelési hálózatról. Hétfő: tedd a sávon kívüli hozzáférésedet és az ajtódat egy olyan hálózatra, amit nem te üzemeltetsz. Küldd el nekem azt az incidenst, amiről még mindig nem beszélhetsz, a kommentekben, vagy a the daily diff dot dev címen. És ez a mai diff. Niko vagyok az Axrisitől.

2:58 SHIP IT.

Források

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Kapcsolódó videók