Facebook kendisini internetten sildi. Altı saat.
Facebook kendi adresini internetten kaldırıyor ve mühendisleri geri yüklemek için geldiğinde, kart okuyucular da çalışmıyor çünkü onlar da Facebook üzerinde çalışıyor.
Facebook kendi adresini internetten kaldırıyor ve mühendisleri geri yüklemek için geldiğinde, kart okuyucular da çalışmıyor çünkü onlar da Facebook üzerinde çalışıyor. 4 Ekim 2021, 15:40 UTC: rutin bir omurga bakım komutu Facebook'un veri merkezleri arasındaki tüm bağlantıları kesiyor; bunu engellemek için oluşturulan denetim aracında bir hata var; veri merkezlerine ulaşamayan Facebook'un isim sunucuları, tasarıma göre kendi BGP rotalarını geri çekiyor — ve facebook.com, Instagram, WhatsApp ve Messenger neredeyse altı saat boyunca DNS'ten kayboluyor. Dahili araçlar, bant dışı erişim ve ofis kartları aynı ağı kullanıyor, bu yüzden düzeltme için raflarda insanlara ihtiyaç var.
Yazılı sürümü oku (İngilizce) ↗
Bu video neleri kapsar
- Facebook kendi adresini kaldırıyor
- Belgeler: Meta Mühendislik, Cloudflare, Hacker News
- Bu The Daily Diff, postmortem
- Zaman çizelgesi: 15:39 komut → 15:40 geri çekildi → 21:20 geri geldi
- Mekanizma: sizi silen sağlık kontrolü, 30 kat DNS fırtınası, kapılar
Sorular ve cevaplar
Ekim 2021'deki Facebook, Instagram ve WhatsApp kesintisine ne sebep oldu?
Rutin bir ana omurga bakım komutu, Facebook'un veri merkezleri arasındaki her bağlantıyı kesti ve bu tür komutları engellemesi gereken denetim aracında bir hata vardı. Meta'nın mühendislik raporuna göre, bu durum veri merkezlerinin birbirleriyle bağlantısını kopardı. 15:40 UTC itibarıyla Cloudflare, Facebook'un isim sunucularına giden rotaların geri çekildiğini gördü ve facebook.com, 21:20'de tekrar çözümlenene kadar SERVFAIL döndürdü.
Facebook'un DNS sunucuları neden kendilerini internetten kaldırdı?
İsim sunucuları, veri merkezlerine ulaşamadıklarında kendi BGP rotalarını geri çekecek şekilde tasarlanmıştı. Bu kural, tek bir site çöktüğünde mantıklıdır. Tüm omurga çöktüğünde, her isim sunucusu aynı anda kendini sağlıksız ilan etti ve adresini duyurmayı durdurdu. Sunucular hala çalışıyordu, ancak kimse onları bulamıyordu.
Facebook mühendisleri kesintiyi neden uzaktan gideremedi?
Dahili araçlar, bant dışı erişim ve ofis kart okuyucularının hepsi çöken aynı ağ üzerinde çalışıyordu. Mühendislerin, rafların fiziksel erişimi olan herkese karşı güçlendirilmiş olduğu veri merkezlerine gitmeleri gerekiyordu. The New York Times, çalışanların 18:51 UTC'de ölü kartlarla binaların dışında kaldığını bildirdi.
Facebook kesintisi internetin geri kalanını nasıl etkiledi?
Uygulamalar yeniden denedi ve kullanıcılar sayfaları yeniden yükledi, bu nedenle Cloudflare'ın çözümleyicisi, ulaşılamayan bir site için normal yükünün otuz katını gördü. Bu olay, neredeyse altı saat boyunca üç buçuk milyar kullanıcının etkilendiğini gösteriyor. Ayrıca, Telegram'ın o gün yetmiş milyon yeni kayıt aldığını bildiriyor.
Facebook'un ölüm sonrası analizi, kesintinin ardındaki temel sorunları giderdi mi?
The Daily Diff'in kararı NEEDS REVIEW idi. Facebook aynı akşam bir açıklama yaptı, bir gün içinde adı belirtilen bir yazarın ölüm sonrası analizini yayınladı ve denetim aracı hatasını açık bir şekilde kabul etti. Düzeltme listesi daha güçlü testlere ve tatbikatlara odaklandı ve üretim ağından kapıları kaldırma hakkında hiçbir şey söylemedi. Bu olay, bant dışı erişimi işletmediğiniz bir ağa koymanızı tavsiye ediyor.
Çevrilmiş deşifre
Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.
Facebook kendi adresini kaldırıyor
0:00 Facebook kendi adresini internetten kaldırıyor ve mühendisleri geri yüklemek için geldiğinde, kart okuyucular da çalışmıyor, çünkü onlar da Facebook üzerinde çalışıyor. Meta'nın kendi postmortem'i, ertesi gün: rutin bir bakım komutu her omurga bağlantısını kesiyor ve bu tür komutları engellemek için oluşturulan araçta bir hata var.
Belgeler: Meta Mühendislik, Cloudflare, Hacker News
0:16 Cloudflare, dışarıdan: 15:40 UTC'de Facebook'un isim sunucularına giden rotalar kayboluyor ve dig facebook.com gezegenin her yerinde SERVFAIL döndürüyor. Nasıl oluyor, neden bir güvenlik özelliği durumu kötüleştiriyor ve kim suçlanıyor? Bu The Daily Diff, postmortem. Öğleden sonra erken, UTC.
Bu The Daily Diff, postmortem
0:34 Boş omurga kapasitesini kontrol etmek için tasarlanmış bir komut bunun yerine her bağlantıyı kesiyor Facebook'un veri merkezleri arasında ve tam da bunu yakalamak için oluşturulan denetim aracı
Zaman çizelgesi: 15:39 komut → 15:40 geri çekildi → 21:20 geri geldi
0:41 bunu onaylıyor. 15:40. Cloudflare'ın BGP akışı geri çekmelerle doluyor; Facebook'un DNS ön ekleri yönlendirme tablosundan çıkıyor. Bir dakika içinde Cloudflare'ın mühendisleri bir odada 1.1.1.1'i mi bozduklarını merak ediyorlar. 15:45, Hacker News, iki bin altı yüz puan. 16:07, Facebook sözcüsü, tüm yerler arasında Twitter'dan: bazı insanlar uygulamalarımıza erişmekte sorun yaşıyor. Bazı insanlar üç buçuk milyar kişi.
1:06 18:51, New York Times: çalışanlar binalarına kilitlenmiş, kartlar ölü. 19:52, CTO özür diliyor. 21:00, beş saat sonra, rotalar geri dönüyor; 21:20, facebook.com çözümleniyor. Neden bir omurga hatası Facebook'u internetten siliyor?
Mekanizma: sizi silen sağlık kontrolü, 30 kat DNS fırtınası, kapılar
1:20 İsim sunucularının bir kuralı var: veri merkezlerine ulaşamıyorlar, kendini sağlıksız ilan et, adresini duyurmayı bırak. Bir site bozulduğunda mantıklı. Tüm omurga çöktüğünde, her isim sunucusu bunu aynı anda yapıyor. Sunucular çalışıyor. Kimse onları bulamıyor. Bir güvenlik özelliği, bir ağ hatasını bir varoluş hatasına dönüştürüyor. Sonra internet üst üste biniyor: uygulamalar yeniden deniyor, kullanıcılar yeniden yüklüyor,
1:39 ve Cloudflare'ın çözümleyicisi normal yükünün otuz katını görüyor, olmayan bir site için. Ve kapılar. Araçlar, bant dışı erişim, kartlar: aynı ağ. Mühendisler veri merkezlerine gidiyor, içeri giremiyor, sonra fiziksel erişimi olan herkese karşı güçlendirilmiş raflarla karşılaşıyorlar. Bir saldırganı yavaşlatmak için yapıldı, sahibini de yavaşlatıyor. Bir saldırganı yavaşlatmak için yapıldı, sahibini de yavaşlatıyor. Omurga geri dönüyor; trafiği yavaş yavaş artırıyorlar, kasten.
1:59 Her veri merkezi on megavat düşürdü ve bunu tek adımda tersine çevirmek ikinci bir kesinti olur.
git blame — ayrılık
2:05 git blame. Facebook, yüzde elli beş: komut denetlendi, denetleyicide hata vardı, bir komut her yönlendiriciye ulaştı. DNS tasarımı, yüzde yirmi beş: orantısız bir sağlık kontrolü. Tek ağ, on beş: araçlar, bant dışı, kartlar. Raflar, beş, işlerini yaptıkları için. Patlama yarıçapı: üç buçuk milyar kullanıcı, yaklaşık altı saat. Hisse senedi yüzde beş düşüşle kapanıyor, Zuckerberg'den altı milyar dolar düşüyor,
Patlama yarıçapı
2:27 kağıt üzerinde. Telegram o gün yetmiş milyon kayıt iddia ediyor. Karar, postmortem: NEEDS REVIEW. Aynı akşam yapılan açıklama, bir gün içinde adı belirtilen yazar postmortem'i, denetim aracı hatası açık İngilizce ile kabul edildi.
Karar + Pazartesi çizgisi
2:38 Düzeltme listesi: test ve tatbikatları güçlendirmek. Kapıları üretim ağından çıkarmak hakkında hiçbir şey yok. Pazartesi: bant dışı erişiminizi ve kapınızı, işletmediğiniz bir ağa koyun. Bana hala konuşmanıza izin verilmeyen olayı gönderin, yorumlar kısmında veya daily diff dot dev adresinden. Ve bugünkü fark bu. Ben Axrisi'den Niko.
2:58 SHIP IT sorumlu bir şekilde birleştirin.
Kaynaklar
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



