Το Facebook διέγραψε τον εαυτό του από το διαδίκτυο. Έξι ώρες.

Τι καλύπτει αυτό το βίντεο

• Το Facebook αφαιρεί τη δική του διεύθυνση
• Οι αποδείξεις: Meta Engineering, Cloudflare, Hacker News
• Αυτό είναι το The Daily Diff, μεταθανάτια ανάλυση
• Χρονοδιάγραμμα: 15:39 εντολή → 15:40 απόσυρση → 21:20 επιστροφή
• Μηχανισμός: ο έλεγχος υγείας που σε διαγράφει, η 30× καταιγίδα DNS, οι πόρτες

Μεταφρασμένη μεταγραφή

Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.

Το Facebook αφαιρεί τη δική του διεύθυνση

0:00 Το Facebook αφαιρεί τη δική του διεύθυνση από το διαδίκτυο, και όταν οι μηχανικοί του φτάνουν για να την επαναφέρουν, οι αναγνώστες σημάτων είναι επίσης εκτός λειτουργίας, επειδή λειτουργούν στο Facebook. Η μεταθανάτια ανάλυση της Meta, την επόμενη μέρα: μια συνήθης εντολή συντήρησης ανατρέπει κάθε σύνδεση δικτύου, και το εργαλείο που δημιουργήθηκε για να μπλοκάρει τέτοιες εντολές έχει ένα σφάλμα.

Οι αποδείξεις: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, από έξω: στις 15:40 UTC οι διαδρομές προς τους εξυπηρετητές ονομάτων του Facebook εξαφανίζονται, και το dig facebook.com επιστρέφει SERVFAIL παντού στον πλανήτη. Πώς συμβαίνει, γιατί ένα χαρακτηριστικό ασφαλείας το κάνει χειρότερο, και ποιος φταίει. Αυτό είναι το The Daily Diff, μεταθανάτια ανάλυση. Νωρίς το απόγευμα, UTC.

Αυτό είναι το The Daily Diff, μεταθανάτια ανάλυση

0:34 Μια εντολή που προοριζόταν για τον έλεγχο της ελεύθερης χωρητικότητας δικτύου, αντ' αυτού απενεργοποιεί κάθε σύνδεση μεταξύ των κέντρων δεδομένων του Facebook, και το εργαλείο ελέγχου που δημιουργήθηκε για να εντοπίζει ακριβώς αυτό

Χρονοδιάγραμμα: 15:39 εντολή → 15:40 απόσυρση → 21:20 επιστροφή

0:41 το επιτρέπει. 15:40. Η ροή BGP του Cloudflare γεμίζει με αποσύρσεις. Τα προθέματα DNS του Facebook αφήνουν τον πίνακα δρομολόγησης. Μέσα σε ένα λεπτό οι μηχανικοί του Cloudflare βρίσκονται σε ένα δωμάτιο αναρωτώμενοι αν χάλασαν το 1.1.1.1. 15:45, Hacker News, δύο χιλιάδες εξακόσια σημεία. 16:07, ο εκπρόσωπος του Facebook, στο Twitter από όλα τα μέρη: κάποιοι άνθρωποι έχουν πρόβλημα πρόσβασης στις εφαρμογές μας. Κάποιοι άνθρωποι είναι τρία και μισό δισεκατομμύρια.

1:06 18:51, οι New York Times: εργαζόμενοι κλειδωμένοι έξω από τα κτίριά τους, σήματα νεκρά. 19:52, ο CTO ζητάει συγγνώμη. 21:00, πέντε ώρες μετά, οι διαδρομές επιστρέφουν. 21:20, το facebook.com αναλύεται. Γιατί μια βλάβη στο δίκτυο διαγράφει το Facebook από το διαδίκτυο;

Μηχανισμός: ο έλεγχος υγείας που σε διαγράφει, η 30× καταιγίδα DNS, οι πόρτες

1:20 Οι εξυπηρετητές ονομάτων του έχουν έναν κανόνα: δεν μπορούν να φτάσουν στα κέντρα δεδομένων, δηλώνουν τον εαυτό τους ανθυγιεινό, σταματούν να διαφημίζουν τη διεύθυνσή τους. Λογικό όταν μια τοποθεσία πάει στραβά. Όταν πέσει όλο το δίκτυο, κάθε εξυπηρετητής ονομάτων το κάνει ταυτόχρονα. Οι εξυπηρετητές είναι ανεβασμένοι. Κανείς δεν μπορεί να τους βρει. Ένα χαρακτηριστικό ασφαλείας μετατρέπει μια βλάβη δικτύου σε βλάβη ύπαρξης. Μετά το διαδίκτυο συσσωρεύεται: οι εφαρμογές ξαναπροσπαθούν, οι χρήστες ανανεώνουν,

1:39 και ο επιλυτής του Cloudflare βλέπει τριάντα φορές το κανονικό του φορτίο, για έναν ιστότοπο που δεν υπάρχει. Και οι πόρτες. Εργαλεία, πρόσβαση εκτός ζώνης, σήματα: ίδιο δίκτυο. Οι μηχανικοί οδηγούν στα κέντρα δεδομένων, δεν μπορούν να μπουν, μετά συναντούν ράφια σκληρυμένα ενάντια σε οποιονδήποτε με φυσική πρόσβαση. Φτιαγμένο για να επιβραδύνει έναν επιτιθέμενο, επιβραδύνει και τον ιδιοκτήτη. Το δίκτυο επιστρέφει. Αυξάνουν την κίνηση αργά, επίτηδες.

1:59 Κάθε κέντρο δεδομένων έχει πέσει δεκάδες μεγαβάτ, και η αντιστροφή αυτού σε ένα βήμα είναι μια δεύτερη διακοπή.

git blame — η διάσπαση

2:05 git blame. Facebook, πενήντα πέντε τοις εκατό: η εντολή ελέγχθηκε, ο ελεγκτής είχε το σφάλμα, μια εντολή έφτασε σε κάθε δρομολογητή. Ο σχεδιασμός DNS, είκοσι πέντε: ένας έλεγχος υγείας χωρίς αίσθηση αναλογίας. Ένα δίκτυο, δεκαπέντε: εργαλεία, εκτός ζώνης, σήματα. Οι ράβδοι, πέντε, για την εκτέλεση της δουλειάς τους. Ακτίνα έκρηξης: τρία και μισό δισεκατομμύρια χρήστες, σχεδόν έξι ώρες. Η μετοχή κλείνει με πτώση πέντε τοις εκατό, έξι δισεκατομμύρια λιγότερα για τον Zuckerberg,

Ακτίνα έκρηξης

2:27 στα χαρτιά. Το Telegram διεκδικεί εβδομήντα εκατομμύρια εγγραφές εκείνη την ημέρα. Ετυμηγορία, μεταθανάτια ανάλυση: NEEDS REVIEW. Δήλωση το ίδιο βράδυ, μεταθανάτια ανάλυση με ονομασία συγγραφέα εντός μιας ημέρας, αναγνώριση σφάλματος εργαλείου ελέγχου σε απλά ελληνικά.

Ετυμηγορία + η γραμμή της Δευτέρας

2:38 Η λίστα επιδιορθώσεων: ενίσχυση δοκιμών και ασκήσεων. Τίποτα για την αφαίρεση των θυρών από το δίκτυο παραγωγής. Δευτέρα: βάλτε την πρόσβασή σας εκτός ζώνης, και την πόρτα σας, σε ένα δίκτυο που δεν λειτουργείτε. Στείλτε μου το περιστατικό για το οποίο δεν σας επιτρέπεται ακόμα να μιλήσετε, στα σχόλια, ή στο the daily diff dot dev. Και αυτή είναι η διαφορά για σήμερα. Είμαι ο Νίκος από την Axrisi.

2:58 Συγχώνευση υπεύθυνα.

Πηγές

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com