+− THE DAILY DIFFdev & AI news
SHIP IT

ಒಬ್ಬ ಇಂಜಿನಿಯರ್ GitLab ನ ಉತ್ಪಾದನಾ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಅಳಿಸಿದ್ದಾರೆ. 300 ಗಿಗಾಬೈಟ್‌ಗಳು.

ಜನವರಿ 31, 2017, 23:27 UTC: GitLab ಇಂಜಿನಿಯರ್, ಸುದೀರ್ಘ ರಾತ್ರಿ ಕೊನೆಯಲ್ಲಿ ಮುರಿದ ಪ್ರತಿಕೃತಿಯೊಂದಿಗೆ ಹೋರಾಡುತ್ತಾ, db2 ಬದಲಿಗೆ db1 ನಲ್ಲಿ PostgreSQL ಡೇಟಾ ಡೈರೆಕ್ಟರಿಯನ್ನು ತೆಗೆದುಹಾಕಿದ್ದಾರೆ.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

ಜನವರಿ 31, 2017, 23:27 UTC: GitLab ಇಂಜಿನಿಯರ್, ಸುದೀರ್ಘ ರಾತ್ರಿ ಕೊನೆಯಲ್ಲಿ ಮುರಿದ ಪ್ರತಿಕೃತಿಯೊಂದಿಗೆ ಹೋರಾಡುತ್ತಾ, db2 ಬದಲಿಗೆ db1 ನಲ್ಲಿ PostgreSQL ಡೇಟಾ ಡೈರೆಕ್ಟರಿಯನ್ನು ತೆಗೆದುಹಾಕಿದ್ದಾರೆ. db1 ಪ್ರಾಥಮಿಕವಾಗಿದೆ. GitLab.com ನ ಸುಮಾರು 300 GB ಡೇಟಾಬೇಸ್ ಒಂದೆರಡು ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಇಲ್ಲವಾಗಿದೆ, ಮತ್ತು ಐದು ಬ್ಯಾಕಪ್ ಮತ್ತು ಪ್ರತಿಕೃತಿ ಕಾರ್ಯವಿಧಾನಗಳಲ್ಲಿ, ಯಾವುದೂ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿಲ್ಲ. ಪೋಸ್ಟ್‌ಮಾರ್ಟಮ್: ಸ್ಪ್ಯಾಮ್ ಸ್ಪೈಕ್‌ನಿಂದ ತಪ್ಪಾದ ಹೋಸ್ಟ್‌ಹೆಸರ್‌ಗೆ ಟೈಮ್‌ಲೈನ್, pg_basebackup ಏಕೆ ಸಿಕ್ಕಿಬಿದ್ದಂತೆ ಕಾಣುತ್ತಿತ್ತು, pg_dump ಏಕೆ ಮೌನವಾಗಿ ವಿಫಲವಾಗುತ್ತಿತ್ತು (9.6 ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ 9.2 ಬೈನರಿಗಳು, DMARC ನಿಂದ ಬೌನ್ಸ್ ಆದ ವೈಫಲ್ಯ ಇಮೇಲ್‌ಗಳು), YouTube ನಲ್ಲಿ ಲೈವ್ ಸ್ಟ್ರೀಮ್ ಮಾಡಲಾದ 6-ಗಂಟೆ-ಹಳೆಯ ಸ್ಟೇಜಿಂಗ್ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ನಿಂದ 18-ಗಂಟೆಗಳ ಮರುಸ್ಥಾಪನೆ, ಮತ್ತು ನಿಜವಾಗಿ ಯಾರಿಗೆ ದೂಷಣೆ. ಪ್ರತಿಕ್ರಿಯೆಯ ಮೇಲಿನ ತೀರ್ಪು: SHIP IT.

ಲಿಖಿತ ಆವೃತ್ತಿಯನ್ನು ಓದಿ (ಇಂಗ್ಲಿಷ್) ↗

ಈ ವೀಡಿಯೊ ಏನನ್ನು ಒಳಗೊಂಡಿದೆ

  • ಜನ 31, 2017: ಪ್ರಾಥಮಿಕ ಡೇಟಾ ಡೈರೆಕ್ಟರಿಯ ಮೇಲೆ rm -Rvf; ~300 GB ತೆಗೆದುಹಾಕಲಾಗಿದೆ, 4.5 GB ಉಳಿದಿದೆ
  • 5 ರಲ್ಲಿ 5 ಬ್ಯಾಕಪ್‌ಗಳು ವಿಫಲವಾಗಿವೆ: ಖಾಲಿ S3 ಬಕೆಟ್ (pg_dump ಆವೃತ್ತಿ ಹೊಂದಿಕೆಯಾಗದಿರುವುದು), DB ನಲ್ಲಿ Azure ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ಗಳಿಲ್ಲ, ಅಳಿಸಲಾದ ಪ್ರತಿಕೃತಿ, ವೆಬ್‌ಹುಕ್‌ಗಳಿಲ್ಲದ ದೈನಂದಿನ LVM ನಕಲು
  • ಫೆಬ್ರವರಿ 1, 18:00 UTC: GitLab.com 6-ಗಂಟೆ-ಹಳೆಯ ಹಸ್ತಚಾಲಿತ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ನಿಂದ ಮರಳಿ ಬಂದಿದೆ; ಲೈವ್ ಡಾಕ್, ಲೈವ್ ಸ್ಟ್ರೀಮ್, ಪರಿಹಾರ ಪಟ್ಟಿಯೊಂದಿಗೆ ದೂಷಣೆರಹಿತ ಪೋಸ್ಟ್‌ಮಾರ್ಟಮ್

ಪ್ರಶ್ನೋತ್ತರಗಳು

2017ರ GitLab.com ಉತ್ಪಾದನಾ ಡೇಟಾಬೇಸ್ ಅಳಿಸುವಿಕೆಯಲ್ಲಿ ಏನಾಯಿತು?

ಜನವರಿ 31, 2017 ರ ತಡರಾತ್ರಿ, GitLab ಇಂಜಿನಿಯರ್ ಒಬ್ಬರು ಮುರಿದ ಪ್ರತಿಕೃತಿಯನ್ನು ಸರಿಪಡಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದಾಗ, db2 ಬದಲಿಗೆ db1 ನಲ್ಲಿ PostgreSQL ಡೇಟಾ ಡೈರೆಕ್ಟರಿಯನ್ನು ತೆಗೆದುಹಾಕಿದರು. db1 ಪ್ರಾಥಮಿಕವಾಗಿತ್ತು. ಸುಮಾರು 300 GB ಯಲ್ಲಿ, 4.5 GB ಮಾತ್ರ ಉಳಿದಿತ್ತು. GitLab ಉತ್ಪಾದನಾ ಡೇಟಾವನ್ನು ಆಕಸ್ಮಿಕವಾಗಿ ಅಳಿಸಿಹಾಕಿದೆ ಎಂದು ಟ್ವೀಟ್ ಮಾಡಿತು, ತನ್ನ ಘಟನೆ ಟಿಪ್ಪಣಿಗಳನ್ನು ಸಾರ್ವಜನಿಕವಾಗಿ ತೆರೆಯಿತು ಮತ್ತು YouTube ನಲ್ಲಿ ಚೇತರಿಕೆಯನ್ನು ಪ್ರಸಾರ ಮಾಡಿತು.

about.gitlab.com · about.gitlab.com · twitter.com

GitLab ನ ಐದು ಬ್ಯಾಕಪ್ ಮತ್ತು ಪ್ರತಿಕೃತಿ ಕಾರ್ಯವಿಧಾನಗಳಲ್ಲಿ ಯಾವುದೂ ಏಕೆ ಕೆಲಸ ಮಾಡಲಿಲ್ಲ, ಅದಕ್ಕೆ ಅವುಗಳ ಅಗತ್ಯವಿದ್ದಾಗ?

GitLab ನ ಮರಣೋತ್ತರ ಪರೀಕ್ಷೆಯ ಪ್ರಕಾರ, S3 ಗೆ ದೈನಂದಿನ pg_dump ವಿಫಲವಾಗುತ್ತಿತ್ತು ಏಕೆಂದರೆ ಕ್ರಾನ್ ಜಾಬ್ 9.6 ಡೇಟಾಬೇಸ್ಗಾಗಿ PostgreSQL 9.2 ಬೈನರಿಗಳನ್ನು ಆರಿಸಿಕೊಂಡಿತು, ಮತ್ತು ಅದರ ವೈಫಲ್ಯದ ಇಮೇಲ್ಗಳು DMARC ಕಾಣೆಯಾದ ಕಾರಣ ಬೌನ್ಸ್ ಆಗುತ್ತಿದ್ದವು. ಅಝೂರ್ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ಗಳು ಫೈಲ್ ಸರ್ವರ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿತ್ತು ಆದರೆ ಡೇಟಾಬೇಸ್‌ಗಳನ್ನಲ್ಲ. ಪ್ರತಿಕೃತಿಯನ್ನು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಅಳಿಸಲಾಗಿತ್ತು, ಮತ್ತು ದೈನಂದಿನ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್ ತನ್ನ ವೆಬ್‌ಹುಕ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕಿತ್ತು. ಸಂಬಂಧವಿಲ್ಲದ ಪರೀಕ್ಷೆಗಾಗಿ ತೆಗೆದ ಕೇವಲ ಒಂದು ಹಸ್ತಚಾಲಿತ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್ ಮಾತ್ರ ಉಳಿದುಕೊಂಡಿತ್ತು.

about.gitlab.com · about.gitlab.com

GitLab.com ಅನ್ನು ಮರುಸ್ಥಾಪಿಸಲು ಸುಮಾರು ಹದಿನೆಂಟು ಗಂಟೆಗಳನ್ನು ಏಕೆ ತೆಗೆದುಕೊಂಡಿತು?

ಮರುಸ್ಥಾಪಿಸುವುದು ಎಂದರೆ ಅಝೂರ್‌ನ ಅಗ್ಗದ ಸಂಗ್ರಹಣೆಯ ಮೇಲೆ ಸೆಕೆಂಡಿಗೆ ಅರವತ್ತು ಮೆಗಾಬಿಟ್‌ಗಳಲ್ಲಿ ಸ್ಟೇಜಿಂಗ್ ಡಿಸ್ಕ್ ಅನ್ನು ಉತ್ಪಾದನೆಗೆ ನಕಲಿಸುವುದು, ಇದು ಹದಿನೆಂಟು ಗಂಟೆಗಳನ್ನು ತೆಗೆದುಕೊಂಡಿತು. GitLab.com ಫೆಬ್ರವರಿ 1 ರಂದು 18:00 UTC ಗೆ ಮರಳಿತು, ಆರು ಗಂಟೆಗಳಷ್ಟು ಹಳೆಯ ಹಸ್ತಚಾಲಿತ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್ ಬಳಸಿ. ಘಟನೆಯ ಪ್ರಕಾರ, ಅಡಚಣೆಯು ಆರು ಗಂಟೆಗಳ ಡೇಟಾ, ಸರಿಸುಮಾರು ಐದು ಸಾವಿರ ಯೋಜನೆಗಳು, ಐದು ಸಾವಿರ ಕಾಮೆಂಟ್‌ಗಳು ಮತ್ತು ಏಳು ನೂರು ಹೊಸ ಬಳಕೆದಾರರನ್ನು ಕಳೆದುಕೊಂಡಿದೆ.

about.gitlab.com · about.gitlab.com

ದೋಷರಹಿತ ಮರಣೋತ್ತರ ಪರೀಕ್ಷೆಗಳು ಆಜ್ಞೆಯನ್ನು ಚಲಾಯಿಸಿದ ಎಂಜಿನಿಯರ್‌ಗಿಂತ ಪ್ರಕ್ರಿಯೆಯ ಮೇಲೆ ಏಕೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತವೆ?

ಸಿಇಒ ಸಹಿ ಮಾಡಿದ GitLab ನ ಮರಣೋತ್ತರ ಪರೀಕ್ಷೆಯು ಎಂಜಿನಿಯರ್‌ನನ್ನು ಅನಾಮಧೇಯವಾಗಿ ಇರಿಸಿತು ಮತ್ತು ವೈಫಲ್ಯವನ್ನು ಒಂದು ಅಕ್ಷರದ ಅಂತರವಿರುವ ಎರಡು ಹೋಸ್ಟ್‌ನೇಮ್‌ಗಳು ಮತ್ತು ಯಾರೂ ಮರುಸ್ಥಾಪಿಸದ ಐದು ಬ್ಯಾಕಪ್ ಸಿಸ್ಟಮ್‌ಗಳಿಗೆ ಕಾರಣವಾಯಿತು. ಇದು ಉತ್ಪಾದನಾ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಕೆಂಪು ಬಣ್ಣದಲ್ಲಿ ಬಣ್ಣಿಸಿತು ಮತ್ತು ಡೇಟಾ ಬಾಳಿಕೆಗೆ ಮಾಲೀಕರನ್ನು ನೀಡಿತು, ಏಕೆಂದರೆ ಅದಕ್ಕೂ ಮೊದಲು ಯಾವುದೂ ಇರಲಿಲ್ಲ. ಪರಿಹಾರ ಪಟ್ಟಿಯನ್ನು ಸಮಸ್ಯೆ ಸಂಖ್ಯೆಗಳೊಂದಿಗೆ ಪ್ರಕಟಿಸಲಾಯಿತು.

about.gitlab.com · news.ycombinator.com

GitLab ನ ಡೇಟಾಬೇಸ್ ಘಟನೆಯಿಂದ ತಂಡಗಳು ಏನನ್ನು ತೆಗೆದುಕೊಳ್ಳಬೇಕು, ಮತ್ತು GitLab ನ ಪ್ರತಿಕ್ರಿಯೆ ಸರಿಯಾಗಿತ್ತೇ?

The Daily Diff ನ ತೀರ್ಪು ಪ್ರತಿಕ್ರಿಯೆಗೆ SHIP IT ಆಗಿತ್ತು. GitLab ಘಟನೆಯನ್ನು ಸಾರ್ವಜನಿಕವಾಗಿ ನಡೆಸಿತು, ಪ್ರಕ್ರಿಯೆಯನ್ನು ದೂಷಿಸಿತು ಮತ್ತು ಸಮಸ್ಯೆ ಸಂಖ್ಯೆಗಳೊಂದಿಗೆ ಪರಿಹಾರ ಪಟ್ಟಿಯನ್ನು ಪ್ರಕಟಿಸಿತು. ಘಟನೆಯ ಸೋಮವಾರದ ಕ್ರಮವೆಂದರೆ ಬ್ಯಾಕಪ್ ಅನ್ನು ಮರುಸ್ಥಾಪಿಸುವುದು, ಏಕೆಂದರೆ ಎಂದಿಗೂ ಮರುಸ್ಥಾಪಿಸದ ಬ್ಯಾಕಪ್ ಅನ್ನು ಬ್ಯಾಕಪ್ ಎಂದು ಪರಿಗಣಿಸಲಾಗುವುದಿಲ್ಲ. Hacker News ಲೈವ್ ಘಟನೆ ಡಾಕ್ಯುಮೆಂಟ್‌ಗೆ 1,162 ಅಂಕಗಳನ್ನು ನೀಡಿತು.

about.gitlab.com · news.ycombinator.com

ಅನುವಾದಿತ ಪ್ರತಿಲೇಖನ

ಮೂಲ ಇಂಗ್ಲಿಷ್ ನಿರೂಪಣೆಯಿಂದ ಅನುವಾದಿಸಲಾಗಿದೆ. ಲಭ್ಯವಿರುವ ಆಡಿಯೋ ಮತ್ತು ಶೀರ್ಷಿಕೆಗಳನ್ನು YouTube ನಿಯಂತ್ರಿಸುತ್ತದೆ.

0:00 GitLab ನಲ್ಲಿ ಒಬ್ಬ ಇಂಜಿನಿಯರ್ ತಪ್ಪಾದ ಡೇಟಾಬೇಸ್ ಸರ್ವರ್‌ನಲ್ಲಿ rm -rf ಅನ್ನು ನಡೆಸುತ್ತಾರೆ, ಮತ್ತು ಮೂರು ನೂರು ಗಿಗಾಬೈಟ್‌ಗಳ GitLab.com ಒಂದೆರಡು ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಕಣ್ಮರೆಯಾಗುತ್ತದೆ, ಹೋಸ್ಟ್‌ಹೆಸರನ್ನು ಓದಲು ಬೇಕಾದ ಸಮಯದ ಬಗ್ಗೆ. ಜನವರಿ 31, 2017, ರಾತ್ರಿ 11:27. UTC. GitLab ತಾನು ಆಕಸ್ಮಿಕವಾಗಿ ಉತ್ಪಾದನಾ ಡೇಟಾವನ್ನು ಅಳಿಸಿಹಾಕಿದ್ದಾಗಿ ಟ್ವೀಟ್ ಮಾಡುತ್ತದೆ, ತನ್ನ ಘಟನೆ ಟಿಪ್ಪಣಿಗಳನ್ನು ಇಂಟರ್ನೆಟ್‌ಗೆ ತೆರೆಯುತ್ತದೆ ಮತ್ತು YouTube ನಲ್ಲಿ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಲೈವ್ ಸ್ಟ್ರೀಮ್ ಮಾಡುತ್ತದೆ, ವೇದಿಕೆಯಲ್ಲಿ ಎರಡನೇ ಅತಿ ಹೆಚ್ಚು ವೀಕ್ಷಿಸಿದ ಲೈವ್ ಸ್ಟ್ರೀಮ್. ಮರುದಿನ, ಲಿಖಿತವಾಗಿ: ಐದು ಬ್ಯಾಕಪ್ ತಂತ್ರಗಳಲ್ಲಿ,

0:25 ಯಾವುದೂ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿಲ್ಲ. ಇದು ಹೇಗೆ ಸಂಭವಿಸುತ್ತದೆ, ಏಕೆ ಸಾಧ್ಯ, ಮತ್ತು ನಿಜವಾಗಿ ಯಾರಿಗೆ ದೂಷಣೆ. ಇದು The Daily Diff, ಪೋಸ್ಟ್‌ಮಾರ್ಟಮ್. ಸಂಜೆ 5:20: ಒಬ್ಬ ಇಂಜಿನಿಯರ್ ಉತ್ಪಾದನೆಯ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್ ತೆಗೆದುಕೊಳ್ಳುತ್ತಾರೆ ಸ್ಟೇಜಿಂಗ್‌ನಲ್ಲಿ ಲೋಡ್ ಬ್ಯಾಲೆನ್ಸರ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಲು. ಸಂಜೆ 7: ಸ್ಪ್ಯಾಮ್ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಅಪ್ಪಳಿಸುತ್ತದೆ, ಜೊತೆಗೆ GitLab ಉದ್ಯೋಗಿಯೊಬ್ಬರನ್ನು ಹಾರ್ಡ್-ಡಿಲೀಟ್ ಮಾಡುವ ಕೆಲಸ ದುರ್ಬಳಕೆಯ ಬಗ್ಗೆ ವರದಿ ಮಾಡಿದ ಟ್ರೋಲ್. ರಾತ್ರಿ 11: ಪ್ರತಿಕೃತಿಯು ತುಂಬಾ ಹಿಂದುಳಿಯುತ್ತದೆ, ಪ್ರಾಥಮಿಕವು ಈಗಾಗಲೇ

0:48 ಅದಕ್ಕೆ ಅಗತ್ಯವಿರುವ ಲಾಗ್ ಅನ್ನು ತ್ಯಜಿಸಿದೆ; ಏಕೈಕ ಪರಿಹಾರವೆಂದರೆ ಪ್ರತಿಕೃತಿಯನ್ನು ಅಳಿಸಿ ಪ್ರಾಥಮಿಕವನ್ನು ಮತ್ತೆ ನಕಲಿಸುವುದು. pg_basebackup ಯಾವುದೇ ಔಟ್‌ಪುಟ್ ಇಲ್ಲದೆ ಸ್ಥಗಿತಗೊಳ್ಳುತ್ತದೆ. ಇದು ವಾಸ್ತವವಾಗಿ, ಮೌನವಾಗಿ, ಪ್ರಾಥಮಿಕಕ್ಕಾಗಿ ಕಾಯುತ್ತಿದೆ; ಯಾರಿಗೂ ಅದು ತಿಳಿದಿಲ್ಲ, ಮತ್ತು ರನ್‌ಬುಕ್ ಹೇಳುವುದಿಲ್ಲ. ರಾತ್ರಿ ಹನ್ನೊಂದಕ್ಕೆ ನಿರ್ಗಮಿಸಬೇಕಿದ್ದ ಇಂಜಿನಿಯರ್, ಖಾಲಿ ಡೇಟಾ ಡೈರೆಕ್ಟರಿ ಸಮಸ್ಯೆ ಎಂದು ನಿರ್ಧರಿಸಿ ಅದನ್ನು ತೆಗೆದುಹಾಕುತ್ತಾರೆ. db1 ನಲ್ಲಿ. ಪ್ರಾಥಮಿಕದಲ್ಲಿ. ಒಂದೆರಡು ಸೆಕೆಂಡುಗಳ ನಂತರ ಅವರು ಗಮನಿಸುತ್ತಾರೆ; ಸರಿಸುಮಾರು ಮುನ್ನೂರು ಗಿಗಾಬೈಟ್‌ಗಳಲ್ಲಿ,

1:11 4.5 ಉಳಿದಿದೆ. ಬ್ಯಾಕಪ್‌ಗಳು. ಒಂದು: pg_dump ನಿಂದ S3 ಗೆ, ದೈನಂದಿನ. ಬಕೆಟ್ ಖಾಲಿಯಾಗಿದೆ. ಕ್ರೋನ್ ಕೆಲಸವು ಡೇಟಾಬೇಸ್ ಇಲ್ಲದ ಅಪ್ಲಿಕೇಶನ್ ಸರ್ವರ್‌ನಲ್ಲಿ ನಡೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಪ್ಯಾಕೇಜ್ 9.6 ಡೇಟಾಬೇಸ್‌ಗಾಗಿ PostgreSQL 9.2 ಬೈನರಿಗಳನ್ನು ಆರಿಸುತ್ತದೆ, ವಿಫಲವಾಗುತ್ತದೆ, ಮತ್ತು ವೈಫಲ್ಯವನ್ನು ಇಮೇಲ್ ಮಾಡುತ್ತದೆ, ಅದು DMARC ಇಲ್ಲದ ಕಾರಣ ಬೌನ್ಸ್ ಆಗುತ್ತದೆ. ಎರಡು: Azure ಡಿಸ್ಕ್ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ಗಳು, ಫೈಲ್ ಸರ್ವರ್‌ಗಳಿಗಾಗಿ ಸಕ್ರಿಯಗೊಳಿಸಲಾಗಿದೆ, ಡೇಟಾಬೇಸ್‌ಗಳಿಗಲ್ಲ.

1:32 ಮೂರು: ಪ್ರತಿಕೃತಿ, ಒಂದು ಗಂಟೆ ಮೊದಲು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಅಳಿಸಲಾಗಿದೆ. ನಾಲ್ಕು: ದೈನಂದಿನ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್, 24 ಗಂಟೆಗಳ ಹಳೆಯದು, ಪ್ರತಿ ವೆಬ್‌ಹುಕ್ ಅನ್ನು ಸ್ಟೇಜಿಂಗ್ ಸಿಂಕ್‌ನಿಂದ ತೆಗೆದುಹಾಕಲಾಗಿದೆ. ಐದು: ಸಂಬಂಧವಿಲ್ಲದ ಪರೀಕ್ಷೆಗಾಗಿ 5:20 ರ ಹಸ್ತಚಾಲಿತ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್. ಅದು ಗೆಲ್ಲುತ್ತದೆ. ಮರುಸ್ಥಾಪನೆ ಎಂದರೆ ಸ್ಟೇಜಿಂಗ್ ಡಿಸ್ಕ್ ಅನ್ನು Azure ನ ಅಗ್ಗದ ಸೆಕೆಂಡಿಗೆ ಅರವತ್ತು ಮೆಗಾಬಿಟ್‌ಗಳ ವೇಗದಲ್ಲಿ ಉತ್ಪಾದನೆಗೆ ನಕಲಿಸುವುದು: ಹದಿನೆಂಟು ಗಂಟೆಗಳು. GitLab.com ಫೆಬ್ರವರಿ 1 ರಂದು ಸಂಜೆ ಆರು ಗಂಟೆಗೆ ಮರಳಿದೆ. UTC, ಆರು ಗಂಟೆಗಳ ಹಳೆಯ ಡೇಟಾ.

1:58 git blame: ಒಂದು ಅಕ್ಷರ ಅಂತರವಿರುವ ಎರಡು ಹೋಸ್ಟ್‌ಹೆಸರ್‌ಗಳು, ಮತ್ತು ಐದು ಬ್ಯಾಕಪ್ ವ್ಯವಸ್ಥೆಗಳು ಯಾರೂ ಎಂದಿಗೂ ಮರುಸ್ಥಾಪಿಸಿಲ್ಲ. ಇಂಜಿನಿಯರ್ ಅಲ್ಲ. CEO ಸಹಿ ಮಾಡಿದ ಪೋಸ್ಟ್‌ಮಾರ್ಟಮ್, ಅವರನ್ನು ಅನಾಮಧೇಯರಾಗಿರಿಸುತ್ತದೆ, ಉತ್ಪಾದನಾ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಕೆಂಪು ಬಣ್ಣದಲ್ಲಿರಿಸುತ್ತದೆ, ಮತ್ತು ಡೇಟಾ ಬಾಳಿಕೆಗೆ ಮಾಲೀಕರನ್ನು ನೀಡುತ್ತದೆ, ಏಕೆಂದರೆ ಇಲ್ಲಿಯವರೆಗೆ ಅದಕ್ಕೆ ಯಾರೂ ಇರಲಿಲ್ಲ. ಬ್ಲಾಸ್ಟ್ ತ್ರಿಜ್ಯ: ಹದಿನೆಂಟು ಗಂಟೆಗಳ ಡೌನ್, ಆರು ಗಂಟೆಗಳ ಡೇಟಾ ಇಲ್ಲವಾಗಿದೆ, ಸುಮಾರು ಐದು ಸಾವಿರ ಯೋಜನೆಗಳು, ಐದು ಸಾವಿರ ಕಾಮೆಂಟ್‌ಗಳು,

2:18 ಏಳು ನೂರು ಹೊಸ ಬಳಕೆದಾರರು, ಮತ್ತು ಐದು ಸಾವಿರ ಜನರು ಪ್ರಗತಿ ಪಟ್ಟಿಯನ್ನು ವೀಕ್ಷಿಸುತ್ತಿದ್ದಾರೆ. ಹ್ಯಾಕರ್ ನ್ಯೂಸ್ ಲೈವ್ ಡಾಕ್ ಗೆ 1,162 ಅಂಕಗಳನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ಒಂದು ಸಾಲನ್ನು ಅವರಿಗೆ ಉಲ್ಲೇಖಿಸುತ್ತದೆ: ಐದು ಬ್ಯಾಕಪ್‌ಗಳಲ್ಲಿ, ಯಾವುದೂ ಇಲ್ಲ. ತೀರ್ಪು, ಪೋಸ್ಟ್‌ಮಾರ್ಟಮ್: ಪ್ರತಿಕ್ರಿಯೆಗೆ, SHIP IT. ಅವರು ಘಟನೆಯನ್ನು ಸಾರ್ವಜನಿಕವಾಗಿ ನಡೆಸುತ್ತಾರೆ, ಪ್ರಕ್ರಿಯೆಯನ್ನು ದೂಷಿಸುತ್ತಾರೆ, ಮತ್ತು ಪರಿಹಾರ ಪಟ್ಟಿಯನ್ನು ಇಶ್ಯೂ ಸಂಖ್ಯೆಗಳೊಂದಿಗೆ ಪ್ರಕಟಿಸುತ್ತಾರೆ. ಸೋಮವಾರದ ಕಾರ್ಯ: ಬ್ಯಾಕಪ್ ಅನ್ನು ಮರುಸ್ಥಾಪಿಸಿ. ನೀವು ಅದನ್ನು ಎಂದಿಗೂ ಮರುಸ್ಥಾಪಿಸದಿದ್ದರೆ, ನಿಮಗೆ ಒಂದೂ ಇಲ್ಲ.

2:42 ನೀವು ಇನ್ನೂ ಮಾತನಾಡಲು ಅನುಮತಿಸದ ಘಟನೆಯನ್ನು ನನಗೆ ಕಳುಹಿಸಿ, ಕಾಮೆಂಟ್‌ಗಳಲ್ಲಿ, ಅಥವಾ the daily diff dot dev ನಲ್ಲಿ. ಮತ್ತು ಇದು ಇಂದಿನ ಡಿಫ್. ನಾನು Axrisi ನಿಂದ ನಿಕೋ. ಜವಾಬ್ದಾರಿಯುತವಾಗಿ ವಿಲೀನಗೊಳಿಸಿ.

ಮೂಲಗಳು

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

ಸಂಬಂಧಿತ ವೀಡಿಯೊಗಳು

postmortem · kn · ಸೆಪ್ಟೆಂ 9, 2026

ಒಂದು AI ಉತ್ಪಾದನಾ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಅಳಿಸಿದೆ. ಒಂಬತ್ತು ಸೆಕೆಂಡುಗಳು.

ಒಂದು AI ಕೋಡಿಂಗ್ ಏಜೆಂಟ್ (ಕರ್ಸರ್ ಕ್ಲೌಡ್ ಒಪಸ್ 4.6 ರನ್ ಮಾಡುತ್ತಿದೆ) ಸ್ಟೇಜಿಂಗ್‌ನಲ್ಲಿ ರುಜುವಾತು ಹೊಂದಾಣಿಕೆಯಾಗದಿರುವುದನ್ನು ಎದುರಿಸುತ್ತದೆ ಮತ್ತು ಅಸಂಬಂಧಿತ ಫೈಲ್‌ನಲ್ಲಿ ಕಂಡುಬಂದ ಖಾತೆ-ವ್ಯಾಪ್ತಿಯ ಟೋಕನ್‌ನೊಂದಿಗೆ ರೈಲ್ವೇಯಲ್ಲಿ

3:23 ↗
postmortem · kn · ಸೆಪ್ಟೆಂ 25, 2026

ಒಂದು-ಮಿಲಿಸೆಕೆಂಡ್ ದೋಷವು UK ವಾಯು ಸಂಚಾರವನ್ನು ಆರು ಗಂಟೆಗಳ ಕಾಲ ನಿಲ್ಲಿಸಿತು.

ಸೆಪ್ಟೆಂಬರ್ 8 ರ ಮಂಗಳವಾರದಂದು ಬೆಳಿಗ್ಗೆ 10:00 ಕ್ಕೆ, NATS ನ ನ್ಯಾಷನಲ್ ಏರ್‌ಸ್ಪೇಸ್ ಸಿಸ್ಟಮ್ (NAS) ನಲ್ಲಿ ಒಂದು ವಾಡಿಕೆಯ ಸ್ಕ್ವಾಕ್-ಕೋಡ್ ವಿನಂತಿಯನ್ನು ಒಂದು ಮೌಲ್ಯವನ್ನು ನವೀಕರಿಸುವ ಮಧ್ಯದಲ್ಲಿರುವಾಗ ಉನ್ನತ-ಆದ್ಯತೆಯ ಸಂದೇಶದಿಂದ ಅ

3:06 ↗
postmortem · kn · ಸೆಪ್ಟೆಂ 22, 2026

ರೀಬೂಟ್ ಟೆಲ್ಸ್ಟ್ರಾವನ್ನು 2006ಕ್ಕೆ ಕಳುಹಿಸಿತು. ತೊಂಬತ್ತು ಲಕ್ಷ ಫೋನ್‌ಗಳು.

ಮೆಲ್ಬರ್ನ್‌ನಲ್ಲಿ ಒಬ್ಬ ಇಂಜಿನಿಯರ್ ಬೆಳಿಗ್ಗೆ 2:50ಕ್ಕೆ ಟೈಮಿಂಗ್ ಚಾಸಿಸ್ ಅನ್ನು ಮತ್ತೆ ಆನ್ ಮಾಡುತ್ತಾರೆ, ಮತ್ತು ಉಪಹಾರದ ಹೊತ್ತಿಗೆ ಆಸ್ಟ್ರೇಲಿಯಾದ ಅತಿದೊಡ್ಡ ಮೊಬೈಲ್ ನೆಟ್‌ವರ್ಕ್ ನವೆಂಬರ್ 2006 ಎಂದು ಒಪ್ಪುತ್ತದೆ. ಜುಲೈ 8, 2026: ಟೆ

3:15 ↗
postmortem · kn · ಸೆಪ್ಟೆಂ 19, 2026

ಖಾಲಿ ಕ್ಷೇತ್ರದಲ್ಲಿ Google Cloud ಕುಸಿಯಿತು. ಮೂರು ಗಂಟೆಗಳು.

ಕೆಲವು ಖಾಲಿ ಕ್ಷೇತ್ರಗಳನ್ನು ಹೊಂದಿರುವ ನೀತಿ ಸಾಲು ನಲ್ ಪಾಯಿಂಟರ್ ಅನ್ನು ತಲುಪುತ್ತದೆ, ಮತ್ತು Google Cloud ಏಕಕಾಲದಲ್ಲಿ ಪ್ರತಿ ಪ್ರದೇಶದಲ್ಲಿ ಕುಸಿಯುತ್ತದೆ — ನಂತರ Cloudflare ಕೂಡ ಅದರೊಂದಿಗೆ ಕುಸಿಯುತ್ತದೆ. ಜೂನ್ 12, 2025, 17:49

2:57 ↗