+− THE DAILY DIFFdev & AI news
SHIP IT

ਇੱਕ ਇੰਜੀਨੀਅਰ ਨੇ ਗਿੱਟਲੈਬ ਦਾ ਉਤਪਾਦਨ ਡੇਟਾਬੇਸ ਮਿਟਾ ਦਿੱਤਾ। 300 ਗੀਗਾਬਾਈਟ।

31 ਜਨਵਰੀ, 2017, 23:27 UTC: ਇੱਕ ਗਿੱਟਲੈਬ ਇੰਜੀਨੀਅਰ, ਇੱਕ ਲੰਬੀ ਰਾਤ ਦੇ ਅੰਤ ਵਿੱਚ ਇੱਕ ਟੁੱਟੇ ਹੋਏ ਪ੍ਰਤੀਰੂਪ ਨਾਲ ਲੜ ਰਿਹਾ ਸੀ, ਨੇ db2 ਦੀ ਬਜਾਏ db1 'ਤੇ ਪੋਸਟਗ੍ਰੇਐਸਕਿਊਐਲ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਹਟਾ ਦਿੱਤਾ।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 ਜਨਵਰੀ, 2017, 23:27 UTC: ਇੱਕ ਗਿੱਟਲੈਬ ਇੰਜੀਨੀਅਰ, ਇੱਕ ਲੰਬੀ ਰਾਤ ਦੇ ਅੰਤ ਵਿੱਚ ਇੱਕ ਟੁੱਟੇ ਹੋਏ ਪ੍ਰਤੀਰੂਪ ਨਾਲ ਲੜ ਰਿਹਾ ਸੀ, ਨੇ db2 ਦੀ ਬਜਾਏ db1 'ਤੇ ਪੋਸਟਗ੍ਰੇਐਸਕਿਊਐਲ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਹਟਾ ਦਿੱਤਾ। db1 ਪ੍ਰਾਇਮਰੀ ਹੈ। GitLab.com ਦੇ ਡੇਟਾਬੇਸ ਦਾ ਲਗਭਗ 300 GB ਇੱਕ ਜਾਂ ਦੋ ਸਕਿੰਟਾਂ ਵਿੱਚ ਗਾਇਬ ਹੋ ਗਿਆ, ਅਤੇ ਪੰਜ ਬੈਕਅੱਪ ਅਤੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਵਿਧੀਆਂ ਵਿੱਚੋਂ, ਕੋਈ ਵੀ ਕੰਮ ਨਹੀਂ ਕਰ ਰਹੀ। ਪੋਸਟਮਾਰਟਮ: ਸਪੈਮ ਸਪਾਈਕ ਤੋਂ ਗਲਤ ਹੋਸਟਨਾਮ ਤੱਕ ਦੀ ਸਮਾਂ-ਰੇਖਾ, ਕਿਉਂ pg_basebackup ਫਸਿਆ ਹੋਇਆ ਲੱਗ ਰਿਹਾ ਸੀ, ਕਿਉਂ pg_dump ਚੁੱਪਚਾਪ ਫੇਲ੍ਹ ਹੋ ਰਿਹਾ ਸੀ (9.6 ਡੇਟਾਬੇਸ 'ਤੇ 9.2 ਬਾਈਨਰੀ, DMARC ਦੁਆਰਾ ਅਸਫਲਤਾ ਈ-ਮੇਲ ਬਾਊਂਸ ਕੀਤੀਆਂ ਗਈਆਂ), YouTube 'ਤੇ ਲਾਈਵ ਸਟ੍ਰੀਮ ਕੀਤੇ ਗਏ 6-ਘੰਟੇ ਪੁਰਾਣੇ ਸਟੇਜਿੰਗ ਸਨੈਪਸ਼ਾਟ ਤੋਂ 18-ਘੰਟੇ ਦੀ ਬਹਾਲੀ, ਅਤੇ ਅਸਲ ਵਿੱਚ ਦੋਸ਼ ਕਿਸਨੂੰ ਜਾਂਦਾ ਹੈ। ਜਵਾਬ 'ਤੇ ਫੈਸਲਾ: SHIP IT।

ਲਿਖਤੀ ਐਡੀਸ਼ਨ ਪੜ੍ਹੋ (ਅੰਗਰੇਜ਼ੀ) ↗

ਇਹ ਵੀਡੀਓ ਕੀ ਕਵਰ ਕਰਦਾ ਹੈ

  • 31 ਜਨਵਰੀ, 2017: ਪ੍ਰਾਇਮਰੀ ਦੀ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ 'ਤੇ rm -Rvf; ~300 GB ਹਟਾ ਦਿੱਤਾ ਗਿਆ, 4.5 GB ਬਚਿਆ।
  • 5 ਵਿੱਚੋਂ 5 ਬੈਕਅੱਪ ਫੇਲ੍ਹ: ਖਾਲੀ S3 ਬਾਲਟੀ (pg_dump ਸੰਸਕਰਣ ਬੇਮੇਲ), DB 'ਤੇ ਕੋਈ Azure ਸਨੈਪਸ਼ਾਟ ਨਹੀਂ, ਪੂੰਝਿਆ ਗਿਆ ਪ੍ਰਤੀਰੂਪ, ਵੈਬਹੂਕਸ ਤੋਂ ਬਿਨਾਂ ਰੋਜ਼ਾਨਾ LVM ਕਾਪੀ।
  • 1 ਫਰਵਰੀ, 18:00 UTC: GitLab.com ਇੱਕ 6-ਘੰਟੇ ਪੁਰਾਣੇ ਮੈਨੂਅਲ ਸਨੈਪਸ਼ਾਟ ਤੋਂ ਵਾਪਸ; ਲਾਈਵ ਡੌਕ, ਲਾਈਵ ਸਟ੍ਰੀਮ, ਇੱਕ ਫਿਕਸ ਸੂਚੀ ਦੇ ਨਾਲ ਬੇਕਸੂਰ ਪੋਸਟਮਾਰਟਮ।

ਸਵਾਲ ਅਤੇ ਜਵਾਬ

2017 ਵਿੱਚ GitLab.com ਉਤਪਾਦਨ ਡੇਟਾਬੇਸ ਨੂੰ ਮਿਟਾਉਣ ਦੀ ਘਟਨਾ ਕੀ ਸੀ?

31 ਜਨਵਰੀ, 2017 ਨੂੰ ਦੇਰ ਰਾਤ, ਇੱਕ GitLab ਇੰਜੀਨੀਅਰ ਟੁੱਟੀ ਹੋਈ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦੀ ਮੁਰੰਮਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਿਹਾ ਸੀ, ਉਸਨੇ db2 ਦੀ ਬਜਾਏ db1 ਤੋਂ PostgreSQL ਡਾਟਾ ਡਾਇਰੈਕਟਰੀ ਹਟਾ ਦਿੱਤੀ। db1 ਪ੍ਰਾਇਮਰੀ ਸੀ। ਲਗਭਗ 300 GB ਵਿੱਚੋਂ, 4.5 GB ਬਚਿਆ ਸੀ। GitLab ਨੇ ਟਵੀਟ ਕੀਤਾ ਕਿ ਉਸਨੇ ਗਲਤੀ ਨਾਲ ਉਤਪਾਦਨ ਡਾਟਾ ਮਿਟਾ ਦਿੱਤਾ ਸੀ, ਆਪਣੀਆਂ ਘਟਨਾ ਨੋਟਸ ਜਨਤਕ ਤੌਰ 'ਤੇ ਖੋਲ੍ਹੇ ਅਤੇ YouTube 'ਤੇ ਰਿਕਵਰੀ ਨੂੰ ਸਟ੍ਰੀਮ ਕੀਤਾ।

about.gitlab.com · about.gitlab.com · twitter.com

ਜਦੋਂ GitLab ਨੂੰ ਉਹਨਾਂ ਦੀ ਲੋੜ ਸੀ ਤਾਂ GitLab ਦੇ ਪੰਜ ਬੈਕਅੱਪ ਅਤੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਵਿਧੀਆਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਕੰਮ ਕਿਉਂ ਨਹੀਂ ਕਰ ਰਿਹਾ ਸੀ?

GitLab ਦੇ ਪੋਸਟਮਾਰਟਮ ਦੇ ਅਨੁਸਾਰ, S3 'ਤੇ ਰੋਜ਼ਾਨਾ pg_dump ਅਸਫਲ ਹੋ ਰਿਹਾ ਸੀ ਕਿਉਂਕਿ ਕ੍ਰੋਨ ਜੌਬ ਨੇ 9.6 ਡੇਟਾਬੇਸ ਲਈ PostgreSQL 9.2 ਬਾਈਨਰੀਜ਼ ਚੁਣੀਆਂ ਸਨ, ਅਤੇ ਇਸਦੇ ਅਸਫਲਤਾ ਈਮੇਲ ਗੁੰਮ ਹੋਏ DMARC ਲਈ ਬਾਊਂਸ ਹੋ ਗਈਆਂ ਸਨ। Azure ਸਨੈਪਸ਼ਾਟ ਫਾਈਲ ਸਰਵਰਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਸਨ ਪਰ ਡੇਟਾਬੇਸ ਨੂੰ ਨਹੀਂ। ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਨੂੰ ਜਾਣਬੁੱਝ ਕੇ ਮਿਟਾ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਰੋਜ਼ਾਨਾ ਸਨੈਪਸ਼ਾਟ ਦੇ ਵੈਬਹੁੱਕਸ ਨੂੰ ਹਟਾ ਦਿੱਤਾ ਗਿਆ ਸੀ। ਸਿਰਫ ਇੱਕ ਮੈਨੂਅਲ ਸਨੈਪਸ਼ਾਟ, ਜੋ ਇੱਕ ਅਸੰਬੰਧਿਤ ਟੈਸਟ ਲਈ ਲਿਆ ਗਿਆ ਸੀ, ਬਚਿਆ ਸੀ।

about.gitlab.com · about.gitlab.com

GitLab.com ਨੂੰ ਬਹਾਲ ਕਰਨ ਵਿੱਚ ਲਗਭਗ ਅਠਾਰਾਂ ਘੰਟੇ ਕਿਉਂ ਲੱਗੇ?

ਬਹਾਲ ਕਰਨ ਦਾ ਮਤਲਬ ਸੀ ਸਟੇਜਿੰਗ ਡਿਸਕ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ Azure ਦੇ ਸਸਤੇ ਸਟੋਰੇਜ ਉੱਤੇ ਸੱਠ ਮੈਗਾਬਿਟ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੀ ਰਫਤਾਰ ਨਾਲ ਕਾਪੀ ਕਰਨਾ, ਜਿਸ ਵਿੱਚ ਅਠਾਰਾਂ ਘੰਟੇ ਲੱਗੇ। GitLab.com 1 ਫਰਵਰੀ ਨੂੰ 18:00 UTC ਵਜੇ ਵਾਪਸ ਆਇਆ, ਇੱਕ ਮੈਨੂਅਲ ਸਨੈਪਸ਼ਾਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਜੋ ਛੇ ਘੰਟੇ ਪੁਰਾਣਾ ਸੀ। ਇਸ ਘਟਨਾ ਦੇ ਅਨੁਸਾਰ, ਆਊਟੇਜ ਵਿੱਚ ਛੇ ਘੰਟਿਆਂ ਦਾ ਡਾਟਾ, ਲਗਭਗ ਪੰਜ ਹਜ਼ਾਰ ਪ੍ਰੋਜੈਕਟ, ਪੰਜ ਹਜ਼ਾਰ ਟਿੱਪਣੀਆਂ ਅਤੇ ਸੱਤ ਸੌ ਨਵੇਂ ਉਪਭੋਗਤਾਵਾਂ ਦਾ ਨੁਕਸਾਨ ਹੋਇਆ।

about.gitlab.com · about.gitlab.com

ਬੇਕਸੂਰ ਪੋਸਟਮਾਰਟਮ ਕਮਾਂਡ ਚਲਾਉਣ ਵਾਲੇ ਇੰਜੀਨੀਅਰ ਦੀ ਬਜਾਏ ਪ੍ਰਕਿਰਿਆ 'ਤੇ ਕਿਉਂ ਧਿਆਨ ਕੇਂਦ੍ਰਿਤ ਕਰਦੇ ਹਨ?

GitLab ਦੇ ਪੋਸਟਮਾਰਟਮ, ਜਿਸ 'ਤੇ ਸੀਈਓ ਦੁਆਰਾ ਦਸਤਖਤ ਕੀਤੇ ਗਏ ਸਨ, ਨੇ ਇੰਜੀਨੀਅਰ ਨੂੰ ਗੁਮਨਾਮ ਰੱਖਿਆ ਅਤੇ ਅਸਫਲਤਾ ਦਾ ਕਾਰਨ ਦੋ ਹੋਸਟਨੇਮਾਂ ਨੂੰ ਦੱਸਿਆ ਜੋ ਇੱਕ ਅੱਖਰ ਦੇ ਫਰਕ 'ਤੇ ਸਨ ਅਤੇ ਪੰਜ ਬੈਕਅੱਪ ਪ੍ਰਣਾਲੀਆਂ ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਨੇ ਵੀ ਬਹਾਲੀ ਨਹੀਂ ਕੀਤੀ ਸੀ। ਇਸ ਨੇ ਉਤਪਾਦਨ ਪ੍ਰੋਂਪਟ ਨੂੰ ਲਾਲ ਰੰਗ ਦਿੱਤਾ ਅਤੇ ਡਾਟਾ ਸਥਿਰਤਾ ਨੂੰ ਇੱਕ ਮਾਲਕ ਦਿੱਤਾ, ਕਿਉਂਕਿ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕੋਈ ਨਹੀਂ ਸੀ। ਫਿਕਸ ਸੂਚੀ ਨੂੰ ਮੁੱਦੇ ਨੰਬਰਾਂ ਨਾਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਸੀ।

about.gitlab.com · news.ycombinator.com

ਟੀਮਾਂ ਨੂੰ GitLab ਦੀ ਡੇਟਾਬੇਸ ਘਟਨਾ ਤੋਂ ਕੀ ਸਿੱਖਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਕੀ GitLab ਦਾ ਜਵਾਬ ਸਹੀ ਸੀ?

The Daily Diff ਦਾ ਫੈਸਲਾ SHIP IT ਸੀ, ਜਵਾਬ 'ਤੇ। GitLab ਨੇ ਘਟਨਾ ਨੂੰ ਜਨਤਕ ਤੌਰ 'ਤੇ ਚਲਾਇਆ, ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਜ਼ਿੰਮੇਵਾਰ ਠਹਿਰਾਇਆ ਅਤੇ ਮੁੱਦੇ ਨੰਬਰਾਂ ਨਾਲ ਇੱਕ ਫਿਕਸ ਸੂਚੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ। ਇਸ ਘਟਨਾ ਦਾ ਸੋਮਵਾਰ ਦਾ ਕੰਮ ਇੱਕ ਬੈਕਅੱਪ ਨੂੰ ਬਹਾਲ ਕਰਨਾ ਹੈ, ਕਿਉਂਕਿ ਇੱਕ ਬੈਕਅੱਪ ਜਿਸ ਨੂੰ ਕਦੇ ਬਹਾਲ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ, ਉਸਨੂੰ ਬੈਕਅੱਪ ਨਹੀਂ ਗਿਣਿਆ ਜਾ ਸਕਦਾ। Hacker News ਨੇ ਲਾਈਵ ਘਟਨਾ ਦਸਤਾਵੇਜ਼ ਨੂੰ 1,162 ਪੁਆਇੰਟ ਦਿੱਤੇ।

about.gitlab.com · news.ycombinator.com

ਅਨੁਵਾਦਿਤ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ

ਮੂਲ ਅੰਗਰੇਜ਼ੀ ਬਿਰਤਾਂਤ ਤੋਂ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ। ਉਪਲਬਧ ਆਡੀਓ ਅਤੇ ਕੈਪਸ਼ਨ YouTube ਦੁਆਰਾ ਨਿਯੰਤਰਿਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।

0:00 GitLab 'ਤੇ ਇੱਕ ਇੰਜੀਨੀਅਰ ਗਲਤ ਡੇਟਾਬੇਸ ਸਰਵਰ 'ਤੇ rm -rf ਚਲਾਉਂਦਾ ਹੈ, ਅਤੇ GitLab.com ਦੇ ਤਿੰਨ ਸੌ ਗੀਗਾਬਾਈਟ ਇੱਕ ਜਾਂ ਦੋ ਸਕਿੰਟਾਂ ਵਿੱਚ ਗਾਇਬ ਹੋ ਜਾਂਦੇ ਹਨ, ਲਗਭਗ ਓਨਾ ਸਮਾਂ ਜਿੰਨਾ ਇੱਕ ਹੋਸਟਨਾਮ ਪੜ੍ਹਨ ਵਿੱਚ ਲੱਗਦਾ ਹੈ। 31 ਜਨਵਰੀ, 2017, ਰਾਤ 11:27 ਵਜੇ। UTC. GitLab ਟਵੀਟ ਕਰਦਾ ਹੈ ਕਿ ਇਸਨੇ ਗਲਤੀ ਨਾਲ ਉਤਪਾਦਨ ਡੇਟਾ ਨੂੰ ਮਿਟਾ ਦਿੱਤਾ ਹੈ, ਆਪਣੇ ਘਟਨਾ ਨੋਟਸ ਨੂੰ ਇੰਟਰਨੈਟ 'ਤੇ ਖੋਲ੍ਹਦਾ ਹੈ, ਅਤੇ YouTube 'ਤੇ ਰਿਕਵਰੀ ਨੂੰ ਸਟ੍ਰੀਮ ਕਰਦਾ ਹੈ, ਪਲੇਟਫਾਰਮ 'ਤੇ ਦੂਜਾ ਲਾਈਵ ਸਟ੍ਰੀਮ। ਅਗਲੇ ਦਿਨ, ਲਿਖਤੀ ਰੂਪ ਵਿੱਚ: ਪੰਜ ਬੈਕਅੱਪ ਤਕਨੀਕਾਂ ਵਿੱਚੋਂ,

0:25 ਕੋਈ ਵੀ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਕੰਮ ਨਹੀਂ ਕਰ ਰਹੀ ਹੈ। ਇਹ ਕਿਵੇਂ ਹੁੰਦਾ ਹੈ, ਇਹ ਕਿਉਂ ਸੰਭਵ ਹੈ, ਅਤੇ ਅਸਲ ਵਿੱਚ ਦੋਸ਼ ਕਿਸਨੂੰ ਜਾਂਦਾ ਹੈ। ਇਹ The Daily Diff, ਪੋਸਟਮਾਰਟਮ ਹੈ। ਸ਼ਾਮ 5:20: ਇੱਕ ਇੰਜੀਨੀਅਰ ਉਤਪਾਦਨ ਦਾ ਸਨੈਪਸ਼ਾਟ ਲੈਂਦਾ ਹੈ ਸਟੇਜਿੰਗ ਵਿੱਚ ਇੱਕ ਲੋਡ ਬੈਲੈਂਸਰ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ। ਸ਼ਾਮ 7 ਵਜੇ: ਸਪੈਮ ਡੇਟਾਬੇਸ 'ਤੇ ਹਮਲਾ ਕਰਦਾ ਹੈ, ਨਾਲ ਹੀ ਇੱਕ ਨੌਕਰੀ ਇੱਕ ਗਿੱਟਲੈਬ ਕਰਮਚਾਰੀ ਨੂੰ ਸਖਤ-ਡਿਲੀਟ ਕਰਦੀ ਹੈ ਇੱਕ ਟਰੋਲ ਨੇ ਦੁਰਵਰਤੋਂ ਲਈ ਰਿਪੋਰਟ ਕੀਤੀ। ਰਾਤ 11 ਵਜੇ: ਪ੍ਰਤੀਰੂਪ ਇੰਨਾ ਪਿੱਛੇ ਰਹਿ ਜਾਂਦਾ ਹੈ ਕਿ ਪ੍ਰਾਇਮਰੀ ਨੇ ਪਹਿਲਾਂ ਹੀ ਰੱਦ ਕਰ ਦਿੱਤਾ ਹੈ

0:48 ਇਸਨੂੰ ਲੋੜੀਂਦਾ ਲੌਗ; ਇੱਕੋ ਇੱਕ ਹੱਲ ਪ੍ਰਤੀਰੂਪ ਨੂੰ ਪੂੰਝਣਾ ਅਤੇ ਪ੍ਰਾਇਮਰੀ ਦੀ ਨਕਲ ਕਰਨਾ ਹੈ ਦੁਬਾਰਾ। pg_basebackup ਬਿਨਾਂ ਕਿਸੇ ਆਉਟਪੁੱਟ ਦੇ ਲਟਕ ਜਾਂਦਾ ਹੈ। ਇਹ ਅਸਲ ਵਿੱਚ, ਚੁੱਪਚਾਪ, ਪ੍ਰਾਇਮਰੀ ਦੀ ਉਡੀਕ ਕਰ ਰਿਹਾ ਹੈ; ਕੋਈ ਨਹੀਂ ਜਾਣਦਾ, ਅਤੇ ਰਨਬੁੱਕ ਨਹੀਂ ਦੱਸਦੀ। ਇੰਜੀਨੀਅਰ, ਜਿਸਦਾ ਇਰਾਦਾ ਗਿਆਰਾਂ ਵਜੇ ਸਾਈਨ ਆਫ ਕਰਨ ਦਾ ਸੀ, ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਖਾਲੀ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ ਸਮੱਸਿਆ ਹੈ ਅਤੇ ਇਸਨੂੰ ਹਟਾ ਦਿੰਦਾ ਹੈ। db1 'ਤੇ। ਪ੍ਰਾਇਮਰੀ। ਉਹ ਇੱਕ ਜਾਂ ਦੋ ਸਕਿੰਟ ਬਾਅਦ ਨੋਟਿਸ ਕਰਦਾ ਹੈ; ਲਗਭਗ ਤਿੰਨ ਸੌ ਗੀਗਾਬਾਈਟ ਵਿੱਚੋਂ,

1:11 4.5 ਬਾਕੀ ਹਨ। ਬੈਕਅੱਪ। ਇੱਕ: pg_dump S3 'ਤੇ, ਰੋਜ਼ਾਨਾ। ਬਾਲਟੀ ਖਾਲੀ ਹੈ। ਕਰੋਨ ਨੌਕਰੀ ਬਿਨਾਂ ਕਿਸੇ ਡੇਟਾਬੇਸ ਦੇ ਇੱਕ ਐਪ ਸਰਵਰ 'ਤੇ ਚੱਲਦੀ ਹੈ, ਇਸਲਈ ਪੈਕੇਜ ਚੁਣਦਾ ਹੈ 9.6 ਡੇਟਾਬੇਸ ਲਈ PostgreSQL 9.2 ਬਾਈਨਰੀ, ਫੇਲ੍ਹ ਹੋ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਈਮੇਲ ਕਰਦਾ ਹੈ ਅਸਫਲਤਾ, ਜੋ DMARC ਗੁੰਮ ਹੋਣ ਕਾਰਨ ਬਾਊਂਸ ਹੋ ਜਾਂਦੀ ਹੈ। ਦੋ: Azure ਡਿਸਕ ਸਨੈਪਸ਼ਾਟ, ਫਾਈਲ ਸਰਵਰਾਂ ਲਈ ਸਮਰੱਥ, ਡੇਟਾਬੇਸ ਲਈ ਨਹੀਂ।

1:32 ਤਿੰਨ: ਪ੍ਰਤੀਰੂਪ, ਇੱਕ ਘੰਟਾ ਪਹਿਲਾਂ ਜਾਣਬੁੱਝ ਕੇ ਪੂੰਝਿਆ ਗਿਆ। ਚਾਰ: ਰੋਜ਼ਾਨਾ ਸਨੈਪਸ਼ਾਟ, 24 ਘੰਟੇ ਪੁਰਾਣਾ, ਸਟੇਜਿੰਗ ਸਿੰਕ ਦੁਆਰਾ ਹਰੇਕ ਵੈਬਹੂਕ ਹਟਾ ਦਿੱਤਾ ਗਿਆ। ਪੰਜ: 5:20 ਤੋਂ ਮੈਨੂਅਲ ਸਨੈਪਸ਼ਾਟ, ਇੱਕ ਅਸੰਬੰਧਿਤ ਜਾਂਚ ਲਈ। ਉਹ ਇੱਕ ਜਿੱਤਦਾ ਹੈ। ਬਹਾਲ ਕਰਨ ਦਾ ਮਤਲਬ ਹੈ ਸਟੇਜਿੰਗ ਡਿਸਕ ਨੂੰ Azure ਦੇ ਸਸਤੇ 'ਤੇ ਵਾਪਸ ਉਤਪਾਦਨ ਵਿੱਚ ਕਾਪੀ ਕਰਨਾ ਸਟੋਰੇਜ ਸੱਠ ਮੈਗਾਬਿਟ ਪ੍ਰਤੀ ਸਕਿੰਟ 'ਤੇ: ਅਠਾਰਾਂ ਘੰਟੇ। GitLab.com 1 ਫਰਵਰੀ ਨੂੰ ਸ਼ਾਮ ਛੇ ਵਜੇ ਵਾਪਸ ਆ ਗਿਆ ਹੈ। UTC, ਛੇ ਘੰਟੇ ਪੁਰਾਣਾ ਡੇਟਾ।

1:58 git blame: ਇੱਕ ਅੱਖਰ ਦੇ ਫਰਕ ਨਾਲ ਦੋ ਹੋਸਟਨਾਮ, ਅਤੇ ਪੰਜ ਬੈਕਅੱਪ ਸਿਸਟਮ ਜਿਨ੍ਹਾਂ ਤੋਂ ਕਿਸੇ ਨੇ ਕਦੇ ਬਹਾਲ ਨਹੀਂ ਕੀਤਾ। ਇੰਜੀਨੀਅਰ ਨਹੀਂ। ਸੀਈਓ ਦੁਆਰਾ ਹਸਤਾਖਰਿਤ ਪੋਸਟਮਾਰਟਮ, ਉਸਨੂੰ ਗੁਮਨਾਮ ਰੱਖਦਾ ਹੈ, ਉਤਪਾਦਨ ਪ੍ਰੋਂਪਟ ਨੂੰ ਲਾਲ ਰੰਗ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਡੇਟਾ ਦੀ ਟਿਕਾਊਤਾ ਨੂੰ ਇੱਕ ਮਾਲਕ ਦਿੰਦਾ ਹੈ, ਕਿਉਂਕਿ ਹੁਣ ਤੱਕ ਇਸਦਾ ਕੋਈ ਨਹੀਂ ਸੀ। ਧਮਾਕੇ ਦਾ ਘੇਰਾ: ਅਠਾਰਾਂ ਘੰਟੇ ਡਾਊਨ, ਛੇ ਘੰਟੇ ਦਾ ਡੇਟਾ ਗਾਇਬ, ਲਗਭਗ ਪੰਜ ਹਜ਼ਾਰ ਪ੍ਰੋਜੈਕਟ, ਪੰਜ ਹਜ਼ਾਰ ਟਿੱਪਣੀਆਂ,

2:18 ਸੱਤ ਸੌ ਨਵੇਂ ਉਪਭੋਗਤਾ, ਅਤੇ ਪੰਜ ਹਜ਼ਾਰ ਲੋਕ ਇੱਕ ਪ੍ਰਗਤੀ ਪੱਟੀ ਦੇਖ ਰਹੇ ਹਨ। ਹੈਕਰ ਨਿਊਜ਼ ਲਾਈਵ ਡੌਕ ਨੂੰ 1,162 ਅੰਕ ਦਿੰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਲਾਈਨ ਵਾਪਸ ਉਹਨਾਂ ਨੂੰ: ਪੰਜ ਬੈਕਅੱਪ ਵਿੱਚੋਂ, ਕੋਈ ਨਹੀਂ। ਫੈਸਲਾ, ਪੋਸਟਮਾਰਟਮ: SHIP IT, ਜਵਾਬ 'ਤੇ। ਉਹ ਘਟਨਾ ਨੂੰ ਜਨਤਕ ਤੌਰ 'ਤੇ ਚਲਾਉਂਦੇ ਹਨ, ਪ੍ਰਕਿਰਿਆ 'ਤੇ ਦੋਸ਼ ਲਗਾਉਂਦੇ ਹਨ, ਅਤੇ ਫਿਕਸ ਸੂਚੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ ਮੁੱਦੇ ਨੰਬਰਾਂ ਦੇ ਨਾਲ। ਸੋਮਵਾਰ ਦੀ ਕਾਰਵਾਈ: ਇੱਕ ਬੈਕਅੱਪ ਬਹਾਲ ਕਰੋ। ਜੇ ਤੁਸੀਂ ਇਸਨੂੰ ਕਦੇ ਬਹਾਲ ਨਹੀਂ ਕੀਤਾ ਹੈ, ਤਾਂ ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਨਹੀਂ ਹੈ।

2:42 ਮੈਨੂੰ ਉਹ ਘਟਨਾ ਭੇਜੋ ਜਿਸ ਬਾਰੇ ਤੁਹਾਨੂੰ ਅਜੇ ਵੀ ਗੱਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਹੈ, ਟਿੱਪਣੀਆਂ ਵਿੱਚ, ਜਾਂ daily diff dot dev 'ਤੇ। ਅਤੇ ਇਹ ਅੱਜ ਲਈ diff ਹੈ। ਮੈਂ Axrisi ਤੋਂ ਨਿਕੋ ਹਾਂ। ਜ਼ਿੰਮੇਵਾਰੀ ਨਾਲ ਮਰਜ ਕਰੋ।

ਸਰੋਤ

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

ਸਬੰਧਤ ਵੀਡੀਓ

postmortem · pa · 9 ਸਤੰ 2026

ਇੱਕ AI ਨੇ ਉਤਪਾਦਨ ਡੇਟਾਬੇਸ ਨੂੰ ਮਿਟਾ ਦਿੱਤਾ। ਨੌਂ ਸਕਿੰਟ।

ਇੱਕ AI ਕੋਡਿੰਗ ਏਜੰਟ (Cursor Claude Opus 4.6 ਚਲਾ ਰਿਹਾ ਹੈ) ਸਟੇਜਿੰਗ ਵਿੱਚ ਇੱਕ ਪ੍ਰਮਾਣ ਪੱਤਰ ਦੀ ਗਲਤੀ ਵਿੱਚ ਫਸ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇੱਕ ਅਸੰਬੰਧਿਤ ਫਾਈਲ ਵਿੱਚ ਮਿਲੇ ਇੱਕ ਅਕਾਊਂਟ-ਸਕੋਪਡ ਟੋਕਨ ਨਾਲ ਰੇਲਵੇ 'ਤੇ volumeDelete ਨੂੰ ਕਾਲ ਕ

3:23 ↗
postmortem · pa · 25 ਸਤੰ 2026

ਇੱਕ ਮਿਲੀਸਕਿੰਟ ਦੇ ਬੱਗ ਨੇ ਯੂਕੇ ਦੇ ਹਵਾਈ ਆਵਾਜਾਈ ਨੂੰ ਰੋਕ ਦਿੱਤਾ। ਛੇ ਘੰਟੇ।

ਮੰਗਲਵਾਰ, 8 ਸਤੰਬਰ ਨੂੰ ਸਵੇਰੇ 10:00 ਵਜੇ, NATS ਦੇ ਨੈਸ਼ਨਲ ਏਅਰਸਪੇਸ ਸਿਸਟਮ (NAS) ਦੇ ਅੰਦਰ ਇੱਕ ਰੂਟੀਨ ਸਕਵਾਕ-ਕੋਡ ਬੇਨਤੀ ਨੂੰ ਇੱਕ ਉੱਚ-ਪ੍ਰਾਥਮਿਕਤਾ ਵਾਲੇ ਸੰਦੇਸ਼ ਦੁਆਰਾ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਇਹ ਇੱਕ ਮੁੱਲ ਨੂੰ ਅੱਪਡੇਟ ਕਰਨ ਦੇ ਅੱ

3:06 ↗
postmortem · pa · 22 ਸਤੰ 2026

ਇੱਕ ਰੀਬੂਟ ਨੇ ਟੈਲਸਟ੍ਰਾ ਨੂੰ 2006 ਵਿੱਚ ਭੇਜ ਦਿੱਤਾ। ਨੌਂ ਮਿਲੀਅਨ ਫ਼ੋਨ।

ਮੈਲਬੌਰਨ ਵਿੱਚ ਇੱਕ ਇੰਜੀਨੀਅਰ ਸਵੇਰੇ 2:50 ਵਜੇ ਇੱਕ ਟਾਈਮਿੰਗ ਚੈਸੀਸ ਨੂੰ ਦੁਬਾਰਾ ਚਾਲੂ ਕਰਦਾ ਹੈ, ਅਤੇ ਨਾਸ਼ਤੇ ਤੱਕ ਆਸਟ੍ਰੇਲੀਆ ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਮੋਬਾਈਲ ਨੈਟਵਰਕ ਸਹਿਮਤ ਹੁੰਦਾ ਹੈ ਕਿ ਇਹ ਨਵੰਬਰ 2006 ਹੈ। 8 ਜੁਲਾਈ, 2026: ਟੈਲਸਟ੍ਰਾ ਦੇ

3:15 ↗
postmortem · pa · 19 ਸਤੰ 2026

ਗੂਗਲ ਕਲਾਉਡ ਖਾਲੀ ਖੇਤਰ 'ਤੇ ਕ੍ਰੈਸ਼ ਹੋ ਗਿਆ। ਤਿੰਨ ਘੰਟੇ।

ਕੁਝ ਖਾਲੀ ਖੇਤਰਾਂ ਵਾਲੀ ਇੱਕ ਨੀਤੀ ਕਤਾਰ ਇੱਕ ਨਲ ਪੁਆਇੰਟਰ ਨੂੰ ਹਿੱਟ ਕਰਦੀ ਹੈ, ਅਤੇ ਗੂਗਲ ਕਲਾਉਡ ਇੱਕੋ ਸਮੇਂ ਹਰ ਖੇਤਰ ਵਿੱਚ ਕ੍ਰੈਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ — ਫਿਰ ਕਲਾਉਡਫਲੇਅਰ ਵੀ ਇਸਦੇ ਨਾਲ ਡਿੱਗ ਜਾਂਦਾ ਹੈ। 12 ਜੂਨ, 2025, 17:49 UTC: ਸਰਵਿਸ

2:57 ↗