ਇੱਕ ਇੰਜੀਨੀਅਰ ਨੇ ਗਿੱਟਲੈਬ ਦਾ ਉਤਪਾਦਨ ਡੇਟਾਬੇਸ ਮਿਟਾ ਦਿੱਤਾ। 300 ਗੀਗਾਬਾਈਟ।
31 ਜਨਵਰੀ, 2017, 23:27 UTC: ਇੱਕ ਗਿੱਟਲੈਬ ਇੰਜੀਨੀਅਰ, ਇੱਕ ਲੰਬੀ ਰਾਤ ਦੇ ਅੰਤ ਵਿੱਚ ਇੱਕ ਟੁੱਟੇ ਹੋਏ ਪ੍ਰਤੀਰੂਪ ਨਾਲ ਲੜ ਰਿਹਾ ਸੀ, ਨੇ db2 ਦੀ ਬਜਾਏ db1 'ਤੇ ਪੋਸਟਗ੍ਰੇਐਸਕਿਊਐਲ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਹਟਾ ਦਿੱਤਾ।
31 ਜਨਵਰੀ, 2017, 23:27 UTC: ਇੱਕ ਗਿੱਟਲੈਬ ਇੰਜੀਨੀਅਰ, ਇੱਕ ਲੰਬੀ ਰਾਤ ਦੇ ਅੰਤ ਵਿੱਚ ਇੱਕ ਟੁੱਟੇ ਹੋਏ ਪ੍ਰਤੀਰੂਪ ਨਾਲ ਲੜ ਰਿਹਾ ਸੀ, ਨੇ db2 ਦੀ ਬਜਾਏ db1 'ਤੇ ਪੋਸਟਗ੍ਰੇਐਸਕਿਊਐਲ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਹਟਾ ਦਿੱਤਾ। db1 ਪ੍ਰਾਇਮਰੀ ਹੈ। GitLab.com ਦੇ ਡੇਟਾਬੇਸ ਦਾ ਲਗਭਗ 300 GB ਇੱਕ ਜਾਂ ਦੋ ਸਕਿੰਟਾਂ ਵਿੱਚ ਗਾਇਬ ਹੋ ਗਿਆ, ਅਤੇ ਪੰਜ ਬੈਕਅੱਪ ਅਤੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਵਿਧੀਆਂ ਵਿੱਚੋਂ, ਕੋਈ ਵੀ ਕੰਮ ਨਹੀਂ ਕਰ ਰਹੀ। ਪੋਸਟਮਾਰਟਮ: ਸਪੈਮ ਸਪਾਈਕ ਤੋਂ ਗਲਤ ਹੋਸਟਨਾਮ ਤੱਕ ਦੀ ਸਮਾਂ-ਰੇਖਾ, ਕਿਉਂ pg_basebackup ਫਸਿਆ ਹੋਇਆ ਲੱਗ ਰਿਹਾ ਸੀ, ਕਿਉਂ pg_dump ਚੁੱਪਚਾਪ ਫੇਲ੍ਹ ਹੋ ਰਿਹਾ ਸੀ (9.6 ਡੇਟਾਬੇਸ 'ਤੇ 9.2 ਬਾਈਨਰੀ, DMARC ਦੁਆਰਾ ਅਸਫਲਤਾ ਈ-ਮੇਲ ਬਾਊਂਸ ਕੀਤੀਆਂ ਗਈਆਂ), YouTube 'ਤੇ ਲਾਈਵ ਸਟ੍ਰੀਮ ਕੀਤੇ ਗਏ 6-ਘੰਟੇ ਪੁਰਾਣੇ ਸਟੇਜਿੰਗ ਸਨੈਪਸ਼ਾਟ ਤੋਂ 18-ਘੰਟੇ ਦੀ ਬਹਾਲੀ, ਅਤੇ ਅਸਲ ਵਿੱਚ ਦੋਸ਼ ਕਿਸਨੂੰ ਜਾਂਦਾ ਹੈ। ਜਵਾਬ 'ਤੇ ਫੈਸਲਾ: SHIP IT।
ਲਿਖਤੀ ਐਡੀਸ਼ਨ ਪੜ੍ਹੋ (ਅੰਗਰੇਜ਼ੀ) ↗
ਇਹ ਵੀਡੀਓ ਕੀ ਕਵਰ ਕਰਦਾ ਹੈ
- 31 ਜਨਵਰੀ, 2017: ਪ੍ਰਾਇਮਰੀ ਦੀ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ 'ਤੇ rm -Rvf; ~300 GB ਹਟਾ ਦਿੱਤਾ ਗਿਆ, 4.5 GB ਬਚਿਆ।
- 5 ਵਿੱਚੋਂ 5 ਬੈਕਅੱਪ ਫੇਲ੍ਹ: ਖਾਲੀ S3 ਬਾਲਟੀ (pg_dump ਸੰਸਕਰਣ ਬੇਮੇਲ), DB 'ਤੇ ਕੋਈ Azure ਸਨੈਪਸ਼ਾਟ ਨਹੀਂ, ਪੂੰਝਿਆ ਗਿਆ ਪ੍ਰਤੀਰੂਪ, ਵੈਬਹੂਕਸ ਤੋਂ ਬਿਨਾਂ ਰੋਜ਼ਾਨਾ LVM ਕਾਪੀ।
- 1 ਫਰਵਰੀ, 18:00 UTC: GitLab.com ਇੱਕ 6-ਘੰਟੇ ਪੁਰਾਣੇ ਮੈਨੂਅਲ ਸਨੈਪਸ਼ਾਟ ਤੋਂ ਵਾਪਸ; ਲਾਈਵ ਡੌਕ, ਲਾਈਵ ਸਟ੍ਰੀਮ, ਇੱਕ ਫਿਕਸ ਸੂਚੀ ਦੇ ਨਾਲ ਬੇਕਸੂਰ ਪੋਸਟਮਾਰਟਮ।
ਅਨੁਵਾਦਿਤ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ
ਮੂਲ ਅੰਗਰੇਜ਼ੀ ਬਿਰਤਾਂਤ ਤੋਂ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ। ਉਪਲਬਧ ਆਡੀਓ ਅਤੇ ਕੈਪਸ਼ਨ YouTube ਦੁਆਰਾ ਨਿਯੰਤਰਿਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।
0:00 GitLab 'ਤੇ ਇੱਕ ਇੰਜੀਨੀਅਰ ਗਲਤ ਡੇਟਾਬੇਸ ਸਰਵਰ 'ਤੇ rm -rf ਚਲਾਉਂਦਾ ਹੈ, ਅਤੇ GitLab.com ਦੇ ਤਿੰਨ ਸੌ ਗੀਗਾਬਾਈਟ ਇੱਕ ਜਾਂ ਦੋ ਸਕਿੰਟਾਂ ਵਿੱਚ ਗਾਇਬ ਹੋ ਜਾਂਦੇ ਹਨ, ਲਗਭਗ ਓਨਾ ਸਮਾਂ ਜਿੰਨਾ ਇੱਕ ਹੋਸਟਨਾਮ ਪੜ੍ਹਨ ਵਿੱਚ ਲੱਗਦਾ ਹੈ। 31 ਜਨਵਰੀ, 2017, ਰਾਤ 11:27 ਵਜੇ। UTC. GitLab ਟਵੀਟ ਕਰਦਾ ਹੈ ਕਿ ਇਸਨੇ ਗਲਤੀ ਨਾਲ ਉਤਪਾਦਨ ਡੇਟਾ ਨੂੰ ਮਿਟਾ ਦਿੱਤਾ ਹੈ, ਆਪਣੇ ਘਟਨਾ ਨੋਟਸ ਨੂੰ ਇੰਟਰਨੈਟ 'ਤੇ ਖੋਲ੍ਹਦਾ ਹੈ, ਅਤੇ YouTube 'ਤੇ ਰਿਕਵਰੀ ਨੂੰ ਸਟ੍ਰੀਮ ਕਰਦਾ ਹੈ, ਪਲੇਟਫਾਰਮ 'ਤੇ ਦੂਜਾ ਲਾਈਵ ਸਟ੍ਰੀਮ। ਅਗਲੇ ਦਿਨ, ਲਿਖਤੀ ਰੂਪ ਵਿੱਚ: ਪੰਜ ਬੈਕਅੱਪ ਤਕਨੀਕਾਂ ਵਿੱਚੋਂ,
0:25 ਕੋਈ ਵੀ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਕੰਮ ਨਹੀਂ ਕਰ ਰਹੀ ਹੈ। ਇਹ ਕਿਵੇਂ ਹੁੰਦਾ ਹੈ, ਇਹ ਕਿਉਂ ਸੰਭਵ ਹੈ, ਅਤੇ ਅਸਲ ਵਿੱਚ ਦੋਸ਼ ਕਿਸਨੂੰ ਜਾਂਦਾ ਹੈ। ਇਹ The Daily Diff, ਪੋਸਟਮਾਰਟਮ ਹੈ। ਸ਼ਾਮ 5:20: ਇੱਕ ਇੰਜੀਨੀਅਰ ਉਤਪਾਦਨ ਦਾ ਸਨੈਪਸ਼ਾਟ ਲੈਂਦਾ ਹੈ ਸਟੇਜਿੰਗ ਵਿੱਚ ਇੱਕ ਲੋਡ ਬੈਲੈਂਸਰ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ। ਸ਼ਾਮ 7 ਵਜੇ: ਸਪੈਮ ਡੇਟਾਬੇਸ 'ਤੇ ਹਮਲਾ ਕਰਦਾ ਹੈ, ਨਾਲ ਹੀ ਇੱਕ ਨੌਕਰੀ ਇੱਕ ਗਿੱਟਲੈਬ ਕਰਮਚਾਰੀ ਨੂੰ ਸਖਤ-ਡਿਲੀਟ ਕਰਦੀ ਹੈ ਇੱਕ ਟਰੋਲ ਨੇ ਦੁਰਵਰਤੋਂ ਲਈ ਰਿਪੋਰਟ ਕੀਤੀ। ਰਾਤ 11 ਵਜੇ: ਪ੍ਰਤੀਰੂਪ ਇੰਨਾ ਪਿੱਛੇ ਰਹਿ ਜਾਂਦਾ ਹੈ ਕਿ ਪ੍ਰਾਇਮਰੀ ਨੇ ਪਹਿਲਾਂ ਹੀ ਰੱਦ ਕਰ ਦਿੱਤਾ ਹੈ
0:48 ਇਸਨੂੰ ਲੋੜੀਂਦਾ ਲੌਗ; ਇੱਕੋ ਇੱਕ ਹੱਲ ਪ੍ਰਤੀਰੂਪ ਨੂੰ ਪੂੰਝਣਾ ਅਤੇ ਪ੍ਰਾਇਮਰੀ ਦੀ ਨਕਲ ਕਰਨਾ ਹੈ ਦੁਬਾਰਾ। pg_basebackup ਬਿਨਾਂ ਕਿਸੇ ਆਉਟਪੁੱਟ ਦੇ ਲਟਕ ਜਾਂਦਾ ਹੈ। ਇਹ ਅਸਲ ਵਿੱਚ, ਚੁੱਪਚਾਪ, ਪ੍ਰਾਇਮਰੀ ਦੀ ਉਡੀਕ ਕਰ ਰਿਹਾ ਹੈ; ਕੋਈ ਨਹੀਂ ਜਾਣਦਾ, ਅਤੇ ਰਨਬੁੱਕ ਨਹੀਂ ਦੱਸਦੀ। ਇੰਜੀਨੀਅਰ, ਜਿਸਦਾ ਇਰਾਦਾ ਗਿਆਰਾਂ ਵਜੇ ਸਾਈਨ ਆਫ ਕਰਨ ਦਾ ਸੀ, ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਖਾਲੀ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ ਸਮੱਸਿਆ ਹੈ ਅਤੇ ਇਸਨੂੰ ਹਟਾ ਦਿੰਦਾ ਹੈ। db1 'ਤੇ। ਪ੍ਰਾਇਮਰੀ। ਉਹ ਇੱਕ ਜਾਂ ਦੋ ਸਕਿੰਟ ਬਾਅਦ ਨੋਟਿਸ ਕਰਦਾ ਹੈ; ਲਗਭਗ ਤਿੰਨ ਸੌ ਗੀਗਾਬਾਈਟ ਵਿੱਚੋਂ,
1:11 4.5 ਬਾਕੀ ਹਨ। ਬੈਕਅੱਪ। ਇੱਕ: pg_dump S3 'ਤੇ, ਰੋਜ਼ਾਨਾ। ਬਾਲਟੀ ਖਾਲੀ ਹੈ। ਕਰੋਨ ਨੌਕਰੀ ਬਿਨਾਂ ਕਿਸੇ ਡੇਟਾਬੇਸ ਦੇ ਇੱਕ ਐਪ ਸਰਵਰ 'ਤੇ ਚੱਲਦੀ ਹੈ, ਇਸਲਈ ਪੈਕੇਜ ਚੁਣਦਾ ਹੈ 9.6 ਡੇਟਾਬੇਸ ਲਈ PostgreSQL 9.2 ਬਾਈਨਰੀ, ਫੇਲ੍ਹ ਹੋ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਈਮੇਲ ਕਰਦਾ ਹੈ ਅਸਫਲਤਾ, ਜੋ DMARC ਗੁੰਮ ਹੋਣ ਕਾਰਨ ਬਾਊਂਸ ਹੋ ਜਾਂਦੀ ਹੈ। ਦੋ: Azure ਡਿਸਕ ਸਨੈਪਸ਼ਾਟ, ਫਾਈਲ ਸਰਵਰਾਂ ਲਈ ਸਮਰੱਥ, ਡੇਟਾਬੇਸ ਲਈ ਨਹੀਂ।
1:32 ਤਿੰਨ: ਪ੍ਰਤੀਰੂਪ, ਇੱਕ ਘੰਟਾ ਪਹਿਲਾਂ ਜਾਣਬੁੱਝ ਕੇ ਪੂੰਝਿਆ ਗਿਆ। ਚਾਰ: ਰੋਜ਼ਾਨਾ ਸਨੈਪਸ਼ਾਟ, 24 ਘੰਟੇ ਪੁਰਾਣਾ, ਸਟੇਜਿੰਗ ਸਿੰਕ ਦੁਆਰਾ ਹਰੇਕ ਵੈਬਹੂਕ ਹਟਾ ਦਿੱਤਾ ਗਿਆ। ਪੰਜ: 5:20 ਤੋਂ ਮੈਨੂਅਲ ਸਨੈਪਸ਼ਾਟ, ਇੱਕ ਅਸੰਬੰਧਿਤ ਜਾਂਚ ਲਈ। ਉਹ ਇੱਕ ਜਿੱਤਦਾ ਹੈ। ਬਹਾਲ ਕਰਨ ਦਾ ਮਤਲਬ ਹੈ ਸਟੇਜਿੰਗ ਡਿਸਕ ਨੂੰ Azure ਦੇ ਸਸਤੇ 'ਤੇ ਵਾਪਸ ਉਤਪਾਦਨ ਵਿੱਚ ਕਾਪੀ ਕਰਨਾ ਸਟੋਰੇਜ ਸੱਠ ਮੈਗਾਬਿਟ ਪ੍ਰਤੀ ਸਕਿੰਟ 'ਤੇ: ਅਠਾਰਾਂ ਘੰਟੇ। GitLab.com 1 ਫਰਵਰੀ ਨੂੰ ਸ਼ਾਮ ਛੇ ਵਜੇ ਵਾਪਸ ਆ ਗਿਆ ਹੈ। UTC, ਛੇ ਘੰਟੇ ਪੁਰਾਣਾ ਡੇਟਾ।
1:58 git blame: ਇੱਕ ਅੱਖਰ ਦੇ ਫਰਕ ਨਾਲ ਦੋ ਹੋਸਟਨਾਮ, ਅਤੇ ਪੰਜ ਬੈਕਅੱਪ ਸਿਸਟਮ ਜਿਨ੍ਹਾਂ ਤੋਂ ਕਿਸੇ ਨੇ ਕਦੇ ਬਹਾਲ ਨਹੀਂ ਕੀਤਾ। ਇੰਜੀਨੀਅਰ ਨਹੀਂ। ਸੀਈਓ ਦੁਆਰਾ ਹਸਤਾਖਰਿਤ ਪੋਸਟਮਾਰਟਮ, ਉਸਨੂੰ ਗੁਮਨਾਮ ਰੱਖਦਾ ਹੈ, ਉਤਪਾਦਨ ਪ੍ਰੋਂਪਟ ਨੂੰ ਲਾਲ ਰੰਗ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਡੇਟਾ ਦੀ ਟਿਕਾਊਤਾ ਨੂੰ ਇੱਕ ਮਾਲਕ ਦਿੰਦਾ ਹੈ, ਕਿਉਂਕਿ ਹੁਣ ਤੱਕ ਇਸਦਾ ਕੋਈ ਨਹੀਂ ਸੀ। ਧਮਾਕੇ ਦਾ ਘੇਰਾ: ਅਠਾਰਾਂ ਘੰਟੇ ਡਾਊਨ, ਛੇ ਘੰਟੇ ਦਾ ਡੇਟਾ ਗਾਇਬ, ਲਗਭਗ ਪੰਜ ਹਜ਼ਾਰ ਪ੍ਰੋਜੈਕਟ, ਪੰਜ ਹਜ਼ਾਰ ਟਿੱਪਣੀਆਂ,
2:18 ਸੱਤ ਸੌ ਨਵੇਂ ਉਪਭੋਗਤਾ, ਅਤੇ ਪੰਜ ਹਜ਼ਾਰ ਲੋਕ ਇੱਕ ਪ੍ਰਗਤੀ ਪੱਟੀ ਦੇਖ ਰਹੇ ਹਨ। ਹੈਕਰ ਨਿਊਜ਼ ਲਾਈਵ ਡੌਕ ਨੂੰ 1,162 ਅੰਕ ਦਿੰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਲਾਈਨ ਵਾਪਸ ਉਹਨਾਂ ਨੂੰ: ਪੰਜ ਬੈਕਅੱਪ ਵਿੱਚੋਂ, ਕੋਈ ਨਹੀਂ। ਫੈਸਲਾ, ਪੋਸਟਮਾਰਟਮ: SHIP IT, ਜਵਾਬ 'ਤੇ। ਉਹ ਘਟਨਾ ਨੂੰ ਜਨਤਕ ਤੌਰ 'ਤੇ ਚਲਾਉਂਦੇ ਹਨ, ਪ੍ਰਕਿਰਿਆ 'ਤੇ ਦੋਸ਼ ਲਗਾਉਂਦੇ ਹਨ, ਅਤੇ ਫਿਕਸ ਸੂਚੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ ਮੁੱਦੇ ਨੰਬਰਾਂ ਦੇ ਨਾਲ। ਸੋਮਵਾਰ ਦੀ ਕਾਰਵਾਈ: ਇੱਕ ਬੈਕਅੱਪ ਬਹਾਲ ਕਰੋ। ਜੇ ਤੁਸੀਂ ਇਸਨੂੰ ਕਦੇ ਬਹਾਲ ਨਹੀਂ ਕੀਤਾ ਹੈ, ਤਾਂ ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਨਹੀਂ ਹੈ।
2:42 ਮੈਨੂੰ ਉਹ ਘਟਨਾ ਭੇਜੋ ਜਿਸ ਬਾਰੇ ਤੁਹਾਨੂੰ ਅਜੇ ਵੀ ਗੱਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਹੈ, ਟਿੱਪਣੀਆਂ ਵਿੱਚ, ਜਾਂ daily diff dot dev 'ਤੇ। ਅਤੇ ਇਹ ਅੱਜ ਲਈ diff ਹੈ। ਮੈਂ Axrisi ਤੋਂ ਨਿਕੋ ਹਾਂ। ਜ਼ਿੰਮੇਵਾਰੀ ਨਾਲ ਮਰਜ ਕਰੋ।
ਸਰੋਤ
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com
