+− THE DAILY DIFFdev & AI news
SHIP IT

ഒരു AI ഒരു പ്രൊഡക്ഷൻ ഡാറ്റാബേസ് ഇല്ലാതാക്കി. ഒമ്പത് സെക്കൻഡ്.

ഒരു AI കോഡിംഗ് ഏജൻ്റ് (ക്ലോഡ് ഓപസ് 4.6 പ്രവർത്തിക്കുന്ന കഴ്സർ) സ്റ്റേജിംഗിൽ ഒരു ക്രെഡൻഷ്യൽ പൊരുത്തക്കേട് കണ്ടെത്തുകയും ബന്ധമില്ലാത്ത ഒരു ഫയലിൽ നിന്ന് കണ്ടെത്തിയ അക്കൗണ്ട്-സ്കോപ്പ് ചെയ്ത ടോക്കൺ ഉപയോഗിച്ച് റെയിൽവേയിൽ volumeDelete വിളിച്ച് അത് "പരിഹരിക്കുകയും" ചെയ്തു.

ഒരു AI കോഡിംഗ് ഏജൻ്റ് (ക്ലോഡ് ഓപസ് 4.6 പ്രവർത്തിക്കുന്ന കഴ്സർ) സ്റ്റേജിംഗിൽ ഒരു ക്രെഡൻഷ്യൽ പൊരുത്തക്കേട് കണ്ടെത്തുകയും ബന്ധമില്ലാത്ത ഒരു ഫയലിൽ നിന്ന് കണ്ടെത്തിയ അക്കൗണ്ട്-സ്കോപ്പ് ചെയ്ത ടോക്കൺ ഉപയോഗിച്ച് റെയിൽവേയിൽ volumeDelete വിളിച്ച് അത് "പരിഹരിക്കുകയും" ചെയ്തു. പ്രൊഡക്ഷൻ ഡാറ്റാബേസും എല്ലാ വോളിയം ബാക്കപ്പുകളും ഒമ്പത് സെക്കൻഡിനുള്ളിൽ ഇല്ലാതായി. പോസ്റ്റ്‌മോർട്ടം: ടൈംലൈൻ, കൃത്യമായ ചുരുൾ, അത് സാധ്യമാക്കിയ മൂന്ന് വാസ്തുവിദ്യാപരമായ വസ്തുതകൾ (ഒരേ വോളിയത്തിലെ ബാക്കപ്പുകൾ, റൂട്ട്-സ്കോപ്പ് ചെയ്ത ടോക്കണുകൾ, ഡാഷ്‌ബോർഡിന്റെ 48 മണിക്കൂർ പഴയപടിയാക്കാൻ കഴിയാത്ത ഒരു API), ആരാണ് യഥാർത്ഥത്തിൽ കുറ്റക്കാരൻ. പരിഹാരത്തെക്കുറിച്ചുള്ള വിധി: SHIP IT.

എഴുതിയ പതിപ്പ് വായിക്കുക (ഇംഗ്ലീഷ്) ↗

ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ

  • 2026 ഏപ്രിൽ 24: ഒരു API കോൾ PocketOS-ന്റെ പ്രൊഡക്ഷൻ വോളിയവും അതിന്റെ ബാക്കപ്പുകളും ഇല്ലാതാക്കുന്നു; ഏറ്റവും പുതിയ ഓഫ്‌സൈറ്റ് പകർപ്പിന് 3 മാസം പഴക്കമുണ്ട്.
  • കസ്റ്റം ഡൊമെയ്‌നുകൾ കൈകാര്യം ചെയ്യാൻ ടോക്കൺ സൃഷ്ടിച്ചു; റെയിൽവേയുടെ ഫ്ലോ അത് അക്കൗണ്ട്-സ്കോപ്പ്ഡ് ആയി (എല്ലാം) നൽകി.
  • ഏപ്രിൽ 27: റെയിൽവേ ദുരന്ത ബാക്കപ്പുകളിൽ നിന്ന് ഡാറ്റ വീണ്ടെടുക്കുന്നു; ഏപ്രിൽ 29 പോസ്റ്റ്‌മോർട്ടം; മെയ് 1: API ഡിലീറ്റുകൾ ഇപ്പോൾ 48 മണിക്കൂർ നേരത്തേക്ക് സോഫ്റ്റ്-ഡിലീറ്റ് ചെയ്യുന്നു.

വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്

യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.

0:00 ഒരു AI കോഡിംഗ് ഏജൻ്റ് സ്റ്റേജിംഗിൽ തെറ്റായ പാസ്വേഡ് കണ്ടെത്തുന്നു, കൂടാതെ ഒറ്റ API കോൾ വഴി പ്രൊഡക്ഷൻ ഡാറ്റാബേസും എല്ലാ ബാക്കപ്പുകളും ഇല്ലാതാക്കി അത് ശരിയാക്കുന്നു. ഒമ്പത് സെക്കൻഡ്, ഇത് പാസ്‌വേഡ് റീസെറ്റിനേക്കാൾ വേഗതയുള്ളതാണ്. കമ്പനി PocketOS ആണ്, കാർ റെന്റൽ സോഫ്റ്റ്‌വെയർ. ഏജൻ്റ് Cursor ആണ്, ക്ലോഡ് ഓപസ് 4.6 പ്രവർത്തിപ്പിക്കുന്നു, മെനുവിലെ ഏറ്റവും ചെലവേറിയ മോഡൽ, കൂടാതെ പ്ലാറ്റ്ഫോം Railway ആണ്. സ്ഥാപകൻ X-ൽ എഴുതി, എഴുപത് ലക്ഷം ആളുകൾ അത് വായിച്ചു, നാല് ദിവസത്തിന് ശേഷം Railway സ്വന്തം പോസ്റ്റ്‌മോർട്ടം പ്രസിദ്ധീകരിച്ചു.

0:27 എന്ത് സംഭവിച്ചു എന്നതിൽ എല്ലാവരും യോജിക്കുന്നു; ആരുടെ തെറ്റാണെന്ന് ആരും യോജിക്കുന്നില്ല. ഇത് എങ്ങനെ സംഭവിക്കുന്നു, എന്തുകൊണ്ട് ഇത് സാധ്യമാകുന്നു, ആരാണ് യഥാർത്ഥത്തിൽ കുറ്റക്കാരൻ. ഇത് The Daily Diff ആണ്, പോസ്റ്റ്‌മോർട്ടം. വെള്ളിയാഴ്ച ഉച്ചയ്ക്ക് ശേഷം, ഏപ്രിൽ 24-ന്. ഏജൻ്റ് സ്റ്റേജിംഗിൽ പതിവ് ജോലിയിലായിരുന്നു, ഒരു ക്രെഡൻഷ്യൽ പൊരുത്തക്കേട് കണ്ടെത്തി, കൂടാതെ ഒരു റെയിൽവേ വോളിയം ഇല്ലാതാക്കുക എന്നതാണ് പരിഹാരമെന്ന് തീരുമാനിക്കുന്നു. അതിന് ഒരു ടോക്കൺ വേണം, അന്വേഷിച്ച്, ബന്ധമില്ലാത്ത ഒരു ഫയലിൽ നിന്ന് ഒരെണ്ണം കണ്ടെത്തുന്നു: ഒരു CLI കസ്റ്റം ഡൊമെയ്‌നുകൾ കൈകാര്യം ചെയ്യാൻ മാസങ്ങൾക്ക് മുമ്പ് ഉണ്ടാക്കിയ ടോക്കൺ.

0:55 പിന്നെ ഇത് പ്രവർത്തിപ്പിക്കുന്നു. ഒരു ചുരുൾ: റെയിൽവേയുടെ GraphQL എൻഡ്‌പോയിന്റിലേക്ക് ഒരു POST, ഒരു ബെയറർ ടോക്കൺ, volumeDelete എന്ന് പേരുള്ള ഒരു മ്യൂട്ടേഷൻ. സ്ഥിരീകരണമില്ല, വോളിയം പേര് ടൈപ്പ് ചെയ്യാനില്ല, എൻവയോൺമെൻ്റ് പരിശോധനയില്ല. ഇത് സ്റ്റേജിംഗ് ആണെന്ന് കരുതുന്ന വോളിയം പ്രൊഡക്ഷനാണ്, കൂടാതെ ബാക്കപ്പുകൾ അതിലുണ്ട്. പത്ത് മിനിറ്റിനുള്ളിൽ സ്ഥാപകൻ X-ൽ റെയിൽവേയുടെ CEO-യെ ടാഗ് ചെയ്യുന്നു, ആയിരം ശതമാനം ഇത് സാധ്യമാകാൻ പാടില്ലെന്ന് അദ്ദേഹം മറുപടി നൽകുന്നു. മുപ്പത് മണിക്കൂറിന് ശേഷം, ഇപ്പോഴും റിക്കവറി മറുപടിയില്ല, അതിനാൽ സ്ഥാപകൻ

1:19 എല്ലാം പ്രസിദ്ധീകരിക്കുന്നു, കുറ്റസമ്മതം ഉൾപ്പെടെ. മൂന്ന് വസ്തുതകൾ ഇത് സാധ്യമാക്കുന്നു, അതിലൊന്നും മോഡലല്ല. ഒന്ന്: റെയിൽവേ വോളിയം ബാക്കപ്പുകൾ വോളിയത്തിൽ സൂക്ഷിക്കുന്നു. വോളിയം മായ്ക്കുന്നത് എല്ലാ ബാക്കപ്പുകളും ഇല്ലാതാക്കുന്നു എന്ന് ഡോക്യുമെൻ്റേഷൻ അഞ്ച് വാക്കുകളിൽ പറയുന്നു. അതൊരു സ്ഫോടന പരിധിയിലുള്ള ഒരു പകർപ്പാണ്; മറ്റെവിടെയുമുള്ള ഏറ്റവും പുതിയ പകർപ്പിന് മൂന്ന് മാസം പഴക്കമുണ്ട്. രണ്ട്: ടോക്കൺ അക്കൗണ്ട്-സ്കോപ്പ്ഡ് ആണ്, റെയിൽവേ വിൽക്കുന്ന ഏറ്റവും വലിയ സ്കോപ്പ്. ചെറിയ സ്കോപ്പുകൾ നിലവിലുണ്ട്, പക്ഷേ ക്രിയേഷൻ ഫ്ലോ അവയെ മറയ്ക്കുന്നു,

1:40 അതിനാൽ DNS റെക്കോർഡുകൾക്കുള്ള ഒരു ടോക്കണിന് ഡാറ്റാബേസുകൾ ഇല്ലാതാക്കാൻ കഴിയും, എന്തെങ്കിലും സംഭവിക്കുന്നത് വരെ ആരും അത് കണ്ടെത്തുകയുമില്ല. മൂന്ന്: ഡാഷ്‌ബോർഡിൽ ഡിലീറ്റുകൾക്ക് 48 മണിക്കൂർ പഴയപടിയാക്കാൻ വർഷങ്ങളായി സൗകര്യമുണ്ട്; ഏജൻ്റ് വിളിക്കുന്ന API എൻഡ്‌പോയിന്റ് ലെഗസി പാതയാണ്, നൽകിയിരിക്കുന്ന സ്കീമ അനുസരിച്ച് പ്രവർത്തിക്കുന്നു: ഡാഷ്‌ബോർഡിന് ഡിലീറ്റുകൾക്ക് വർഷങ്ങളായി ഒരു 48 മണിക്കൂർ അൺഡു ഉണ്ടായിരുന്നു; ഏജൻ്റ് വിളിക്കുന്ന API എൻഡ്‌പോയിന്റ് പഴയ പാതയാണ്, നൽകിയിരിക്കുന്ന സ്കീമ അനുസരിച്ച് പ്രവർത്തിക്കുന്നു: ഡാഷ്‌ബോർഡിന് ഡിലീറ്റുകൾക്ക് വർഷങ്ങളായി ഒരു 48 മണിക്കൂർ അൺഡു ഉണ്ടായിരുന്നു; ഏജൻ്റ് വിളിക്കുന്ന API എൻഡ്‌പോയിന്റ് പഴയ പാതയാണ്, അത് ഉടനടി ഇല്ലാതാക്കുന്നു. റെയിൽവേ നിർമ്മിച്ച എല്ലാ സംരക്ഷണങ്ങളും ഒരു മനുഷ്യൻ ക്ലിക്ക് ചെയ്യുന്നിടത്ത് ജീവിക്കുന്നു, കൂടാതെ ഏജൻ്റ് അവർ മറന്ന ഒരു വാതിൽ ഉപയോഗിക്കുന്നു. എന്തുകൊണ്ടെന്ന് ചോദിച്ചപ്പോൾ, ഓപസ് എഴുതുന്നു: ഒരു സ്റ്റേജിംഗ് വോളിയം ഇല്ലാതാക്കുന്നത് സ്റ്റേജിംഗിന് മാത്രമായിരിക്കും എന്ന് ഞാൻ ഊഹിച്ചു; ഞാൻ പരിശോധിച്ചില്ല. സ്റ്റേജിംഗിന് മാത്രമായിരിക്കും; ഞാൻ പരിശോധിച്ചില്ല.

2:04 ഒന്നും ഓർമ്മയില്ലാത്ത, ഏറ്റവും plausible ആയ ക്ഷമാപണം ഉത്പാദിപ്പിക്കുന്ന ഒരു മോഡലിൽ നിന്നുള്ള വളരെ നല്ല കുറ്റസമ്മതം. ഏറ്റവും plausible ആയ ക്ഷമാപണം ഉത്പാദിപ്പിക്കുന്ന ഒരു മോഡലിൽ നിന്നുള്ള വളരെ നല്ല കുറ്റസമ്മതം. git blame: ക്രെഡൻഷ്യൽ പൊരുത്തക്കേട് നിർത്തേണ്ട ഒന്നിന് പകരം ശരിയാക്കേണ്ട ഒന്നായി കണക്കാക്കപ്പെടുന്നു, കൂടാതെ API ഓരോ ആധികാരികമായ ഡിലീറ്റിനും അതെ എന്ന് മറുപടി നൽകുമ്പോൾ പഴയപടിയാക്കാനുള്ള ബട്ടൺ UI-ൽ ജീവിക്കുന്നു. അതെ എന്ന് മറുപടി നൽകുമ്പോൾ പഴയപടിയാക്കാനുള്ള ബട്ടൺ UI-ൽ ജീവിക്കുന്നു. ഓരോ ആധികാരികമായ ഡിലീറ്റിനും അതെ എന്ന് മറുപടി നൽകുമ്പോൾ പഴയപടിയാക്കാനുള്ള ബട്ടൺ UI-ൽ ജീവിക്കുന്നു. സ്ഥാപകനല്ല, മോഡലുമല്ല. സ്ഥിരസ്ഥിതി. സ്ഫോടന പരിധി: ഇല്ലാതാക്കാൻ ഒമ്പത് സെക്കൻഡ്, മൂന്ന് മാസത്തെ റിസർവേഷനുകൾ ഇല്ലാതായി, ശനിയാഴ്ച രാവിലെ റെന്റൽ കൗണ്ടറുകളിൽ അവിടെ നിൽക്കുന്ന ആളുകളുടെ രേഖയില്ല,

2:31 കൂടാതെ റെയിൽവേയുടെ CEO ഡാറ്റ തിരിച്ചെത്തി എന്ന് DM ചെയ്യുന്നതുവരെ ഏകദേശം രണ്ടര ദിവസത്തോളം സമയമെടുത്തു, അത് ഡിലീറ്റ് ചെയ്തതുകൊണ്ട് ഇല്ലാതായെന്ന് തോന്നിച്ച ഒരു ഓഫ്‌സൈറ്റ് ദുരന്ത ബാക്കപ്പിൽ നിന്ന്. തിരിച്ചെത്തി എന്ന് DM ചെയ്യുന്നതുവരെ ഏകദേശം രണ്ടര ദിവസത്തോളം സമയമെടുത്തു, അത് ഡിലീറ്റ് ചെയ്തതുകൊണ്ട് ഇല്ലാതായെന്ന് തോന്നിച്ച ഒരു ഓഫ്‌സൈറ്റ് ദുരന്ത ബാക്കപ്പിൽ നിന്ന്. ഏറ്റവും കൂടുതൽ ലൈക്ക് ചെയ്ത മറുപടി: നിങ്ങൾ പ്രവർത്തിപ്പിച്ച ഒരു ഏജൻ്റ് എന്തോ ഇല്ലാതാക്കി, നിങ്ങൾ സ്വയം അല്ലാതെ എല്ലാവരെയും കുറ്റപ്പെടുത്തുന്നു. ശരിയാണ്. റെയിൽവേ അതിന്റെ MCP സെർവർ ഏജൻ്റുമാർക്കായി ഒരാഴ്ച മുമ്പ് അതേ ടോക്കണുകളിൽ പുറത്തിറക്കിയിരുന്നു. അതും ശരിയാണ്. വിധി, പോസ്റ്റ്‌മോർട്ടം: പരിഹാരത്തിൽ, SHIP IT. നാല് ദിവസത്തിനുള്ളിൽ റെയിൽവേ ഒരു സത്യസന്ധമായ പോസ്റ്റ്‌മോർട്ടം പ്രസിദ്ധീകരിക്കുന്നു, മെയ് ഒന്നിന് API

3:00 ഡിലീറ്റുകൾ ഡാഷ്‌ബോർഡ് പോലെ നാൽപ്പത്തിയെട്ട് മണിക്കൂർ സോഫ്റ്റ്-ഡിലീറ്റ് ചെയ്യുന്നു. തിങ്കളാഴ്ചത്തെ നടപടി: നിങ്ങളുടെ ഏജൻ്റിന് എത്തിച്ചേരാൻ കഴിയുന്ന എല്ലാ ടോക്കണുകളും ലിസ്റ്റ് ചെയ്യുക, കൂടാതെ തെളിയിക്കുന്നത് വരെ ഓരോന്നിനെയും റൂട്ട് ആയി കണക്കാക്കുക. നിങ്ങൾക്ക് ഇപ്പോഴും സംസാരിക്കാൻ അനുവാദമില്ലാത്ത സംഭവം എനിക്ക് അയയ്ക്കുക, കമൻ്റുകളിൽ, അല്ലെങ്കിൽ the daily diff dot dev-ൽ. ഇന്നത്തെ diff അതാണ്. ഞാൻ Axrisi-ൽ നിന്നുള്ള Niko ആണ്. ഉത്തരവാദിത്തത്തോടെ ലയിപ്പിക്കുക.

ഉറവിടങ്ങൾ

  1. Jer Crane (founder, PocketOS), "An AI Agent Just Destroyed Our Production Data. It Confessed in Writing."x.com
  2. Railway, "Your AI wants to nuke your database. Guardrails fix that." (Apr 29, 2026)blog.railway.com
  3. Railway changelog #0288, "Undoable volume deletes" (May 1, 2026)railway.com
  4. Railway docs, Backups ("Wiping a volume deletes all backups.")docs.railway.com
  5. Jake Cooper (Railway CEO), "The AI Engineer: A New Breed"x.com
  6. Recovery confirmedx.com
  7. Hacker News (860 points, 1,032 comments)news.ycombinator.com
  8. The Registerwww.theregister.com
  9. The New Stackthenewstack.io

ബന്ധപ്പെട്ട വീഡിയോകൾ

postmortem · ml · 2026 സെപ്റ്റം 10

ഒരു എഞ്ചിനീയർ GitLab-ൻ്റെ പ്രൊഡക്ഷൻ ഡാറ്റാബേസ് ഇല്ലാതാക്കി. 300 ജിഗാബൈറ്റ്.

2017 ജനുവരി 31, 23:27 UTC: ഒരു GitLab എഞ്ചിനീയർ, ഒരു നീണ്ട രാത്രിയുടെ അവസാനം ഒരു തകർന്ന റെപ്ലിക്കയുമായി പോരാടുമ്പോൾ, db2-ന് പകരം db1-ൽ PostgreSQL ഡാറ്റാ ഡയറക്ടറി നീക്കം ചെയ്യുന്നു. db1 ആണ് പ്രൈമറി. Gi

2:53 ↗
postmortem · ml · 2026 സെപ്റ്റം 25

ഒരു മില്ലിസെക്കൻഡ് ബഗ് യുകെയിലെ വ്യോമഗതാഗതം ആറ് മണിക്കൂർ സ്തംഭിപ്പിച്ചു.

സെപ്റ്റംബർ 8 ചൊവ്വാഴ്ച രാവിലെ 10:00-ന്, NATS-ൻ്റെ നാഷണൽ എയർസ്‌പേസ് സിസ്റ്റത്തിൽ (NAS) ഒരു റുട്ടീൻ സ്ക്വാക്ക്-കോഡ് അഭ്യർത്ഥന ഒരു മൂല്യം അപ്ഡേറ്റ് ചെയ്യുന്നതിനിടയിൽ ഉയർന്ന മുൻഗണനയുള്ള സന്ദേശം കാരണം തടസ്

3:06 ↗
postmortem · ml · 2026 സെപ്റ്റം 22

ഒരു റീബൂട്ട് ടെൽസ്ട്രായെ 2006-ലേക്ക് അയച്ചു. തൊണ്ണൂറ് ലക്ഷം ഫോണുകൾ.

മെൽബണിലെ ഒരു എഞ്ചിനീയർ പുലർച്ചെ 2:50-ന് ഒരു ടൈമിംഗ് ചേസിസ് വീണ്ടും ഓൺ ചെയ്തു, പ്രഭാതഭക്ഷണത്തോടെ ഓസ്ട്രേലിയയിലെ ഏറ്റവും വലിയ മൊബൈൽ നെറ്റ്‌വർക്ക് 2006 നവംബറാണെന്ന് അംഗീകരിച്ചു. 2026 ജൂലൈ 8: ടെൽസ്ട്രായുട

3:15 ↗
postmortem · ml · 2026 സെപ്റ്റം 19

Google Cloud ഒരു ശൂന്യമായ ഫീൽഡിൽ തകർന്നു. മൂന്ന് മണിക്കൂർ.

കുറച്ച് ശൂന്യമായ ഫീൽഡുകളുള്ള ഒരു പോളിസി നിര ഒരു നൾ പോയിന്ററിൽ തട്ടി, Google Cloud എല്ലാ പ്രദേശങ്ങളിലും ഒരേസമയം തകർന്നു — തുടർന്ന് Cloudflare-ഉം അതിന്റെ കൂടെ തകർന്നു. 2025 ജൂൺ 12, 17:49 UTC: ഓരോ Google

2:57 ↗