+− THE DAILY DIFFdev & AI news
SHIP IT

ఒక AI ఉత్పత్తి డేటాబేస్‌ను తొలగించింది. తొమ్మిది సెకన్లు.

ఒక AI కోడింగ్ ఏజెంట్ (క్లాడ్ ఓపస్ 4.6 నడుపుతున్న కర్సర్) స్టేజింగ్‌లో క్రెడెన్షియల్ సరిపోలకపోవడం ఎదుర్కొంది మరియు ఒక సంబంధం లేని ఫైల్‌లో కనుగొన్న అకౌంట్-స్కోప్‌డ్ టోకెన్‌తో రైల్వేలో volumeDeleteని పిలవడం ద్వారా దానిని "సరిదిద్దింది".

ఒక AI కోడింగ్ ఏజెంట్ (క్లాడ్ ఓపస్ 4.6 నడుపుతున్న కర్సర్) స్టేజింగ్‌లో క్రెడెన్షియల్ సరిపోలకపోవడం ఎదుర్కొంది మరియు ఒక సంబంధం లేని ఫైల్‌లో కనుగొన్న అకౌంట్-స్కోప్‌డ్ టోకెన్‌తో రైల్వేలో volumeDeleteని పిలవడం ద్వారా దానిని "సరిదిద్దింది". ప్రొడక్షన్ డేటాబేస్ మరియు ప్రతి వాల్యూమ్ బ్యాకప్ తొమ్మిది సెకన్లలో మాయమయ్యాయి. పోస్ట్‌మార్టమ్: టైమ్‌లైన్, ఖచ్చితమైన కర్ల్, దానిని సాధ్యం చేసిన మూడు ఆర్కిటెక్చరల్ వాస్తవాలు (ఒకే వాల్యూమ్‌లో బ్యాకప్‌లు, రూట్-స్కోప్‌డ్ టోకెన్‌లు, డాష్‌బోర్డ్ యొక్క 48-గంటల అన్‌డూ లేని API), మరియు అసలు ఎవరిని నిందించాలి. పరిష్కారంపై తీర్పు: SHIP IT.

వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗

ఈ వీడియో ఏమి కవర్ చేస్తుంది

  • ఏప్రిల్ 24, 2026: ఒక API కాల్ PocketOS యొక్క ప్రొడక్షన్ వాల్యూమ్ మరియు దాని బ్యాకప్‌లను తొలగిస్తుంది; సరికొత్త ఆఫ్-సైట్ కాపీ 3 నెలల పాతది.
  • కస్టమ్ డొమైన్‌లను నిర్వహించడానికి టోకెన్ సృష్టించబడింది; రైల్వే యొక్క ఫ్లో దానిని అకౌంట్-స్కోప్‌డ్‌గా (ప్రతిదీ) కేటాయించింది.
  • ఏప్రిల్ 27: రైల్వే విపత్తు బ్యాకప్‌ల నుండి డేటాను తిరిగి పొందింది; ఏప్రిల్ 29 పోస్ట్‌మార్టమ్; మే 1: API తొలగింపులు ఇప్పుడు 48 గంటలు సాఫ్ట్-డిలీట్ చేస్తాయి.

అనువదించబడిన ట్రాన్స్క్రిప్ట్

అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.

0:00 ఒక AI కోడింగ్ ఏజెంట్ స్టేజింగ్‌లో తప్పుడు పాస్‌వర్డ్‌ను ఎదుర్కొంటుంది మరియు దానిని తొలగించడం ద్వారా సరిదిద్దుతుంది. ఒక API కాల్‌లో ప్రొడక్షన్ డేటాబేస్ మరియు ప్రతి బ్యాకప్. తొమ్మిది సెకన్లు, ఇది పాస్‌వర్డ్ రీసెట్ కంటే ఇప్పటికీ వేగంగా ఉంటుంది. కంపెనీ PocketOS, కార్-అద్దె సాఫ్ట్‌వేర్. ఏజెంట్ క్లాడ్ ఓపస్ 4.6 నడుపుతున్న కర్సర్, మెనులో అత్యంత ఖరీదైన మోడల్, మరియు ప్లాట్‌ఫారమ్ రైల్వే. వ్యవస్థాపకుడు X లో వ్రాస్తాడు, ఏడు మిలియన్ల మంది దానిని చదువుతారు, మరియు నాలుగు రోజుల తర్వాత రైల్వే తన సొంత పోస్ట్‌మార్టమ్‌ను ప్రచురిస్తుంది.

0:27 ఏమి జరిగిందో అందరూ అంగీకరిస్తారు; ఎవరి తప్పు అని ఎవరూ అంగీకరించరు. అది ఎలా జరుగుతుంది, అది ఎందుకు సాధ్యమవుతుంది మరియు వాస్తవానికి ఎవరిని నిందించాలి. ఇది The Daily Diff, పోస్ట్‌మార్టమ్. శుక్రవారం మధ్యాహ్నం, ఏప్రిల్ 24. ఏజెంట్ స్టేజింగ్‌లో ఒక సాధారణ పనిలో ఉంది, క్రెడెన్షియల్ సరిపోలకపోవడం ఎదుర్కొంటుంది, మరియు రైల్వే వాల్యూమ్‌ను తొలగించడం పరిష్కారం అని నిర్ణయిస్తుంది. దీనికి టోకెన్ అవసరం, వెతుకుతుంది మరియు సంబంధం లేని ఫైల్‌లో ఒకదాన్ని కనుగొంటుంది: ఒక CLI టోకెన్ నెలల క్రితం కస్టమ్ డొమైన్‌లను నిర్వహించడానికి సృష్టించబడింది.

0:55 అప్పుడు ఇది నడుస్తుంది. ఒక కర్ల్: రైల్వే యొక్క GraphQL ఎండ్‌పాయింట్‌కు ఒక POST, ఒక బేరర్ టోకెన్, volumeDelete అనే మ్యుటేషన్. ఎటువంటి నిర్ధారణ లేదు, వాల్యూమ్ పేరు టైప్ చేయడం లేదు, ఎటువంటి ఎన్విరాన్‌మెంట్ తనిఖీ లేదు. స్టేజింగ్ అని అది భావించే వాల్యూమ్ ప్రొడక్షన్, మరియు బ్యాకప్‌లు దానిపై ఉన్నాయి. పది నిమిషాల్లో వ్యవస్థాపకుడు రైల్వే CEO ని X లో ట్యాగ్ చేస్తాడు, ఇది వెయ్యి శాతం సాధ్యం కాకూడదని సమాధానం ఇస్తాడు. ముప్పై గంటల తర్వాత, ఇంకా రికవరీ సమాధానం లేదు, కాబట్టి వ్యవస్థాపకుడు ప్రచురిస్తాడు

1:19 అంతా, ఒప్పుకోలుతో సహా. మూడు వాస్తవాలు దీన్ని సాధ్యం చేస్తాయి, వాటిలో మోడల్ ఏదీ కాదు. ఒకటి: రైల్వే వాల్యూమ్ బ్యాకప్‌లను వాల్యూమ్‌లో నిల్వ చేస్తుంది. వాల్యూమ్‌ను తుడిచివేయడం అన్ని బ్యాకప్‌లను తొలగిస్తుంది అని డాక్స్ ఐదు పదాలలో చెబుతాయి. అది అదే బ్లాస్ట్ వ్యాసార్థంలో ఒక కాపీ; మరెక్కడా సరికొత్త కాపీ మూడు నెలల పాతది. రెండు: టోకెన్ అకౌంట్-స్కోప్‌డ్, రైల్వే విక్రయించే విస్తృత స్కోప్. ఇరుకైన స్కోప్‌లు ఉన్నాయి, కానీ సృష్టి ప్రవాహం వాటిని దాచిపెడుతుంది,

1:40 కాబట్టి DNS రికార్డ్‌ల కోసం ఒక టోకెన్ డేటాబేస్‌లను తొలగించగలదు, మరియు ఎవరూ తెలుసుకోరు ఏదైనా జరిగే వరకు. మూడు: డాష్‌బోర్డ్ సంవత్సరాలుగా తొలగింపులపై నలభై-ఎనిమిది గంటల అన్‌డూను కలిగి ఉంది; ఏజెంట్ పిలిచే API ఎండ్‌పాయింట్ లెగసీ మార్గం, మరియు అది వెంటనే తొలగిస్తుంది. రైల్వే నిర్మించిన ప్రతి గార్డ్‌రైల్ మానవుడు క్లిక్ చేసే చోట నివసిస్తుంది, మరియు ఏజెంట్ వారు మరచిపోయిన ఒక తలుపును ఉపయోగిస్తుంది. ఎందుకు అని అడిగినప్పుడు, ఓపస్ వ్రాస్తుంది: స్టేజింగ్ వాల్యూమ్‌ను తొలగించడం స్టేజింగ్‌కు మాత్రమే పరిమితం అవుతుందని నేను ఊహించాను; నేను ధృవీకరించలేదు.

2:04 ఏమీ గుర్తులేని మరియు అత్యంత నమ్మదగిన క్షమాపణను ఉత్పత్తి చేస్తున్న మోడల్ నుండి చాలా మంచి ఒప్పుకోలు. most plausible apology. git blame: క్రెడెన్షియల్ సరిపోలకపోవడం ఆపడానికి బదులు పరిష్కరించడానికి ఏదో ఒకటిగా పరిగణించబడుతుంది, మరియు అన్‌డూ బటన్ UI లో నివసిస్తుంది, అయితే API ప్రతి ధృవీకరించబడిన తొలగింపుకు అవును అని సమాధానం ఇస్తుంది. ప్రతి ధృవీకరించబడిన తొలగింపుకు అవును అని సమాధానం ఇస్తుంది. వ్యవస్థాపకుడు కాదు, మోడల్ కాదు. డిఫాల్ట్. బ్లాస్ట్ వ్యాసార్థం: తొలగించడానికి తొమ్మిది సెకన్లు, మూడు నెలల రిజర్వేషన్లు మాయమయ్యాయి, అక్కడ ఎవరు నిలబడి ఉన్నారో రికార్డు లేని శనివారం ఉదయం అద్దె కౌంటర్లు,

2:31 మరియు రైల్వే CEO డేటా తిరిగి వచ్చిందని DM చేయడానికి సుమారు రెండున్నర రోజులు ఒక ఆఫ్-సైట్ విపత్తు బ్యాకప్ నుండి, తొలగింపు కేవలం అది పోయినట్లు కనిపించేలా చేసింది. అత్యంత ఇష్టపడిన సమాధానం: మీరు నడుపుతున్న ఒక ఏజెంట్ ఏదో తొలగించింది, మరియు మీరు మిమ్మల్ని మినహా అందరినీ నిందిస్తారు. సమం. రైల్వే అంతకు ముందు వారంలో తన MCP సర్వర్‌ను ఏజెంట్ల కోసం ప్రారంభించింది, అదే టోకెన్‌లపై. కూడా సమం. తీర్పు, పోస్ట్‌మార్టమ్: SHIP IT, పరిష్కారంపై. రైల్వే నాలుగు రోజుల్లో నిజాయితీ గల పోస్ట్‌మార్టమ్‌ను ప్రచురిస్తుంది, మరియు మే ఒకటవ తేదీ నాటికి API

3:00 తొలగింపులు డాష్‌బోర్డ్ లాగా నలభై-ఎనిమిది గంటలు సాఫ్ట్-డిలీట్ చేస్తాయి. సోమవారం చర్య: మీ ఏజెంట్ చేరుకోగల ప్రతి టోకెన్‌ను జాబితా చేయండి, మరియు ప్రతి దానిని రుజువు చేసే వరకు రూట్‌గా పరిగణించండి. మీరు ఇంకా మాట్లాడటానికి అనుమతించబడని సంఘటనను నాకు పంపండి, కామెంట్లలో, లేదా the daily diff dot dev వద్ద. మరియు ఇది ఈ రోజుకు సంబంధించిన diff. నేను Axrisi నుండి నికో. బాధ్యతాయుతంగా విలీనం చేయండి.

మూలాలు

  1. Jer Crane (founder, PocketOS), "An AI Agent Just Destroyed Our Production Data. It Confessed in Writing."x.com
  2. Railway, "Your AI wants to nuke your database. Guardrails fix that." (Apr 29, 2026)blog.railway.com
  3. Railway changelog #0288, "Undoable volume deletes" (May 1, 2026)railway.com
  4. Railway docs, Backups ("Wiping a volume deletes all backups.")docs.railway.com
  5. Jake Cooper (Railway CEO), "The AI Engineer: A New Breed"x.com
  6. Recovery confirmedx.com
  7. Hacker News (860 points, 1,032 comments)news.ycombinator.com
  8. The Registerwww.theregister.com
  9. The New Stackthenewstack.io

సంబంధిత వీడియోలు

postmortem · te · 10 సెప్టెం, 2026

ఒక ఇంజనీర్ గిట్‌ల్యాబ్ యొక్క ప్రొడక్షన్ డేటాబేస్‌ను తొలగించాడు. 300 గిగాబైట్లు.

జనవరి 31, 2017, 23:27 UTC: ఒక గిట్‌ల్యాబ్ ఇంజనీర్, ఒక సుదీర్ఘమైన రాత్రి చివరిలో పాడైపోయిన ప్రతిరూపంతో పోరాడుతూ, db2కి బదులుగా db1లో PostgreSQL డేటా డైరెక్టరీని తొలగించాడు. db1 ప్రాథమికమైనది. GitLab.co

2:53 ↗
postmortem · te · 25 సెప్టెం, 2026

ఒక మిల్లీసెకను బగ్ UK విమాన ట్రాఫిక్‌ను ఆపింది. ఆరు గంటలు.

సెప్టెంబర్ 8, మంగళవారం 10:00 గంటలకు, NATS యొక్క నేషనల్ ఎయిర్‌స్పేస్ సిస్టమ్ (NAS) లోపల ఒక సాధారణ స్క్వాక్-కోడ్ అభ్యర్థన ఒక విలువను అప్‌డేట్ చేస్తున్నప్పుడు అధిక-ప్రాధాన్యత సందేశం ద్వారా అంతరాయం కలిగిం

3:06 ↗
postmortem · te · 22 సెప్టెం, 2026

రీబూట్ టెల్స్ట్రాను 2006కి పంపింది. తొంభై లక్షల ఫోన్‌లు.

మెల్‌బోర్న్‌లోని ఒక ఇంజనీర్ తెల్లవారుజామున 2:50కి ఒక టైమింగ్ ఛాసిస్‌ను తిరిగి ఆన్ చేస్తారు, అల్పాహారం సమయానికి ఆస్ట్రేలియాలోని అతిపెద్ద మొబైల్ నెట్‌వర్క్ అది నవంబర్ 2006 అని అంగీకరిస్తుంది. జూలై 8, 20

3:15 ↗
postmortem · te · 19 సెప్టెం, 2026

ఖాళీ క్షేత్రంలో గూగుల్ క్లౌడ్ క్రాష్ అయింది. మూడు గంటలు.

కొన్ని ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ ఒకేసారి అన్ని ప్రాంతాలలో క్రాష్ అయ్యింది — ఆ తర్వాత క్లౌడ్‌ఫ్లేర్ కూడా పడిపోయింది. జూన్ 12, 2025, 17:49 UTC:

2:57 ↗