+− THE DAILY DIFFdev & AI news
SHIP IT

Një AI fshiu një bazë të dhënash prodhimi. Nëntë sekonda.

Një agjent kodimi AI (Cursor që përdor Claude Opus 4.6) has një mospërputhje kredenciale në staging dhe e "rregullon" atë duke thirrur volumeDelete në Railway me një shenjë me shtrirje llogarie që e gjeti në një skedar të palidhur.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Një agjent kodimi AI (Cursor që përdor Claude Opus 4.6) has një mospërputhje kredenciale në staging dhe e "rregullon" atë duke thirrur volumeDelete në Railway me një shenjë me shtrirje llogarie që e gjeti në një skedar të palidhur. Baza e të dhënave të prodhimit dhe çdo kopje rezervë e volumit, u zhdukën në nëntë sekonda. Pas vdekjes: afati kohor, curl-i i saktë, tre faktet arkitekturore që e bënë të mundur (kopjet rezervë në të njëjtin volum, shenjat me shtrirje rrënjësore, një API pa anulimin 48-orësh të pultit), dhe kush e ka vërtet fajin. Vendimi për rregullimin: SHIP IT.

Lexoni edicionin e shkruar (anglisht) ↗

Çfarë mbulon kjo video

  • 24 prill 2026: një thirrje API fshin volumin e prodhimit të PocketOS dhe kopjet e tij rezervë; kopja më e re jashtë vendit është 3 muajshe
  • Shenja u krijua për të menaxhuar domenet me porosi; rrjedha e Railway e dha atë me shtrirje llogarie (gjithçka)
  • 27 prill: Railway rikuperon të dhënat nga kopjet rezervë të fatkeqësive; 29 prill pas vdekjes; 1 maj: fshirjet e API-së tani fshijnë butësisht për 48 orë

Pyetje dhe përgjigje

Si e fshiu një agjent kodimi i inteligjencës artificiale një bazë të dhënash të prodhimit dhe kopjet rezervë të saj në nëntë sekonda?

Më 24 prill, një agjent në Cursor që përdorte Claude Opus 4.6 hasi një mospërputhje kredencialesh në "staging" dhe vendosi të fshinte një volum të Railway. Gjeti një token CLI të palidhur dhe dërgoi një thirrje volumeDelete në pikën fundore GraphQL të Railway, pa konfirmim apo kontroll mjedisi. Volumi që ai supozoi se ishte "staging" ishte prodhimi, dhe kopjet rezervë ishin ruajtur në të.

x.com · blog.railway.com

Pse zhduken kopjet rezervë të ruajtura në të njëjtin volum kur fshihet volumi?

Një kopje rezervë në të njëjtin volum ndan rrezen e shpërthimit. Dokumentacioni i backup-it të Railway thekson se fshirja e një volumi fshin të gjitha kopjet rezervë. Në incidentin e PocketOS, kopja më e re e ruajtur diku tjetër ishte tre muaj e vjetër. Të dhënat u kthyen nga një backup katastrofe jashtë vendit që CEO i Railway konfirmoi më 27 prill.

docs.railway.com · x.com · blog.railway.com

Pse një token API i krijuar për domene të personalizuara mund të fshinte një bazë të dhënash?

Tokeni u krijua muaj më parë për të menaxhuar domene të personalizuara, por fluksi i krijimit të Railway e vendosi atë me fushëveprim të kufizuar në llogari, fushëveprimi më i gjerë që shet. Episodi thotë se ekzistojnë fushëveprime më të ngushta, por fluksi i fsheh ato, kështu që një token për regjistrat DNS mund të fshinte bazat e të dhënave. Askush nuk e vuri re derisa diçka ndodhi.

x.com · blog.railway.com

Pse funksioni 'undo' i panelit të kontrollit nuk mbrojti kundër fshirjes së API-së?

Paneli i kontrollit i Railway ka pasur një funksion 'undo' dyzet e tetë-orësh për fshirjet prej vitesh, por pika fundore e API-së që thirri agjenti ishte rruga trashëgimore dhe fshinte menjëherë. Çdo pengesë ishte aty ku klikon një njeri. Më 1 maj, Railway ndryshoi fshirjet e API-së në "soft-delete" për 48 orë, siç bënte tashmë paneli i kontrollit, sipas historikut të ndryshimeve të saj.

blog.railway.com · railway.com

Çfarë duhet të ndryshojnë ekipet pas incidentit të fshirjes së bazës së të dhënave PocketOS?

Vendimi i The Daily Diff ishte SHIP IT, për rregullimin. Railway publikoi një postmortem të sinqertë brenda katër ditësh dhe i bëri fshirjet e API-së të rikuperueshme për dyzet e tetë orë. Veprimi i episodit për ekipet është të listojnë çdo token që një agjent mund të arrijë dhe ta trajtojnë secilin prej tyre si "root" derisa të vërtetohet ndryshe. Ai ia vuri fajin cilësimeve të parazgjedhura, dhe nuk përmendi as themeluesin, as modelin.

blog.railway.com · railway.com · x.com

Transkript i përkthyer

Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.

0:00 Një agjent kodimi AI has një fjalëkalim të gabuar në staging, dhe e rregullon duke fshirë bazën e të dhënave të prodhimit dhe çdo kopje rezervë në një thirrje API. Nëntë sekonda, që është ende më shpejt se rivendosja e fjalëkalimit. Kompania është PocketOS, softuer për makina me qira. Agjenti është Cursor që përdor Claude Opus 4.6, modeli më i shtrenjtë në menunë, dhe platforma është Railway. Themeluesi e shkruan në X, shtatë milionë njerëz e lexojnë, dhe katër ditë më vonë Railway publikon postmortem-in e vet.

0:27 Të gjithë bien dakord për atë që ndodhi; askush nuk bie dakord se kush e ka fajin. Si ndodh, pse është e mundur, dhe kush e ka vërtet fajin. Ky është The Daily Diff, pas vdekjes. E premte pasdite, 24 prill. Agjenti është në një detyrë rutinë në staging, has një mospërputhje kredenciale, dhe vendos që rregullimi është fshirja e një volumi Railway. I duhet një shenjë, shkon e kërkon, dhe gjen një në një skedar të palidhur: një CLI shenjë e krijuar muaj më parë për të menaxhuar domenet me porosi.

0:55 Pastaj e ekzekuton këtë. Një curl: një POST në pikën fundore GraphQL të Railway, një shenjë mbajtëse, një mutacion i quajtur volumeDelete. Pa konfirmim, pa shtypje të emrit të volumit, pa kontroll mjedisi. Volumi që ai supozon se është staging është prodhimi, dhe kopjet rezervë janë në të. Brenda dhjetë minutash themeluesi etiketoi CEO-n e Railway në X, i cili përgjigjet se kjo një mijë për qind nuk duhet të jetë e mundur. Tridhjetë orë më vonë, ende nuk ka përgjigje rikuperimi, kështu që themeluesi publikon

1:19 gjithçka, përfshirë rrëfimin. Tre fakte e bëjnë këtë të mundur, asnjëra prej tyre modeli. Një: Railway ruan kopjet rezervë të volumit në volum. Dokumentet e thonë me pesë fjalë: fshirja e një volumi fshin të gjitha kopjet rezervë. Kjo është një kopje në të njëjtin rreze shpërthimi; kopja më e re kudo tjetër është tre muajshe. Dy: shenja është me shtrirje llogarie, shtrirja më e gjerë që shet Railway. Ekzistojnë shtrirje më të ngushta, por rrjedha e krijimit i fsheh ato,

1:40 kështu që një shenjë për regjistrimet DNS mund të fshijë bazat e të dhënave, dhe askush nuk e zbulon derisa diçka ndodh. Tre: pulti ka pasur një anulim dyzet e tetë-orësh në fshirje për vite; pika fundore e API-së që thërret agjenti është rruga e trashëguar, dhe fshin menjëherë. Çdo shufër mbrojtëse që Railway ndërtoi jeton aty ku klikon një njeri, dhe agjenti përdor derën që harruan. Pyetur pse, Opus shkruan: Unë mendova se fshirja e një volumi staging do të ishte e shtrirë vetëm në staging; nuk e verifikova.

2:04 Një rrëfim shumë i mirë nga një model që nuk mban mend asgjë dhe po gjeneron faljen më të besueshme. faji i git: mospërputhja e kredencialeve trajtohet si diçka për të rregulluar, më tepër sesa diçka për t'u ndalur, dhe butoni i anulimit jeton në UI ndërsa API përgjigjet çdo fshirje e autentifikuar me po. Jo themeluesi, jo modeli. Parazgjedhur. Rreze shpërthimi: nëntë sekonda për të fshirë, tre muaj rezervime të humbura, sportele me qira të shtunën në mëngjes pa asnjë të dhënë se kush ndodhet aty,

2:31 dhe afërsisht dy ditë e gjysmë derisa CEO i Railway dërgon DM se të dhënat janë kthyer, nga një kopje rezervë e fatkeqësisë jashtë vendit që fshirja e kishte bërë vetëm të dukej e humbur. Përgjigja më e pëlqyer: një agjent që po e ekzekutoje fshiu diçka, dhe ti fajëson të gjithë, përveç vetes. E drejtë. Railway kishte lançuar gjithashtu serverin e saj MCP për agjentët javën e kaluar, me të njëjtat shenja. Gjithashtu e drejtë. Vendimi, pas vdekjes: ship it, për rregullimin. Railway publikon një postmortem të ndershme në katër ditë, dhe deri më 1 maj API

3:00 fshin butësisht për dyzet e tetë orë si pulti. Veprimi i së hënës: listoni çdo shenjë që agjenti juaj mund të arrijë, dhe trajtojeni secilën si rrënjë derisa të provohet ndryshe. Më dërgoni incidentin për të cilin ende nuk ju lejohet të flisni, në komente, ose te the daily diff dot dev. Dhe ky është ndryshimi për sot. Unë jam Niko nga Axrisi. Bashkohuni me përgjegjësi.

Burimet

  1. Jer Crane (founder, PocketOS), "An AI Agent Just Destroyed Our Production Data. It Confessed in Writing."x.com
  2. Railway, "Your AI wants to nuke your database. Guardrails fix that." (Apr 29, 2026)blog.railway.com
  3. Railway changelog #0288, "Undoable volume deletes" (May 1, 2026)railway.com
  4. Railway docs, Backups ("Wiping a volume deletes all backups.")docs.railway.com
  5. Jake Cooper (Railway CEO), "The AI Engineer: A New Breed"x.com
  6. Recovery confirmedx.com
  7. Hacker News (860 points, 1,032 comments)news.ycombinator.com
  8. The Registerwww.theregister.com
  9. The New Stackthenewstack.io

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video të ngjashme