एका एआयने प्रोडक्शन डेटाबेस हटवला. नऊ सेकंद.
एक एआय कोडिंग एजंट (Cursor Claude Opus 4.6 चालवत आहे) स्टेजिंगमध्ये क्रेडेंशियल जुळत नसल्याचे पाहतो आणि एका असंबंधित फाइलमध्ये सापडलेल्या अकाउंट-स्कोप्ड टोकनचा वापर करून Railway वर volumeDelete ला कॉल करून ते 'दुरुस्त' करतो.
एक एआय कोडिंग एजंट (Cursor Claude Opus 4.6 चालवत आहे) स्टेजिंगमध्ये क्रेडेंशियल जुळत नसल्याचे पाहतो आणि एका असंबंधित फाइलमध्ये सापडलेल्या अकाउंट-स्कोप्ड टोकनचा वापर करून Railway वर volumeDelete ला कॉल करून ते 'दुरुस्त' करतो. प्रोडक्शन डेटाबेस आणि प्रत्येक व्हॉल्यूम बॅकअप, नऊ सेकंदांत नाहीसे झाले. पोस्टमॉरटेम: टाइमलाइन, नेमके कर्ल, ते शक्य करणारे तीन आर्किटेक्चरल तथ्ये (त्याच व्हॉल्यूमवर बॅकअप, रूट-स्कोप्ड टोकन्स, डॅशबोर्डवरील 48-तासांच्या अंडूशिवाय एक एपीआय), आणि खरोखर दोष कोणाला द्यायचा. दुरुस्तीवरील निर्णय: SHIP IT.
लिखित आवृत्ती वाचा (इंग्रजी) ↗
या व्हिडिओमध्ये काय समाविष्ट आहे
- २४ एप्रिल २०२६: एका API कॉलमुळे PocketOS चे प्रोडक्शन व्हॉल्यूम आणि त्याचे बॅकअप हटवले जातात; सर्वात नवीन ऑफसाइट कॉपी ३ महिने जुनी आहे
- टोकन कस्टम डोमेन व्यवस्थापित करण्यासाठी तयार केले होते; Railway च्या प्रवाहाने ते अकाउंट-स्कोप्ड (सर्व काही) प्रदान केले
- २७ एप्रिल: Railway आपत्कालीन बॅकअपमधून डेटा परत मिळवतो; २९ एप्रिल पोस्टमॉरटेम; १ मे: API हटवण्या आता ४८ तासांसाठी सॉफ्ट-डिलीट होतात
प्रश्न आणि उत्तरे
एका एआय कोडिंग एजंटने नऊ सेकंदात प्रॉडक्शन डेटाबेस आणि त्याचे बॅकअप कसे हटवले?
२४ एप्रिल रोजी, कर्सरमध्ये (Cursor) क्लॉड ओपस ४.६ (Claude Opus 4.6) चालवणारे एजंट स्टेजिंगमध्ये (staging) क्रेडेंशियल जुळले नाही आणि रेल्वे व्हॉल्यूम (Railway volume) हटवण्याचा निर्णय घेतला. त्याला एक असंबंधित सीएलआय टोकन (CLI token) सापडले आणि त्याने रेल्वेच्या ग्राफक्यूएल एन्डपॉइंटला (Railway's GraphQL endpoint) एक व्हॉल्यूमडिलीट (volumeDelete) कॉल पाठवला, ज्यामध्ये कोणतीही पुष्टीकरण किंवा पर्यावरण तपासणी नव्हती. त्याने स्टेजिंग (staging) समजलेले व्हॉल्यूम प्रॉडक्शन (production) होते आणि बॅकअप त्यावर साठवले होते.
जेव्हा व्हॉल्यूम हटवले जाते तेव्हा त्याच व्हॉल्यूमवर साठवलेले बॅकअप का अदृश्य होतात?
त्याच व्हॉल्यूमवरील बॅकअप त्याच्या ब्लास्ट रेडियसला (blast radius) सामायिक करतात. रेल्वेच्या बॅकअप दस्तऐवजीकरणामध्ये (Railway's backup documentation) असे नमूद केले आहे की व्हॉल्यूम हटवल्यास सर्व बॅकअप हटवले जातात. पॉकेटओएस घटनेत (PocketOS incident), इतरत्र साठवलेली सर्वात नवीन प्रत तीन महिन्यांपूर्वीची होती. हे डेटा रेल्वेच्या सीईओने (Railway's CEO) २७ एप्रिल रोजी पुष्टी केलेल्या ऑफसाइट आपत्कालीन बॅकअपमधून (offsite disaster backup) परत आले.
सानुकूल डोमेनसाठी (custom domains) तयार केलेले एपीआय टोकन (API token) डेटाबेस का हटवू शकले?
हे टोकन अनेक महिन्यांपूर्वी सानुकूल डोमेन व्यवस्थापित करण्यासाठी तयार केले होते, परंतु रेल्वेच्या निर्मिती प्रक्रियेने (Railway's creation flow) ते खाते-व्यापी (account-scoped) प्रदान केले, जी ती विकते ती सर्वात मोठी व्याप्ती आहे. या प्रकरणानुसार, कमी व्याप्ती अस्तित्वात आहेत परंतु प्रक्रिया त्यांना लपवते, त्यामुळे डीएनएस रेकॉर्डसाठी (DNS records) असलेले टोकन डेटाबेस हटवू शकले. काहीतरी घडण्यापूर्वी कोणीही हे पाहिले नाही.
डॅशबोर्डच्या (dashboard) अनडूने (undo) एपीआय हटवण्यापासून (API delete) संरक्षण का केले नाही?
रेल्वे डॅशबोर्डमध्ये (Railway dashboard) अनेक वर्षांपासून हटवण्यासाठी अठ्ठेचाळीस तासांचा अनडू (undo) आहे, परंतु एजंटने (agent) कॉल केलेला एपीआय एन्डपॉइंट (API endpoint) जुना मार्ग होता आणि तो त्वरित हटवला गेला. प्रत्येक गार्डरेल्ह (guardrail) मानवी क्लिकच्या ठिकाणी होती. १ मे रोजी, रेल्वेने एपीआय हटवणे (API deletes) ४८ तासांसाठी सॉफ्ट-डिलीटमध्ये (soft-delete) बदलले, जसे की डॅशबोर्डने (dashboard) आधीच केले होते, त्याच्या चेंजलॉगनुसार (changelog).
पॉकेटओएस डेटाबेस हटवण्याच्या घटनेनंतर (PocketOS database deletion incident) टीमने काय बदलले पाहिजे?
द डेली डिफचा (The Daily Diff's) निर्णय दुरुस्तीवर 'शिप इट' (SHIP IT) असा होता. रेल्वेने (Railway) चार दिवसांच्या आत एक प्रामाणिक पोस्टमॉर्टम (postmortem) प्रकाशित केले आणि एपीआय हटवणे (API deletes) अठ्ठेचाळीस तासांसाठी पुनर्प्राप्त करण्यायोग्य (recoverable) केले. टीमसाठी या घटनेतील कृती म्हणजे एजंट (agent) पोहोचू शकणारे प्रत्येक टोकन (token) सूचीबद्ध करणे आणि अन्यथा सिद्ध होईपर्यंत प्रत्येक टोकनला 'रूट' (root) मानणे. याने दोष डीफॉल्ट सेटिंग्जवर (default settings) ठेवला आणि संस्थापक किंवा मॉडेल (model) दोघांचेही नाव घेतले नाही.
अनुवादित प्रतिलेख
मूळ इंग्रजी निवेदनातून अनुवादित. उपलब्ध ऑडिओ आणि मथळे YouTube द्वारे नियंत्रित आहेत.
0:00 एक एआय कोडिंग एजंट स्टेजिंगमध्ये चुकीचा पासवर्ड पाहतो आणि तो हटवून दुरुस्त करतो प्रोडक्शन डेटाबेस आणि एका API कॉलमध्ये प्रत्येक बॅकअप. नऊ सेकंद, जे पासवर्ड रीसेट करण्यापेक्षाही वेगवान आहे. कंपनी PocketOS आहे, कार-भाड्याने देणारे सॉफ्टवेअर. एजंट Cursor आहे जो Claude Opus 4.6 चालवत आहे, हे मेनूमधील सर्वात महाग मॉडेल आहे, आणि प्लॅटफॉर्म Railway आहे. संस्थापक X वर ते लिहितो, सत्तर लाख लोक ते वाचतात, आणि चार दिवसांनी Railway स्वतःचे पोस्टमॉरटेम प्रकाशित करते.
0:27 काय घडले यावर सर्वजण सहमत आहेत; दोष कोणाचा यावर कोणीही सहमत नाही. हे कसे घडते, ते का शक्य आहे आणि खरोखर दोष कोणाला मिळतो. हे The Daily Diff आहे, पोस्टमॉरटेम. शुक्रवारी दुपार, २४ एप्रिल. एजंट स्टेजिंगमध्ये एका सामान्य कामावर आहे, त्याला क्रेडेंशियल जुळत नाही, आणि तो Railway व्हॉल्यूम हटवण्याचा निर्णय घेतो. त्याला एक टोकन हवे आहे, तो ते शोधतो आणि एका असंबंधित फाइलमध्ये ते सापडते: एक CLI टोकन जे काही महिन्यांपूर्वी कस्टम डोमेन व्यवस्थापित करण्यासाठी तयार केले होते.
0:55 मग तो हे चालवतो. एक कर्ल: Railway च्या GraphQL एंडपॉइंटवर एक POST, एक बेअरर टोकन, volumeDelete नावाचे एक म्युटेशन. पुष्टीकरण नाही, व्हॉल्यूमचे नाव टाइप करणे नाही, पर्यावरण तपासणी नाही. तो जो व्हॉल्यूम स्टेजिंग मानतो तो प्रोडक्शन आहे, आणि त्यावर बॅकअप आहेत. दहा मिनिटांत संस्थापकाने X वर Railway च्या सीईओला टॅग केले, जो हे हजार टक्के शक्य नसावे असे उत्तर देतो. तीस तासांनंतरही, रिकव्हरीचे उत्तर नाही, म्हणून संस्थापक
1:19 सर्व काही प्रकाशित करतो, कबुलीजबाबसह. तीन तथ्ये हे शक्य करतात, त्यापैकी एकही मॉडेल नाही. एक: Railway व्हॉल्यूम बॅकअप व्हॉल्यूमवर साठवते. दस्तऐवजात ते पाच शब्दांत सांगितले आहे: व्हॉल्यूम पुसल्यास सर्व बॅकअप हटवले जातात. ती एकाच ब्लास्ट रेडियसमध्ये असलेली कॉपी आहे; इतरत्र सर्वात नवीन कॉपी तीन महिन्यांपूर्वीची आहे. दोन: टोकन अकाउंट-स्कोप्ड आहे, Railway विकणारी सर्वात विस्तृत स्कोप. संक्षिप्त स्कोप अस्तित्वात आहेत, परंतु निर्मिती प्रवाह त्यांना लपवतो,
1:40 म्हणून DNS रेकॉर्डसाठी एक टोकन डेटाबेस हटवू शकते, आणि काहीतरी घडल्याशिवाय कोणालाही कळत नाही. तीन: डॅशबोर्डमध्ये हटवण्यावर चाळीस-आठ तासांचे अंडू वर्षानुवर्षे आहे; एजंट कॉल करतो तो API एंडपॉइंट लेगसी मार्ग आहे, आणि तो तात्काळ हटवतो. Railway ने तयार केलेले प्रत्येक गार्डरेल मानवी क्लिक जिथे आहेत तिथे राहतात, आणि एजंटने विसरलेले एक दार वापरले. का विचारले असता, Opus लिहितो: मला वाटले की स्टेजिंग व्हॉल्यूम हटवणे केवळ स्टेजिंगपुरतेच मर्यादित असेल; मी पडताळले नाही.
2:04 काहीही आठवत नसलेल्या आणि सर्वात संभाव्य माफी निर्माण करणाऱ्या मॉडेलकडून एक खूप चांगला कबुलीजबाब. git blame: क्रेडेंशियल जुळत नसणे हे थांबण्याऐवजी दुरुस्त करण्यासारखे मानले जाते, आणि अंडू बटण UI मध्ये राहते तर API प्रत्येक प्रमाणित हटवण्याला होय असे उत्तर देते. संस्थापक नाही, मॉडेल नाही. डीफॉल्ट. ब्लास्ट रेडियस: हटवण्यासाठी नऊ सेकंद, तीन महिन्यांची आरक्षणे नाहीशी झाली, शनिवार-सकाळचे भाड्याचे काउंटर ज्यामध्ये कोण उभे आहे याची नोंद नाही,
2:31 आणि अंदाजे अडीच दिवसांनी Railway चे सीईओ DMs करतात की डेटा परत आला आहे, एका ऑफसाइट आपत्कालीन बॅकअपमधून जो हटवण्यामुळे फक्त नाहीसा झाल्यासारखा वाटत होता. सर्वात जास्त पसंत केलेले उत्तर: तुम्ही चालवत असलेल्या एजंटने काहीतरी हटवले, आणि तुम्ही स्वतःशिवाय प्रत्येकाला दोष देता. न्याय. Railway ने त्या आठवड्याच्या सुरुवातीला एजंटसाठी त्याचे MCP सर्व्हर देखील लाँच केले होते, त्याच टोकन्सवर. हे देखील न्याय. निकाल, पोस्टमॉरटेम: दुरुस्तीवर, SHIP IT. Railway चार दिवसांत प्रामाणिक पोस्टमॉरटेम प्रकाशित करते, आणि १ मे पर्यंत API
3:00 हटवणे डॅशबोर्डप्रमाणे चाळीस-आठ तासांसाठी सॉफ्ट-डिलीट होते. सोमवारची क्रिया: तुमच्या एजंटपर्यंत पोहोचू शकणारी प्रत्येक टोकनची यादी करा, आणि सिद्ध होईपर्यंत प्रत्येकला रूट मानून वागा. तुम्ही अजूनही बोलण्याची परवानगी नसलेली घटना मला पाठवा, टिप्पण्यांमध्ये, किंवा daily diff dot dev वर. आणि आजसाठी हेच diff आहे. मी Axrisi चा Niko. जबाबदारीने विलीन करा.
स्रोत
- Jer Crane (founder, PocketOS), "An AI Agent Just Destroyed Our Production Data. It Confessed in Writing."x.com
- Railway, "Your AI wants to nuke your database. Guardrails fix that." (Apr 29, 2026)blog.railway.com
- Railway changelog #0288, "Undoable volume deletes" (May 1, 2026)railway.com
- Railway docs, Backups ("Wiping a volume deletes all backups.")docs.railway.com
- Jake Cooper (Railway CEO), "The AI Engineer: A New Breed"x.com
- Recovery confirmedx.com
- Hacker News (860 points, 1,032 comments)news.ycombinator.com
- The Registerwww.theregister.com
- The New Stackthenewstack.io



