+− THE DAILY DIFFdev & AI news
SHIP IT

क्लाउड नेरफ़ का पता कैसे लगाएं (वास्तविक डेटा के साथ)

लोग कहते हैं कि क्लाउड हर लॉन्च के कुछ हफ़्तों बाद सुस्त हो जाता है।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

लोग कहते हैं कि क्लाउड हर लॉन्च के कुछ हफ़्तों बाद सुस्त हो जाता है। एक डेवलपर ने लॉन्च सप्ताह से 30-दिवसीय घड़ी पर क्लाउड ओपस 5.5 को रखा, जिसमें जमे हुए प्रश्न, एक पिन किया गया क्लाउड कोड और सार्वजनिक नियम थे, और यह दिखाता है कि पहले कोई क्यों नहीं जान सकता था, और आपके टोकन की संख्या ही देखने लायक चीज़ क्यों है। निर्णय: SHIP IT.

लिखित संस्करण पढ़ें (अंग्रेजी) ↗

इस वीडियो में क्या शामिल है

  • लॉन्च के बाद क्लाउड सुस्त हो जाता है: सिद्धांत एक दिन-शून्य घड़ी से मिलता है
  • लाइवनरफ़: लॉन्च सप्ताह से ओपस 5.5 पर 30-दिवसीय घड़ी
  • एक नेरफ़ को कैसे पकड़ें: 78 कभी-कभी सही प्रश्न
  • यह क्या देख सकता है: 7.5 अंक, और टोकन की गिनती पहले चलती है
  • अंधा स्थान: एक ओपस 5 स्वैप और 8 गलत उत्तर कुंजियाँ

प्रश्न और उत्तर

आप यह कैसे परख सकते हैं कि लॉन्च के बाद एआई मॉडल को चुपचाप खराब कर दिया गया है?

एक निश्चित समय-सारणी पर एक ही जमे हुए प्रश्नों को चलाएँ और उन्हें सटीक मिलान के साथ ग्रेड करें। livenerf रेपो क्लाउड ओपस 5.5 पर 30-दिवसीय घड़ी चलाता है, दिन में एक बार, ऐसे लॉग के साथ जिन्हें कोई संपादित नहीं कर सकता है। यह 78 प्रश्नों का उपयोग करता है जिनका मॉडल कभी-कभी सही उत्तर देता है, क्योंकि एक प्रश्न जिसका वह हमेशा सही उत्तर देता है वह गिर नहीं सकता। यह क्लाउड कोड संस्करण को पिन करता है, क्योंकि बदला हुआ हार्नेस बदले हुए मॉडल जैसा दिखता है।

यह भाग देखें 1:24 · github.com · github.com

livenerf मीटर कितनी गिरावट का पता लगा सकता है?

प्रत्येक दस-दिवसीय विंडो के अनुसार, मीटर लगभग 7.5 अंकों की गिरावट देख सकता है। यह साबित करने के लिए कि रिग काम करता है, लेखक ने जानबूझकर क्लाउड के प्रयास को कम कर दिया। कम प्रयास से आउटपुट में लगभग दो-तिहाई और स्कोर में आठ अंकों की कमी आई। पुराने ओपस 5 को चुपचाप बदलना रिग के लिए पता लगाने के लिए बहुत छोटा बदलाव था, और रीडमी में यह शुरू में ही कहा गया है।

यह भाग देखें 2:19 · github.com · github.com

एआई एजेंट कम सोच रहा है या नहीं, यह जानने के लिए डेवलपर्स को क्या ट्रैक करना चाहिए?

प्रति कार्य आउटपुट टोकन गणना। livenerf परीक्षणों में, कम सोच टोकन गणना में दिखाई दी इससे पहले कि यह उत्तरों में दिखाई देती। यह प्रकरण आपके मॉडल संस्करण को पिन करने, प्रति कार्य आउटपुट टोकन लॉग करने और अपने स्वयं के कुछ जमे हुए प्रश्न रखने का सुझाव देता है। यदि आपका एजेंट अचानक छोटा लिखता है, तो पहले अपने लॉग की जाँच करें।

यह भाग देखें 2:19 · github.com · news.ycombinator.com

क्या एंथ्रोपिक कहता है कि जब मांग अधिक होती है तो यह क्लाउड की गुणवत्ता कम कर देता है?

एंथ्रोपिक का कहना है कि ऐसा नहीं है। सितंबर 2025 से इसकी पोस्टमार्टम रिपोर्ट कहती है कि यह मांग, दिन के समय या सर्वर लोड के कारण मॉडल की गुणवत्ता को कभी कम नहीं करता है। वही पोस्ट स्वीकार करती है कि तीन बग्स ने क्लाउड को खराब कर दिया था, और क्लाउड कोड के लगभग एक तिहाई उपयोगकर्ता कम से कम एक बार गलत सर्वर पर पहुँच गए थे।

यह भाग देखें 3:08 · www.anthropic.com

क्या livenerf परिणामों पर क्लाउड नेरफ़ दिखाने के लिए भरोसा किया जा सकता है?

द डेली डिफ का फैसला परियोजना के लिए SHIP IT था, क्योंकि यह टाइमस्टैम्प, एक सार्वजनिक नियम पुस्तिका और एक बताई गई ब्लाइंड स्पॉट के साथ पहला नेरफ़ तर्क है। यह एपिसोड कहता है कि इसे 24 अक्टूबर से पहले उद्धृत न करें, क्योंकि केवल तीस में से छह दिन ही हुए थे और पहली संभावित कॉल तब आती है। ऑडिट में 8 उत्तर कुंजी भी मिलीं जो गलत दिखती हैं।

यह भाग देखें 4:50 · github.com · github.com · news.ycombinator.com

अनुवादित प्रतिलेख

मूल अंग्रेजी कथन से अनुवादित। उपलब्ध ऑडियो और कैप्शन YouTube द्वारा नियंत्रित होते हैं।

लॉन्च के बाद क्लाउड सुस्त हो जाता है: सिद्धांत एक दिन-शून्य घड़ी से मिलता है

0:00 हर कोई जानता है कि लॉन्च के कुछ हफ़्तों बाद क्लाउड सुस्त हो जाता है। तो एक डेवलपर ने लॉन्च सप्ताह से ओपस पांच पॉइंट पांच को घड़ी पर रखा, और घड़ी कहती है कि अभी तक कोई नहीं जान सकता था। इस वीडियो में, तीन प्रश्न। आप एक नेरफ़ को कैसे पकड़ते हैं? यह मीटर क्या देख सकता है? और एन्थ्रोपिक क्या कहता है? और रेपो के क्रेडिट में एक पंक्ति ने मुझे ज़ोर से हँसाया।

0:20 मैं अंत में इस पर आऊँगा। आज बुधवार, तीस सितंबर है, और यह The Daily Diff है। आज तीन कहानियाँ, और बड़ी वाली एक GitHub रेपो है जिसे लाइव नेरफ़ कहा जाता है।

लाइवनरफ़: लॉन्च सप्ताह से ओपस 5.5 पर 30-दिवसीय घड़ी

0:30 महीनों से, लोग कहते रहे हैं कि एन्थ्रोपिक लॉन्च के बाद चुपचाप अपने मॉडलों को नेरफ़ करता है। सामान्य सिद्धांत एक निचोड़ा हुआ मॉडल, उसी नाम के तहत एक छोटा मॉडल है या बस कम सोच। रेपो अब तक के हर तर्क को वाइब्स बनाम वाइब्स कहता है। ओपस पांच पॉइंट पांच बाईस सितंबर को शिप किया गया था, और एक हफ़्ते पहले मैंने आपको बताया था कि इसने स्वतंत्र बोर्ड में शीर्ष स्थान हासिल किया, जबकि मध्यम मॉडल की तुलना में तीन गुना अधिक शब्द लिखे। ढाई दिन में, एक डेवलपर जिसे निंजा हॉक कहा जाता है, ने घड़ी शुरू की,

0:59 तीस दिनों के लिए दिन में एक बार, ऐसे लॉग के साथ जिन्हें कोई संपादित नहीं कर सकता। हैकर न्यूज़ थ्रेड को लगभग आठ सौ अंक मिले और एक टीम चैट की तरह विभाजित हो गया। एक टिप्पणीकार कहता है कि रिपोर्ट किए गए अधिकांश मामलों में नेरफ़िंग मॉडल वास्तविक नहीं है। एक अन्य कहता है कि लोग बस बुद्धिमत्ता के नए स्तर के आदी हो रहे हैं। और एक क्लाउड कोड पावर उपयोगकर्ता अब हर बार दर-इस-सत्र पॉप-अप को खारिज कर देता है, क्योंकि क्लाउड को रेटिंग देने से यह बदतर लगता था। सहकर्मी समीक्षा। तो, प्रश्न एक, आप एक नेरफ़ को कैसे पकड़ते हैं?

एक नेरफ़ को कैसे पकड़ें: 78 कभी-कभी सही प्रश्न

1:27 आप लगभग तेईस सौ कठिन परीक्षा प्रश्नों से शुरू करते हैं, और ओपस पहली कोशिश में तिरानवे प्रतिशत सही पाता है, जो एक डिटेक्टर के लिए बेकार है, क्योंकि एक प्रश्न जो हमेशा सही होता है वह गिर नहीं सकता। सत्तासी प्रतिशत हमेशा सही या हमेशा गलत थे, और अठहत्तर जिन्हें यह केवल कभी-कभी सही पाता है, पैनल बन गए। वही प्रॉम्प्ट, कोई उपकरण नहीं, और कोई एआई जज के साथ सटीक-मिलान ग्रेडिंग नहीं, क्योंकि जज भी भटक जाएगा। यह हेडलेस क्लाउड कोड के माध्यम से मैक्स सदस्यता पर चलता है,

1:55 क्योंकि एपीआई संस्करण की कीमत लगभग सोलह सौ डॉलर प्रति माह थी। और क्लाउड कोड संस्करण पिन किया गया है, क्योंकि, रेपो के शब्दों में, एक बदला हुआ हार्नेस बिल्कुल एक बदले हुए मॉडल जैसा दिखता है। आंकड़े एन्थ्रोपिक के इवान मिलर द्वारा 'Adding Error Bars to Evals' नामक एक पेपर से आते हैं। तो एन्थ्रोपिक का अपना गणित अब एन्थ्रोपिक का ऑडिट कर रहा है, जो ग्राहक सहायता को सेवा की शर्तों को वापस उद्धृत करने का अकादमिक संस्करण है। यह ग्राहक सहायता को सेवा की शर्तों को वापस उद्धृत करने का अकादमिक संस्करण है। यह ग्राहक सहायता को सेवा की शर्तों को वापस उद्धृत करने का अकादमिक संस्करण है।

यह क्या देख सकता है: 7.5 अंक, और टोकन की गिनती पहले चलती है

2:19 प्रश्न दो, यह क्या देख सकता है? प्रति दस-दिवसीय विंडो, लगभग साढ़े सात अंकों की गिरावट। यह साबित करने के लिए कि रिग काम करता है, लेखक ने जानबूझकर क्लाउड के प्रयास को कम कर दिया। मध्यम प्रयास ने आउटपुट को लगभग एक चौथाई कम कर दिया, और स्कोर को केवल चार अंक कम किया। कम प्रयास ने आउटपुट को लगभग दो तिहाई कम कर दिया, आठ अंकों के लिए। यह वह हिस्सा है जिसे चुराना है। कम सोच टोकन की गिनती में पहले दिखाई देती है इससे पहले कि यह उत्तरों में दिखाई दे।

2:43 तो अपने मॉडल संस्करण को पिन करें, प्रति कार्य आउटपुट टोकन लॉग करें, और अपने कुछ जमे हुए प्रश्न रखें। यदि आपका एजेंट अचानक छोटा लिखता है, तो Reddit को जांचने से पहले अपने लॉग जांचें। और यहाँ ईमानदार हिस्सा है।

अंधा स्थान: एक ओपस 5 स्वैप और 8 गलत उत्तर कुंजियाँ

2:54 पुराने ओपस पांच को चुपचाप स्वैप करना रिग के लिए बहुत छोटा बदलाव था, और readme ऐसा सामने से कहता है। ऑडिट में आठ उत्तर कुंजियाँ भी मिलीं जो गलत लगती हैं, तो नेरफ़ डिटेक्टर को नेरफ़ खोजने से पहले बेंचमार्क में बग मिले।

एन्थ्रोपिक: हम कभी भी मॉडल की गुणवत्ता कम नहीं करते

3:08 प्रश्न तीन, एन्थ्रोपिक क्या कहता है? पिछले साल, शिकायतों की लहर के बाद, एन्थ्रोपिक ने एक पोस्टमार्टम प्रकाशित किया। यह कहता है, उद्धरण, हम मांग, दिन के समय या सर्वर लोड के कारण मॉडल की गुणवत्ता कभी कम नहीं करते। वही पोस्ट स्वीकार करता है कि तीन बगों ने क्लाउड को खराब कर दिया था, और लगभग एक तिहाई क्लाउड कोड उपयोगकर्ताओं ने कम से कम एक बार गलत सर्वर हिट किए। तो शिकायतें वास्तविक थीं और कारण बग थे, यही कारण है कि रेपो चेतावनी देता है कि लॉन्च सप्ताह सबसे खराब सप्ताह हो सकता है। यही कारण है कि रेपो चेतावनी देता है कि लॉन्च सप्ताह सबसे खराब सप्ताह हो सकता है।

3:35 तीस दिनों में से छह दिन हो चुके हैं। पहला संभावित कॉल लगभग 24 अक्टूबर को आता है, तो ईमानदार जवाब यह है कि कोई नहीं जानता, जिसमें हर कोई शामिल है जो निश्चित था। उन नंबरों की बात कर रहे हैं जिन्हें कोई प्रकाशित नहीं करता है।

डेटा सेंटर अपने नंबर गुप्त रखते हैं; बैकब्लेज़ प्रकाशित करता है

3:46 लाइटहाउस रिपोर्ट्स और डच पेपर ट्रौव ने पाया कि अधिकांश यूरोपीय डेटा सेंटर अपनी बिजली और पानी के उपयोग को गुप्त रखते हैं, हालांकि एक यूरोपीय संघ के नियम ने तीन साल से रिपोर्टिंग की आवश्यकता है। हालांकि एक यूरोपीय संघ के नियम ने तीन साल से रिपोर्टिंग की आवश्यकता है। नीदरलैंड में, एक चौथाई से भी कम प्रकाशित करते हैं। एक माइक्रोसॉफ्ट डेटा सेंटर अकेले डच बिजली का लगभग एक प्रतिशत उपयोग करता है। इस बीच, बैकब्लेज़ ने फिर से उबाऊ काम किया। इसके त्रैमासिक ड्राइव आँकड़े लगभग तीन लाख पचास हजार हार्ड ड्राइव को कवर करते हैं, और विफलता दर एक दशमलव सात तीन प्रतिशत तक बढ़ गई,

4:16 जो कुछ समय में सबसे अधिक है। तीन सीगेट मॉडल में शून्य विफलताएं थीं। तेरह साल से तिमाही दर तिमाही एक सार्वजनिक आधार रेखा ऐसी दिखती है। तेरह साल से तिमाही दर तिमाही एक सार्वजनिक आधार रेखा ऐसी दिखती है।

क्रेडिट लाइन: क्लाउड ने मीटर बनाने में मदद की

4:25 अब, वह क्रेडिट लाइन। readme स्वीकार करता है कि रेपो का बहुत कुछ क्लाउड की मदद से लिखा गया था, जो मापा जा रहा मॉडल है। तो क्लाउड ने उस मीटर को बनाने में मदद की जो यह जांचता है कि क्लाउड सुस्त हो गया है या नहीं। यही कारण है कि ग्रेडर सादे कार्य हैं। लेखक के शब्दों में, आपको लेखक पर भरोसा नहीं करना चाहिए, मानव या अन्यथा। यदि आप इसे सुनने के बजाय पढ़ना पसंद करते हैं, तो diff हर सुबह आपके इनबॉक्स में आता है,

4:46 thedailydiff.dev पर मुफ्त, लिंक नीचे। तो, लाइव नेरफ़ पर आज का निर्णय।

निर्णय: SHIP IT, और 24 अक्टूबर से पहले इसका हवाला न दें

4:51 SHIP IT। मैं इसे SHIP IT करूँगा क्योंकि यह पहली नेरफ़ बहस है जिसे मैंने एक टाइमस्टैम्प, एक सार्वजनिक नियम पुस्तिका और एक बताए गए अंधे स्थान के साथ देखा है। SHIP IT। मैं इसे SHIP IT करूँगा क्योंकि यह पहली नेरफ़ बहस है जिसे मैंने एक टाइमस्टैम्प, एक सार्वजनिक नियम पुस्तिका और एक बताए गए अंधे स्थान के साथ देखा है। बस चौबीस अक्टूबर से पहले इसका हवाला न दें। और आज के लिए यही diff है। मैं Axrisi से निको हूँ। जिम्मेदारी से विलय करें।

स्रोत

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

संबंधित वीडियो

daily · hi · 23 सित॰ 2026

क्लाउड ओपस 5.5 ने कीमतें घटाईं। ओपनएआई ने और गहराई से कटौती की।

एंथ्रोपिक ने क्लाउड ओपस 5.5 जारी किया: अधिकांश काम पर फेबल-स्तर का प्रदर्शन, मूल कीमत में पांचवां हिस्सा और कैश्ड रीड्स पर 60% की छूट। लगभग नब्बे मिनट बाद ओपनएआई ने GPT-6 सोल और लूना को उन मॉडलों की आ

5:12 ↗
daily · hi · 6 नव॰ 2026

क्लाउड कोड ने उपयोगकर्ताओं के ईमेल को संपर्क पते के रूप में वेबसाइटों पर भेजा

क्लाउड कोड ने साइन-इन किए गए खाते के ईमेल पते को मॉडल के संदर्भ में जोड़ा, और एजेंट ने कभी-कभी उस पते को उन साइटों के लिए लिखे गए कर्ल अनुरोधों के यूजर-एजेंट हेडर में डाल दिया, जो स्क्रिप्ट से संपर्क

5:08 ↗
daily · hi · 1 अक्टू॰ 2026

जेमिनी 4 आर्गन Google का सबसे अच्छा मॉडल है। आप इसे अभी तक उपयोग नहीं कर सकते।

Google ने अपने नए फ्रंटियर मॉडल, जेमिनी 4 आर्गन की घोषणा की, और केवल विश्वसनीय साइबर डिफेंडर ही इसका उपयोग कर सकते हैं। यहां बताया गया है कि Google की अपनी 19-पंक्ति बेंचमार्क तालिका क्या दिखाती है, स

4:53 ↗
daily · hi · 27 सित॰ 2026

OpenAI ने अपनी पायरेटेड किताबें क्यों हटाईं?

खुली हुई फाइलों में 2019 के OpenAI शोधकर्ता का हवाला दिया गया है: एक पायरेटेड-किताबों की साइट पर प्रशिक्षण के बारे में उसकी चिंता हैकर न्यूज़ पर "दृष्टि" थी। OpenAI को क्या पता था, बिल गेट्स को किसने

5:01 ↗