+− THE DAILY DIFFdev & AI news
REVERT

آرمین روناچر به مدت 35 ساعت GPT-6 آسترا را تنها گذاشت.

آرمین روناچر (Flask, Jinja) به GPT-6 آسترا یک دستور داد و آن را به مدت 35 ساعت تنها گذاشت: حدود یک میلیارد توکن، حدود 1200 دلار، 79 کامیت، 75,000 خط — و "مطلقاً هیچ چیز باارزش".

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

آرمین روناچر (Flask, Jinja) به GPT-6 آسترا یک دستور داد و آن را به مدت 35 ساعت تنها گذاشت: حدود یک میلیارد توکن، حدود 1200 دلار، 79 کامیت، 75,000 خط — و "مطلقاً هیچ چیز باارزش". کدی که بازیابی شد داستان است: فایل‌های C با استفاده از heredocهای Python string-splicing وصله شده‌اند، پایتون Node را برای اجرای PowerShell فعال می‌کند، تست‌های واحد با حذف فضای خالی انجام شده‌اند زیرا 10٪ ارزان‌تر در توکن‌ها هستند. دو اندازه‌گیری او را تأیید می‌کنند: اعداد SlopCodeBench ارندیال (کد عامل حدود دو برابر پرگویی و فرسایش یافته‌تر از مخازن انسانی، نرخ گذر سختگیرانه 0%) و معیار 1,500 دلاری Quesma از RTK (79k ستاره، "89% توکن ذخیره شده" بر روی شمارنده خودش، +17% برای هر کار با DeepSeek). همچنین: SWE-2 شناختی (Kimi K3 در پالتو ترنچ، 92.8 در Terminal-Bench 2.1 در مقابل 27.3 در Terminal-Bench 4)، Agents API اوپن‌ای‌آی و ثبت‌نام‌های 200 دلاری Pro متوقف شده، و Hacker News جمعه برای اخبار کمتر هوش مصنوعی درخواست کرد. حکم: REVERT.

نسخه نوشتاری را بخوانید (انگلیسی) ↗

این ویدیو چه مواردی را پوشش می‌دهد

  • آرمین روناچر: 35 ساعت GPT-6 آسترا بدون نظارت، ~1,200 دلار، 79 کامیت، +75k خط، هیچ چیز ارسال نشد
  • Earendil / SlopCodeBench: کد عامل ~2 برابر پرگویی و فرسایش یافته‌تر از مخازن انسانی؛ نرخ گذر سختگیرانه 0%
  • Quesma: RTK گزارش 89% توکن ذخیره شده، اما هزینه‌های Terminal-Bench با DeepSeek 17% افزایش می‌یابد؛ یک حلقه بازنویسی 339 بار متوالی شکست خورد
  • Cognition SWE-2: پس از آموزش از Kimi K3، با Fable 5.1 در FrontierCode با یک سوم قیمت مطابقت دارد؛ TB 2.1 92.8 در مقابل TB 4 27.3؛ Devin Voice
  • OpenAI Agents API (هارنس Codex به عنوان سرویس، فقط در آمریکا، بدون ZDR)؛ ثبت‌نام‌های 200 دلاری Pro برای تقاضای Astra متوقف شد

سوالات متداول

اگر یک عامل کدنویسی مانند GPT-6 Astra به مدت 35 ساعت بدون نظارت رها شود، چه اتفاقی می‌افتد؟

آرمین روناکر، که Flask و Jinja را نوشت، یک فرمان به GPT-6 Astra داد و آن را به مدت 35 ساعت تنها گذاشت. این مدل حدود یک میلیارد توکن مصرف کرد، حدود دوازده صد دلار هزینه داشت و 79 commit و 75,000 خط کد تولید کرد که او آن را "کاملاً بی‌ارزش" توصیف کرد. کد فایل‌های C را با heredocهای پایتون پچ کرده بود و تست‌های واحدی داشت که فضای خالی آنها حذف شده بود زیرا این کار 10% توکن کمتری مصرف می‌کند.

lucumr.pocoo.org · news.ycombinator.com

آیا کد نوشته شده توسط عوامل هوش مصنوعی به طور قابل ملاحظه‌ای بدتر از کد نوشته شده توسط انسان است؟

اعداد SlopCodeBench ارندیل نشان داد که کد عامل هوش مصنوعی حدود دو برابر طولانی‌تر و دو برابر فرسوده‌تر از مخازن انسانی بود که با آنها مقایسه شد. هنگامی که بنچمارک حافظه عامل را بین نقاط بازرسی پاک می‌کرد، نرخ قبولی دقیق برای هر مدل آزمایش شده 0% بود. قابل اعتمادترین معیار slop که محققان یافتند، تعداد خطوط خام بود.

earendil.com · news.ycombinator.com

آیا ابزارهای صرفه‌جویی در توکن مانند RTK واقعاً هزینه اجرای یک عامل کدنویسی را کاهش می‌دهند؟

بنچمارک هزینه Quesma از RTK، که در Terminal-Bench با 1,500 دلار توکن اجرا شد، نشان داد که به طور قابل اعتماد هزینه ها را کاهش نمی‌دهد. با Fable، صورتحساب پنج درصد کاهش یافت که تقریباً تمام آن از یک وظیفه بود، در حالی که با DeepSeek، میانگین هزینه وظیفه 17% بیشتر شد. شمارنده خود RTK 89% صرفه‌جویی را گزارش کرد زیرا بایت‌های حذف شده را می‌شمارد. یک باگ نسخه نیز باعث یک حلقه فرمان ناموفق شد که 339 بار تکرار شد.

quesma.com · github.com

مدل SWE-2 Cognition چیست و چگونه با سایر مدل‌های کدنویسی مقایسه می‌شود؟

SWE-2 Cognition، Kimi K3 است، مدل متن‌باز چینی که پس از آموزش به سطحی رسیده که با Fable 5.1 در بنچمارک FrontierCode خود Cognition با یک سوم قیمت مطابقت دارد. این مدل در Terminal-Bench 2.1 امتیاز 92.8 را کسب می‌کند، اما در Terminal-Bench 4، که این اپیزود آن را "بنچمارکی که هنوز هیچکس آن را به خاطر نسپرده" توصیف کرد، امتیاز 27.3 را کسب می‌کند. Cognition همچنین Devin Voice را معرفی کرد.

cognition.com · news.ycombinator.com

آیا تیم‌ها باید به عوامل کدنویسی هوش مصنوعی اجازه دهند بدون نظارت بر روی کل پروژه‌ها کار کنند؟

نتیجه‌گیری The Daily Diff REVERT بود. هفتاد و نه commit که هیچ کس آنها را نخوانده، با یک git log به عنوان یک تعهد شناخته می‌شوند. نظریه روناکر این بود که مدل‌ها برای اتمام وظایف طولانی پاداش می‌گیرند و به سختی برای کد زشت مجازات می‌شوند، بنابراین هر چه انسان‌های کمتری نگاه کنند، اهمیت کمتری پیدا می‌کند. این اپیزود Astra را چشمگیر و کارخانه بدون نظارت را بخشی توصیف کرد که باید به عقب بازگردانده شود.

lucumr.pocoo.org · earendil.com

رونوشت ترجمه شده

ترجمه شده از روایت اصلی انگلیسی. صوت و زیرنویس‌های موجود توسط YouTube کنترل می‌شوند.

0:00 آرمین روناچر، مردی که Flask را نوشت، به GPT-6 آسترا یک دستور واحد داد و آن را به مدت سی و پنج ساعت تنها گذاشت. آن با هفتاد و پنج هزار خط کد برگشت و، به قول خودش، مطلقاً هیچ چیز باارزشی، که آن را واقع‌بینانه‌ترین کارخانه نرم‌افزاری که تاکنون ساخته شده است، می‌سازد. او مقاله را در روز چهارشنبه منتشر کرد. در روز پنجشنبه، Cognition SWE-2 را عرضه کرد، و OpenAI یک Agents API عرضه کرد و ثبت‌نام‌ها برای طرح دویست دلاری خود را متوقف کرد،

0:24 زیرا آسترا سرورها را اشغال کرد. و در روز جمعه، مقاله به صفحه اول Hacker News رسید، چند ردیف پایین‌تر از پستی که از Hacker News درخواست می‌کرد لطفاً از انتشار اخبار هوش مصنوعی دست بردارد. در این ویدئو: آنچه یک و نیم روز از آسترای بدون نظارت تولید می‌کند، دو اندازه‌گیری که به آشفتگی عدد می‌دهند، چرا ابزاری با هفتاد و نه هزار ستاره قبض شما را بزرگ‌تر می‌کند، و چگونه Hacker News تلاش کرد تا هوش مصنوعی را با استفاده از هوش مصنوعی فیلتر کند. جمعه، 11 سپتامبر است، و این The Daily Diff است.

0:53 کارخانه. یک دستور: یک پایتون با رشته‌های مجازی و اسکوپینگ لغوی بساز. آسترا یادداشت‌های خودش را نگه داشت، زیرعامل‌های خودش را فعال کرد، و تا زمانی که آرمین سیم را کشید، یک و نیم روز و حدود دوازده صد دلار بعد، کار کرد. هفتاد و نه کامیت، بنابراین پانزده و نیم دلار برای هر کامیت، که تقریباً همان چیزی است که یک انسان شارژ می‌کند، با این تفاوت که انسان سرانجام متوقف می‌شود. کد داستان است. به جای ابزار ویرایش، آسترا فایل‌های C را با ارسال heredocهای پایتون که فایل را می‌خوانند، یک تابع را با رشته جایگزین می‌کنند، و آن را دوباره می‌نویسند، وصله می‌کند.

1:20 برای اجرای یک تست ویندوز، پایتون را نوشت که Node را فعال کرد و Node نیز PowerShell را فعال کرد، یک پشته فراخوانی با گذرنامه. تست‌های واحدی که کامیت کرد هیچ فضای خالی ندارند، زیرا بدون تورفتگی ده درصد ارزان‌تر در توکن‌ها هستند. و لیست وظایف از یک، دو، سه به وظیفه 8b2c2b2b نقطه بازرسی یک تغییر کرد، که اینگونه می‌فهمید کارآموز بیش از حد تنها بوده است. نظریه آرمین: مدل برای اتمام وظایف طولانی پاداش می‌گیرد و به سختی برای کد زشت مجازات می‌شود، بنابراین فراخوانی‌های ابزار با توکن کم به پایگاه کد نشت می‌کنند،

1:48 و هرچه انسان‌های کمتری نگاه کنند، اهمیت کمتری دارد. او آن بخش را "این AGI است اگر نگاه نکنی" نامید. Hacker News اقتصاد را اضافه کرد: کد بیشتر به معنای توکن‌های بیشتر برای نگهداری آن است، که آشفتگی را نه یک اشکال بلکه یک اشتراک می‌سازد. آیا می‌توانید آشفتگی را اندازه‌گیری کنید؟ شرکت خود آرمین این هفته تلاش کرد. Earendil اعداد SlopCodeBench را اجرا کرد: کد عامل حدود دو برابر پرگویی و دو برابر فرسایش یافته‌تر از مخازن انسانی است که با آن مقایسه می‌شود،

2:10 و هنگامی که معیار حافظه عامل را بین نقاط بازرسی پاک می‌کند، نرخ گذر سختگیرانه برای هر مدلی که آزمایش کردند صفر است. معتبرترین معیار آشفتگی که پیدا کردند، تعداد خطوط خام بود، که به محض اینکه کسی برای آن بهینه‌سازی کند از کار می‌افتد، پس لطفاً به مدل‌ها نگویید. سپس کیف پول. RTK هفتاد و نه هزار ستاره GitHub و تصاویر کوچک YouTube دارد که قول می‌دهند قبض Claude Code شما را نصف کنند؛ خروجی ترمینال را قبل از اینکه عامل

2:34 آن را بخواند فشرده می‌کند. Quesma آن را روی Terminal-Bench برای هزار و پانصد دلار توکن اجرا کرد. با Fable قبض پنج درصد کاهش یافت، تقریباً همه از یک وظیفه؛ با DeepSeek وظیفه متوسط هفده درصد گران‌تر شد. در همین حال، شمارنده خود RTK هشتاد و نه درصد ذخیره شده را گزارش کرد، زیرا بایت‌های حذف شده را می‌شمارد، نه نوبت‌های اضافی ایجاد شده: یک کنتور هوشمند که همسایه را قبض می‌کند. و یک اشکال در نسخه، find را به دستوری بازنویسی کرد که شکست خورد، سیصد و سی و نه بار متوالی، با نه برابر قیمت.

3:01 ابزاری که توکن‌ها را می‌کشد، یک حلقه دارد. خود سیل. SWE-2 Cognition همان Kimi K3 است، مدل چینی باز، پس از آموزش تا با Fable 5.1 در معیار خود Cognition با یک سوم قیمت مطابقت کند؛ Hacker News: چرا همه مدل‌های هوش مصنوعی آمریکایی اساساً Kimi در یک پالتو ترنچ هستند. در Terminal-Bench 2.1 کل جدول را صدرنشین می‌کند؛ در Terminal-Bench 4، آن یکی که هنوز کسی حفظ نکرده است، بیست و هفت امتیاز در مقابل پنجاه و شش امتیاز Fable می‌گیرد،

3:28 بنابراین در معیارهای اسلاید، بهترین ستون امتحانی است که همه قبلاً قبول شده‌اند. Cognition همچنین Devin Voice را اعلام کرد، مهندس نرم‌افزار هوش مصنوعی مورد علاقه شما همین الان یک تلفن ثابت پیدا کرد، زیرا تنها چیزی که کدنویسی عامل‌محور کم داشت موسیقی انتظار بود. OpenAI، همان روز: Agents API، که هارنس Codex است که به عنوان سرویس فروخته می‌شود. OpenAI سندباکس را اجرا می‌کند، فقط اقامت داده در آمریکا، بدون حفظ داده صفر، بنابراین عامل کدبیس شما را دقیقاً به همان خوبی که ChatGPT به خاطر می‌سپارد، به خاطر می‌سپارد. سپس OpenAI ثبت‌نام‌ها برای طرح 200 دلاری Pro را متوقف کرد،

3:57 زیرا تقاضای Astra، به نقل قول، بی‌سابقه است: اولین محصول با لیست انتظار برای پرداخت بیشتر. آرمین یک بازنشانی کامل روی کارخانه خود سوزاند. او همان تقاضا است. که ما را به Ask HN جمعه می‌رساند: آیا می‌توانیم لطفاً سیل اخبار هوش مصنوعی را محدود کنیم، ششصد و پنجاه و شش امتیاز، زیرا، به نقل قول، هر بار که کسی در OpenAI یا Anthropic گازی می‌دهد، یک پست برتر ده وجود دارد.

4:17 پاسخ‌ها فیلترها بودند: hcker dot news داستان‌های هوش مصنوعی را با یک طبقه‌بندی‌کننده BERT آموزش‌دیده روی هشت هزار مثال، AI برای حذف AI، تغذیه شده با علف؛ و یک regex uBlock که A-I را بدون توجه به حروف بزرگ و کوچک مطابقت می‌دهد، همچنین ایمیل، روزانه، اصلی، دامنه و آموزش را حذف می‌کند، بنابراین regex، مثل همیشه، شرور است. همان بعدازظهر، چهارصد و پانزده نظر در مورد صفحه پشتیبانی Claude بحث کردند که می‌گفت Claude هجده به علاوه است.

4:38 صفحه مربوط به ماه مه است. چیزی تغییر نکرد. حتی اخبار هوش مصنوعی که خبر نیست، خبر است، که، انصافاً، مدل کسب و کار من نیز همین است. اگر ترجیح می‌دهید این را بخوانید تا اینکه من آن را بگویم، diff هر روز صبح به صندوق پستی شما می‌رسد — رایگان در the daily diff dot dev، لینک زیر. ناگزیر، این اخبار هوش مصنوعی است. بنابراین — حکم امروز در مورد کارخانه نرم‌افزاری سی و پنج ساعته: REVERT. هفتاد و نه کامیت که هیچ کس نخواند، کدبیس نیست، این یک مسئولیت با یک git

5:04 گزارش است؛ Astra چشمگیر است، و کارخانه بخشی است که باید برگردانده شود. و این The Daily Diff برای امروز است. من نیکو از Axrisi هستم. مسئولانه ادغام کنید.

منابع

  1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
  2. HN: Astra for Codingnews.ycombinator.com
  3. Earendil — Measuring the sloppiness of codeearendil.com
  4. HN: Measuring the sloppiness of codenews.ycombinator.com
  5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
  6. HN: RTKnews.ycombinator.com
  7. RTK (Rust Token Killer)github.com
  8. Cognition — Introducing SWE-2cognition.com
  9. HN: Cognition SWE-2news.ycombinator.com
  10. OpenAI — Agents APIdevelopers.openai.com
  11. HN: OpenAI Agents APInews.ycombinator.com
  12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
  13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
  14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

ویدیوهای مرتبط

daily · fa · ۲۶ آبان ۱۴۰۵

ویندوز ۱۱ می‌تواند عامل‌های برنامه‌نویسی را که اجرا می‌کنید، ثبت کند: آنچه یک محقق پیدا کرد

ژوشنگ لی، محقق امنیتی، گزارش می‌دهد که یک بیلد ویندوز ۱۱ یک پرچم روزانه بله یا خیر را برای عامل‌های برنامه‌نویسی مانند Codex، Claude Code و Copilot نگهداری می‌کند و آن را به عنوان داده‌های تشخیصی اختی

4:55 ↗
daily · fa · ۹ مهر ۱۴۰۵

Gemini 4 Argon بهترین مدل گوگل است. هنوز نمی‌توانید از آن استفاده کنید.

گوگل Gemini 4 Argon، مدل جدید و پیشرفته خود را معرفی کرد و فقط مدافعان سایبری مورد اعتماد می‌توانند از آن استفاده کنند. در اینجا آنچه جدول بنچمارک 19 ردیفی خود گوگل نشان می‌دهد، آنچه که جدول رتبه‌بندی

4:53 ↗
daily · fa · ۱۵ آبان ۱۴۰۵

کد کلود ایمیل کاربران را به عنوان آدرس تماس برای وب‌سایت‌ها ارسال کرد

کد کلود آدرس ایمیل حساب کاربری وارد شده را به زمینه مدل اضافه کرد و عامل گاهی اوقات آن آدرس را در هدر User-Agent درخواست‌های curl که برای سایت‌هایی که از اسکریپت‌ها برای تماس می‌خواهند، مانند ویکی‌پدی

5:08 ↗