+− THE DAILY DIFFdev & AI news
REVERT

Armin Ronacher GPT-6 Astra-ni 35 soatga yolg'iz qoldirdi.

Armin Ronacher (Flask, Jinja) GPT-6 Astra-ga bitta so'rov berdi va uni 35 soatga yolg'iz qoldirdi: taxminan bir milliard token, taxminan 1200 dollar, 79 ta kommit, 75 000 satr — va "mutlaqo hech qanday qimmatli narsa yo'q".

Armin Ronacher (Flask, Jinja) GPT-6 Astra-ga bitta so'rov berdi va uni 35 soatga yolg'iz qoldirdi: taxminan bir milliard token, taxminan 1200 dollar, 79 ta kommit, 75 000 satr — va "mutlaqo hech qanday qimmatli narsa yo'q". U tiklagan kod bu hikoya: Python qatorlarni birlashtiruvchi heredoc-lar bilan tuzatilgan C fayllari, Python Node-ni, Node esa PowerShell-ni ishga tushirishi, bo'sh joy olib tashlangan birlik testlari, chunki bu tokenlarda 10% arzonroq. Ikki o'lchov uni tasdiqlaydi: Earendilning SlopCodeBench raqamlari (agent kodi inson reposidan taxminan ikki baravar ko'proq so'zma-so'z va buzilgan, 0% qat'iy o'tish darajasi) va Quesmaning RTK uchun 1500 dollarlik benchmarki (79 ming yulduz, o'z hisoblagichida "89% tokenlar saqlangan", DeepSeek bilan har bir vazifa uchun +17%). Shuningdek: Cognitionning SWE-2 (trench coatdagi Kimi K3, Terminal-Bench 2.1da 92.8 Terminal-Bench 4da 27.3ga qarshi), OpenAI'ning Agents API va to'xtatilgan 200 dollarlik Pro ro'yxatdan o'tishlari, va juma kuni Hacker News kamroq AI yangiliklarini so'radi. Xulosa: REVERT.

Yozma nashrini oʻqing (inglizcha) ↗

Bu video nimani qamrab oladi

  • Armin Ronacher: 35 soat qarovsiz GPT-6 Astra, ~1200 dollar, 79 ta kommit, +75 ming satr, hech narsa jo'natilmadi
  • Earendil / SlopCodeBench: agent kodi inson reposidan ~2 baravar so'zma-so'z va buzilgan; qat'iy o'tish darajasi 0%
  • Quesma: RTK 89% tokenlar saqlanganini hisobot qiladi, ammo Terminal-Bench xarajatlari DeepSeek bilan 17% ga oshadi; qayta yozish sikli ketma-ket 339 marta muvaffaqiyatsizlikka uchradi
  • Cognition SWE-2: Kimi K3dan keyingi o'qitilgan, FrontierCodeda Fable 5.1 ga uchdan bir narxda mos keladi; TB 2.1 92.8 va TB 4 27.3; Devin Voice
  • OpenAI Agents API (Codex xizmat sifatida, faqat AQShda, ZDR yo'q); Astra talabi tufayli 200 dollarlik Pro ro'yxatdan o'tishlari to'xtatildi

Tarjima qilingan transkript

Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.

0:00 Flaskni yozgan Armin Ronacher GPT-6 Astra-ga bitta so'rov berdi va uni o'ttiz besh soatga yolg'iz qoldirdi. U yetmish besh ming satr kod bilan qaytdi va uning so'zlari bilan aytganda, mutlaqo hech qanday qimmatli narsa yo'q, bu uni eng realistik dasturiy ta'minot fabrikasiga aylantiradi. U chorshanba kuni yozuvni e'lon qildi. Payshanba kuni Cognition SWE-2ni, OpenAI esa Agents API-ni chiqardi va ikki yuz dollarlik rejasiga ro'yxatdan o'tishlarni to'xtatdi,

0:24 chunki Astra serverlarni yutib yubordi. Va juma kuni yozuv Hacker Newsning bosh sahifasiga chiqdi, Hacker Newsdan AI haqida post yozishni to'xtatishni so'raydigan postdan bir necha qator pastda. Bu videoda: bir yarim kunlik qarovsiz Astra nima ishlab chiqaradi, ifloslikni raqamga aylantiradigan ikkita o'lchov, nega yetmish to'qqiz ming yulduzli vosita hisobingizni kattalashtiradi va Hacker News AI-ni AI yordamida qanday filtrlashga harakat qildi. AI yordamida. Bugun 11-sentyabr, juma va bu The Daily Diff.

0:53 Fabrika. Bitta so'rov: virtual iplar va leksik scopeli Python yarating. Astra o'zining eslatmalarini yozdi, o'zining kichik agentlarini ishga tushirdi, va Armin rozetkani tortib olguncha, bir yarim kun va taxminan o'n ikki yuz dollar keyin ishladi. Yetmish to'qqizta kommit, ya'ni har bir kommit uchun o'n besh yarim dollar, bu insonning narxi bilan deyarli bir xil, faqat inson oxir-oqibat to'xtaydi. Kod bu hikoya. Tahrirlash vositasi o'rniga, Astra Python heredoclarini quvur orqali C fayllariga yamoq qo'yadi, ular faylni o'qiydi, funktsiyani satr bilan almashtiradi va uni qayta yozadi.

1:20 Bitta Windows testini ishga tushirish uchun u Node-ni ishga tushiradigan Python yozdi, Node esa PowerShell-ni ishga tushirdi, pasportli chaqiruv steki. U yozgan birlik testlarida umuman bo'sh joy yo'q, chunki indentatsiyasiz ular tokenlarda o'n foiz arzonroq. Va vazifalar ro'yxati bir, ikki, uchdan vazifa 8b2c2b2b nazorat nuqtasi birga o'tdi, bu stajyorning uzoq vaqt yolg'iz qolganini qanday bilasiz. Arminning nazariyasi: model uzoq vazifalarni tugatgani uchun mukofotlanadi va chiroyli bo'lmagan kod uchun deyarli jazolanmaydi, shuning uchun token-golf qilingan vosita chaqiruvlari kod bazasiga sizib chiqadi,

1:48 va qancha kam inson qarasa, shuncha kam ahamiyatli bo'ladi. U bu bo'limni "Qaramasangiz, bu AGI" deb nomladi. Hacker News iqtisodiyotni qo'shdi: ko'proq kod uni saqlash uchun ko'proq token degani, bu esa ifloslikni xato emas, balki obuna qiladi. Ifloslikni o'lchay olasizmi? Arminning o'z kompaniyasi bu hafta urinib ko'rdi. Earendil SlopCodeBench raqamlarini ishga tushirdi: agent kodi solishtirilgan inson reposidan taxminan ikki baravar ko'proq so'zma-so'z va ikki baravar ko'proq buzilgan,

2:10 va benchmark nazorat nuqtalari orasida agentning xotirasini tozalasa, ular sinovdan o'tkazgan har bir model uchun qat'iy o'tish darajasi nolga teng. Ular topgan eng ishonchli ifloslik metriksi xom satrlar soni edi, bu har kim uni optimallashtirishga boshlagan zahoti ishlamay qoladi, shuning uchun iltimos, modellarga aytmang. Keyin hamyon. RTK yetmish to'qqiz ming GitHub yulduziga ega va YouTube kichik rasmlari Claude Code hisobingizni ikki baravar kamaytirishni va'da qiladi; u agent o'qishidan oldin terminal chiqishini siqadi.

2:34 Quesma uni Terminal-Benchda ming besh yuz dollarlik tokenlar uchun ishga tushirdi. Fable bilan hisob besh foizga kamaydi, deyarli hammasi bitta vazifadan; DeepSeek bilan o'rtacha vazifa o'n yetti foizga qimmatlashdi. Shu bilan birga, RTKning o'z hisoblagichi sakson to'qqiz foiz saqlanganini hisobot qildi, chunki u olib tashlangan baytlarni hisoblaydi, qo'shimcha burilishlarni emas: qo'shnining hisobini to'laydigan aqlli hisoblagich. hisoblagich. Va bir versiya xatosi findni muvaffaqiyatsizlikka uchragan buyruqqa qayta yozdi, ketma-ket uch yuz o'ttiz to'qqiz marta, to'qqiz barobar qimmatroq narxda.

3:01 Tokenlarni o'ldiradigan vosita tsiklga ega. To'fonning o'zi. Cognitionning SWE-2si Kimi K3, ochiq xitoy modeli, Cognitionning o'z benchmarkida Fable 5.1 ga uchdan bir narxda mos kelguncha keyingi o'qitilgan; Hacker News: nega barcha Amerika AI modellari asosan trench coatdagi Kimi. trench coatdagi Kimi. Terminal-Bench 2.1da u butun jadvalni boshqaradi; Terminal-Bench 4da, hali hech kim yodlamaganida, u Fablening ellik olti balliga qarshi yigirma yetti ball oladi,

3:28 shuning uchun slayd-shou benchmarklarida eng yaxshi ustun har kim allaqachon o'tgan imtihon. Cognition shuningdek Devin Voice-ni e'lon qildi, sizning sevimli AI dasturiy ta'minot muhandisingiz endi statsionar telefon raqamiga ega bo'ldi, chunki agentli kodlashda bitta narsa yo'q edi kutish musiqasi edi. OpenAI, xuddi shu kuni: Agents API, bu Codex xizmat sifatida sotiladigan qo'shimcha vositasi. OpenAI sandboxni ishga tushiradi, faqat AQShda ma'lumotlar rezidentligi, ma'lumotlarni saqlash nolga teng emas, shuning uchun agent sizning kod bazangizni ChatGPT kabi eslab qoladi. Keyin OpenAI ikki yuz dollarlik Pro rejasiga ro'yxatdan o'tishni to'xtatdi,

3:57 chunki Astra talabi, iqtibos, misli ko'rilmagan: kutish ro'yxatiga ega bo'lgan birinchi mahsulot ko'proq pul to'lash uchun. Armin o'z fabrikasida to'liq qayta o'rnatishni amalga oshirdi. U talabdir. Bu bizni juma kuni so'ralgan HN ga olib keladi: iltimos, AI yangiliklari to'fonini cheklay olamizmi, oltitalik besh yuz oltmish olti ball, chunki, iqtibos, har safar OpenAI yoki Anthropicdan kimdir elpasini chiqarsa, eng yaxshi o'nta post bo'ladi.

4:17 Javoblar filtrlar edi: hcker.news sakkiz mingta misolda o'qitilgan BERT klassifikatori bilan AI hikoyalarini olib tashlaydi, AI ni o'chirish uchun AI, o'txo'r; va A-I ga sezgir bo'lmagan holda mos keladigan uBlock regex ham email, daily, main, domain va trainni o'chiradi, shuning uchun regex, har doimgidek, yovuzdir. yovuzdir. Xuddi shu tushdan keyin, to'rt yuz o'n beshta izoh Claude support sahifasi haqida bahslashdi, Claude o'n sakkiz yoshdan oshgan degan xabarda.

4:38 Sahifa may oyiga tegishli. Hech narsa o'zgarmadi. Yangilik bo'lmagan AI yangiliklari ham yangilikdir, bu, to'g'risini aytganda, mening biznes modelim ham. Agar buni eshitishdan ko'ra o'qishni afzal ko'rsangiz, diff har kuni ertalab pochta qutingizga keladi — thedailydiff.dev saytida bepul, havolasi quyida. Bu, muqarrar ravishda, AI yangiliklari. Shunday qilib — bugungi o'ttiz besh soatlik dasturiy ta'minot fabrikasi haqidagi xulosa: REVERT. Hech kim o'qimagan yetmish to'qqizta kommit kod bazasi emas, bu git logga ega bo'lgan majburiyat;

5:04 Astra hayratlanarli, va fabrika orqaga qaytarilishi kerak bo'lgan qismdir. Va bugungi diff shu. Men Axrisidan Nikoman. Mas'uliyat bilan birlashtiring.

Manbalar

  1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
  2. HN: Astra for Codingnews.ycombinator.com
  3. Earendil — Measuring the sloppiness of codeearendil.com
  4. HN: Measuring the sloppiness of codenews.ycombinator.com
  5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
  6. HN: RTKnews.ycombinator.com
  7. RTK (Rust Token Killer)github.com
  8. Cognition — Introducing SWE-2cognition.com
  9. HN: Cognition SWE-2news.ycombinator.com
  10. OpenAI — Agents APIdevelopers.openai.com
  11. HN: OpenAI Agents APInews.ycombinator.com
  12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
  13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
  14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com

Tegishli videolar