Armin Ronacher GPT-6 Astra-nı 35 saat tək qoydu.
Flask və Jinja-nın müəllifi Armin Ronacher GPT-6 Astra-ya bir istək verdi və onu 35 saat tək qoydu: təxminən bir milyard token, təxminən 1200 dollar, 79 commit, 75.000 sətir — və "tamamilə dəyərsiz" bir nəticə.
Flask və Jinja-nın müəllifi Armin Ronacher GPT-6 Astra-ya bir istək verdi və onu 35 saat tək qoydu: təxminən bir milyard token, təxminən 1200 dollar, 79 commit, 75.000 sətir — və "tamamilə dəyərsiz" bir nəticə. Onun "bərpa etdiyi" kodun hekayəsi belədir: Python heredoc-larını birləşdirən sətir əvəzləmələri ilə yamaqlanmış C faylları, Node-u işə salan Python, Node-u işə salan PowerShell, boşluqları silinmiş vahid testlər, çünki tokenlərdə 10% daha ucuzdur. İki ölçü onu dəstəkləyir: Earendilin SlopCodeBench rəqəmləri (agent kodu insan repolarından təxminən iki dəfə daha həcmli və aşınmışdır, 0% ciddi keçid dərəcəsi) və Quesma-nın RTK-nın 1500 dollarlıq testi (79 min ulduz, öz sayğacında "89% token qənaət edildi", DeepSeek ilə hər tapşırıqda +17%). Həmçinin: Cognition-ın SWE-2 (trench coat-da Kimi K3, Terminal-Bench 2.1-də 92.8, Terminal-Bench 4-də isə 27.3), OpenAI-nin Agents API-sı və dayandırılmış 200 dollarlıq Pro qeydiyyatları, və Cümə Hacker News daha az AI xəbəri tələb etdi. Hökm: REVERT.
Yazılı nəşri oxuyun (İngiliscə) ↗
Bu videoda nələr əhatə olunur
- Armin Ronacher: 35 saat nəzarətsiz GPT-6 Astra, ~1200 dollar, 79 commit, +75k sətir, heç bir şey göndərilmədi
- Earendil / SlopCodeBench: agent kodu insan repolarından ~2 dəfə daha həcmli və aşınmışdır; ciddi keçid dərəcəsi 0%
- Quesma: RTK 89% tokenə qənaət etdiyini bildirir, lakin Terminal-Bench xərcləri DeepSeek ilə 17% artır; yenidən yazma dövrü ardıcıl 339 dəfə uğursuz oldu
- Cognition SWE-2: Kimi K3-dən sonra təlim keçmiş, FrontierCode-da Fable 5.1 ilə üçdə bir qiymətə uyğun gəlir; TB 2.1 92.8 vs TB 4 27.3; Devin Voice
- OpenAI Agents API (xidmət kimi Codex proqramı, yalnız ABŞ, ZDR yoxdur); Astra tələbatına görə 200 dollarlıq Pro qeydiyyatları dayandırıldı
Suallar və cavablar
GPT-6 Astra kimi bir kodlaşdırma agenti 35 saat nəzarətsiz qaldıqda nə baş verir?
Flask və Jinja-nı yazan Armin Ronacher GPT-6 Astra-ya bir istək verdi və onu 35 saat tək qoydu. Təxminən bir milyard token istifadə etdi, təxminən on iki yüz dollara başa gəldi və 79 commit və 75.000 sətir kod yaratdı ki, bunu tamamilə dəyərsiz adlandırdı. Kod C fayllarını Python heredoc-ları ilə yamaqladı və vahid testlərdə boşluqları sildi, çünki bu, tokenlərdə 10% daha ucuzdur.
AI agentləri tərəfindən yazılmış kod, insan tərəfindən yazılmış koddan daha pisdirmi?
Earendilin SlopCodeBench rəqəmləri agent kodunun müqayisə edildiyi insan repolarından təxminən iki dəfə daha həcmli və iki dəfə daha aşınmış olduğunu göstərdi. Benchmark agentin yaddaşını checkpointlər arasında sildikdə, test edilən hər model üçün ciddi keçid dərəcəsi 0% idi. Tədqiqatçıların tapdığı ən etibarlı sıyıq metriki xam sətir sayı idi.
RTK kimi tokenə qənaət edən alətlər kodlaşdırma agentinin işləmə xərcini həqiqətən azaldırmı?
Quesma-nın RTK-nın 1500 dollarlıq tokenlərlə Terminal-Bench üzərində apardığı xərc testi, xərcləri etibarlı şəkildə azaltmadığını göstərdi. Fable ilə fatura beş faiz azaldı, demək olar ki, hamısı bir tapşırıqdan idi, DeepSeek ilə isə orta tapşırıq 17% daha baha başa gəldi. RTK-nın öz sayğacı 89% qənaət edildiyini bildirdi, çünki silinmiş baytları sayır. Bir versiya səhvi də 339 dəfə təkrarlanan uğursuz bir əmr dövrünə səbəb oldu.
Cognition-ın SWE-2 modeli nədir və digər kodlaşdırma modelləri ilə necə müqayisə olunur?
Cognition-ın SWE-2-si Kimi K3, açıq Çin modelidir, Cognition-ın öz FrontierCode benchmarkında Fable 5.1 ilə üçdə bir qiymətə uyğun gələnə qədər təlim keçmişdir. Terminal-Bench 2.1-də 92.8, lakin Terminal-Bench 4-də 27.3 bal toplayır ki, epizod bunu hələ heç kimin əzbərləmədiyi benchmark kimi təsvir etdi. Cognition həmçinin Devin Voice-u elan etdi.
Komandalar AI kodlaşdırma agentlərinin bütün layihələr üzərində nəzarətsiz işləməsinə icazə verməlidirlərmi?
The Daily Diff-in qərarı REVERT idi. Heç kimin oxumadığı yetmiş doqquz commit, git log ilə bir məsuliyyətdir. Ronacherin nəzəriyyəsi o idi ki, modellər uzun tapşırıqları bitirmək üçün mükafatlandırılır və çirkin kod üçün demək olar ki, cəzalandırılmır, buna görə insanlar nə qədər az baxsa, bir o qədər az əhəmiyyət kəsb edir. Epizod Astra-nı təsir edici, nəzarətsiz fabriki isə geri qaytarılması lazım olan hissə adlandırdı.
Tərcümə olunmuş transkript
Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.
0:00 Flask-ı yazan Armin Ronacher GPT-6 Astra-ya tək bir istək verdi və onu otuz beş saat tək qoydu. Yetmiş beş min sətir kodla geri qayıtdı və, onun sözləriylə desək, tamamilə dəyərsiz bir şeylə, bu da onu ən realistik proqram fabriki halına gətirir. O, bu barədə məqaləni Çərşənbə günü yayımladı. Cümə axşamı Cognition SWE-2-ni, OpenAI isə Agents API-ni yayımladı və iki yüz dollarlıq planına qeydiyyatları dayandırdı,
0:24 çünki Astra serverləri yedi. Və Cümə günü məqalə Hacker News-un əsas səhifəsinə çıxdı, Hacker News-dan süni intellekt haqqında məqalə yerləşdirməməsini xahiş edən bir yazıdan bir neçə sətir aşağıda. Bu videoda: bir gün yarım nəzarətsiz Astranın nəticəsi, sıyıqları rəqəmə çevirən iki ölçü, yetmiş doqquz min ulduzu olan bir alətin faturanı niyə böyütdüyü və Hacker News-un süni intellektdən istifadə edərək süni intellekti necə süzməyə çalışdığı. Cümə, Sentyabrın 11-i, və bu The Daily Diff-dir.
0:53 Fabrik. Bir istək: virtual iplər və leksik əhatəli Python qurmaq. Astra öz qeydlərini apardı, öz subagentlərini işə saldı, və Armin fişi çıxarana qədər, bir gün yarım və təxminən on iki yüz dollar sonra işləməyə davam etdi. Yetmiş doqquz commit, deməli, hər commit üçün on beş yarım dollar, bu da təxminən bir insanın ödənişi qədərdir, fərq ondadır ki, insan nəhayət dayanır. Kod, hekayədir. Astra, redaktə aləti əvəzinə C fayllarını Python heredoc-ları vasitəsilə yamaqlayır ki, bu heredoc-lar faylı oxuyur, bir funksiyanı sətir olaraq əvəz edir və geri yazır.
1:20 Bir Windows testini işlətmək üçün Python yazdı, bu da Node-u işə saldı, Node isə PowerShell-i işə saldı, pasportlu bir zəng yığını. Onun commit etdiyi vahid testlərdə heç bir boşluq yoxdur, çünki indentasiya olmadan tokenlərdə on faiz daha ucuzdurlar. Və tapşırıq siyahısı bir, iki, üçdən 8b2c2b2b tapşırığına, checkpoint birə sürüşdü, bu da internin tək çox qaldığını göstərir. Arminin nəzəriyyəsi: model uzun tapşırıqları bitirmək üçün mükafatlandırılır və çirkin kod üçün demək olar ki, cəzalandırılmır, buna görə tokenlərdə qısa tutulmuş alət çağırışları kod bazasına sızır,
1:48 və insanlar nə qədər az baxsa, bir o qədər az əhəmiyyət kəsb edir. Bu hissəyə "Baxmasanız, AGI-dir" başlığını verdi. Hacker News iqtisadiyyatını əlavə etdi: daha çox kod, onu saxlamaq üçün daha çox token deməkdir, bu da sıyığı bir səhv deyil, bir abunə halına gətirir. Sıyığı ölçə bilərsinizmi? Arminin öz şirkəti bu həftə bunu sınadı. Earendil SlopCodeBench rəqəmlərini apardı: agent kodu təxminən iki dəfə daha həcmli və müqayisə edildiyi insan repolarından iki dəfə daha aşınmışdır,
2:10 və benchmark agentin yaddaşını checkpointlər arasında sildikdə, test etdikləri hər model üçün ciddi keçid dərəcəsi sıfırdır. Onların tapdığı ən etibarlı sıyıq metriki xam sətir sayı idi, hansı ki, kimsə onu optimallaşdırdığı an işləməyi dayandırır, buna görə modellərə deməyin. Sonra cüzdan. RTK-nın yetmiş doqquz min GitHub ulduzu və YouTube kiçik şəkilləri var ki, Claude Kod faturanızı yarıya endirməyi və agent oxumadan əvvəl terminal çıxışını sıxışdırmağı vəd edir.
2:34 Quesma onu Terminal-Bench-də min beş yüz dollarlıq token üçün işlətdi. Fable ilə fatura beş faiz azaldı, demək olar ki, hamısı bir tapşırıqdan idi; DeepSeek ilə orta tapşırıq on yeddi faiz daha bahalı oldu. Bu arada RTK-nın öz sayğacı səksən doqquz faiz qənaət edildiyini bildirdi, çünki bu, silinmiş baytları sayır, əlavə dönmələri yox: qonşunu faturalandıran ağıllı sayğac. Və bir versiya səhvi "tap" əmrini uğursuz olan bir əmrə çevirdi, ardıcıl üç yüz otuz doqquz dəfə, doqquz dəfə daha baha qiymətə. Tokenləri məhv edən alətin bir dövrü var.
3:01 Sel özü. Cognition-ın SWE-2-si Kimi K3, açıq Çin modeli, üçdə bir qiymətə Cognition-ın öz benchmarkında Fable 5.1 ilə uyğun gələnə qədər təlim keçmişdir; Hacker News: niyə bütün Amerika AI modelləri əsasən trench coat-da Kimi-dir. Terminal-Bench 2.1-də bütün cədvəlin zirvəsindədir; Terminal-Bench 4-də, heç kəsin hələ əzbərləmədiyi yerdə, Fable-ın əlli altısına qarşı iyirmi yeddi bal toplayır, buna görə də slayt-desk benchmarklarında ən yaxşı sütun hamının artıq keçdiyi imtahandır. Cognition həmçinin Devin Voice-u elan etdi, sevimli AI proqram mühəndisinizə ev telefonu verildi, çünki agent kodlaşdırmasında əskik olan yeganə şey hold musiqisi idi.
3:28 OpenAI, eyni gün: Agents API, xidmət kimi satılan Codex proqramı. OpenAI sandbox-u işlədir, yalnız ABŞ məlumat residency-si, sıfır məlumat saxlama yoxdur, buna görə agent kod bazanızı ChatGPT qədər dəqiq yadda saxlayır. Sonra OpenAI iki yüz dollarlıq Pro planına qeydiyyatları dayandırdı, çünki Astra tələbatı, sitat gətirərək, misilsizdir: daha çox pul ödəmək üçün gözləmə siyahısı olan ilk məhsul. Armin fabrikində tam bir sıfırlama yandırdı. Tələbat odur.
3:57 Bu da bizi Cümə gününün Ask HN-ə gətirir: AI xəbərlərinin selini məhdudlaşdıra bilərikmi, altı yüz əlli altı bal, çünki, sitat gətirərək, hər dəfə OpenAI və ya Anthropic-dən kimsə bir şey edəndə, ilk onluqda bir yazı olur. Cavablar filtrlər idi: hcker.news, səkkiz min nümunə üzərində təlim keçmiş BERT təsnifatçısı ilə AI xəbərlərini silir, AI-ni silmək üçün AI, otla bəslənmiş; və A-I-ni böyük-kiçik hərfə həssas olmadan uyğunlaşdıran uBlock regex-i həmçinin e-poçt, gündəlik, əsas, domen və təlimi silir, buna görə də regex, həmişə olduğu kimi, qəhrəmandır.
4:17 Eyni günortadan sonra, dörd yüz on beş şərh Claude dəstək səhifəsi haqqında mübahisə etdi Claude-un on səkkiz yaşdan yuxarı olduğunu deyən. Səhifə May ayına aiddir. Heç nə dəyişmədi. Hətta xəbər olmayan AI xəbərləri də xəbərdir, bu da, ədalətli olmaq lazım gələrsə, mənim də iş modelimdir. Bunu məndən eşitməkdənsə oxumaq istəyirsinizsə, diff hər səhər qutunuza düşür — daily diff dot dev-də pulsuzdur, link aşağıdadır.
4:38 Bu, qaçılmaz olaraq, AI xəbəridir. Beləliklə — otuz beş saatlıq proqram fabriki haqqında bugünkü qərar: geri qaytarın. Heç kimin oxumadığı yetmiş doqquz commit, kod bazası deyil, git log-u ilə bir məsuliyyətdir; Astra təsir edicidir və fabrik geri qaytarılmalı hissədir. Və bu, bugünkü diff-dir. Mən Axrisi-dən Niko. Məsuliyyətlə birləşdirin. Armin Ronacher, Flask-ın yaradıcısı, GPT-6 Astra-ya cəmi bir tapşırıq verdi və
5:04 onu 35 saat nəzarətsiz qoydu. Bu prosesdə təxminən bir milyard token istifadə olundu, təxminən 1200 dollara başa gəldi, 79 dəyişiklik və 75 min sətir kod ortaya çıxdı ki, Ronacher bunu "tamamilə dəyərsiz" adlandırdı. O, Astra-nın təsirli olduğunu, lakin nəzarətsiz işləməsinin geri qaytarılması lazım olan hissə olduğunu bildirdi.
Mənbələr
- Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
- HN: Astra for Codingnews.ycombinator.com
- Earendil — Measuring the sloppiness of codeearendil.com
- HN: Measuring the sloppiness of codenews.ycombinator.com
- Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
- HN: RTKnews.ycombinator.com
- RTK (Rust Token Killer)github.com
- Cognition — Introducing SWE-2cognition.com
- HN: Cognition SWE-2news.ycombinator.com
- OpenAI — Agents APIdevelopers.openai.com
- HN: OpenAI Agents APInews.ycombinator.com
- TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
- Ask HN: Can we please limit the AI news flood?news.ycombinator.com
- HN: Claude is only available to people over 18 yearsnews.ycombinator.com



