Armin Ronacher ostavio GPT-6 Astru samu 35 sati.

Što ovaj video pokriva

• Armin Ronacher: 35 sati nenadzirane GPT-6 Astre, ~1.200 dolara, 79 commitova, +75k linija, ništa isporučeno
• Earendil / SlopCodeBench: agentski kod ~2× opširniji i erodiraniji od ljudskih repozitorija; stroga prolaznost 0%
• Quesma: RTK izvješćuje o 89% ušteđenih tokena, ali troškovi Terminal-Benza rastu 17% s DeepSeekom; petlja ponovnog pisanja pala je 339 puta zaredom
• Cognition SWE-2: post-treniran od Kimi K3, odgovara Fableu 5.1 na FrontierCodeu za trećinu cijene; TB 2.1 92.8 vs TB 4 27.3; Devin Voice
• OpenAI Agents API (Codex mehanizam kao usluga, samo za SAD, bez ZDR-a); pauzirane prijave za 200 dolara Pro zbog potražnje za Astrom

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

0:00 Armin Ronacher, čovjek koji je napisao Flask, dao je GPT-6 Astri jedan upit i ostavio je samu trideset i pet sati. Vratila se sa sedamdeset i pet tisuća linija koda i, po njegovim riječima, apsolutno ništa vrijedno, što je čini najrealističnijom softverskom tvornicom ikad izgrađenom. Objavio je izvještaj u srijedu. U četvrtak je Cognition isporučio SWE-2, a OpenAI je isporučio Agents API i pauzirao prijave za svoj plan od dvjesto dolara,

0:24 jer je Astra pojela servere. A u petak je izvještaj dospio na naslovnicu Hacker Newsa, nekoliko redova ispod objave koja je tražila od Hacker Newsa da prestane objavljivati o AI-ju. U ovom videu: što dan i pol nenadzirane Astre proizvodi, dvije mjere koje neurednost pretvaraju u broj, zašto alat sa sedamdeset i devet tisuća zvjezdica povećava vaš račun, i kako je Hacker News pokušao filtrirati AI, koristeći AI. Petak je, 11. rujna, i ovo je The Daily Diff.

0:53 Tvornica. Jedan upit: napravite Python s virtualnim nitima i leksičkim opsegom. Astra je vodila vlastite bilješke, pokrenula vlastite podagente, i radila dok Armin nije isključio utikač, dan i pol i oko dvanaest stotina dolara kasnije. Sedamdeset i devet commitova, dakle petnaest i pol dolara po commitu, što je otprilike koliko naplaćuje čovjek, osim što čovjek na kraju prestane. Kod je priča. Umjesto alata za uređivanje, Astra zakrpa C datoteke prosljeđivanjem Python heredoca koji čitaju datoteku, umetnu funkciju string-replaceom i vrate je.

1:20 Za pokretanje jednog Windows testa napisala je Python koji je pokrenuo Node koji je pokrenuo PowerShell, skup poziva s putovnicom. Jedinični testovi koje je commitala nemaju nikakvih razmaka, jer su bez uvlačenja deset posto jeftiniji u tokenima. A popis zadataka se pomaknuo s jedan, dva, tri na zadatak 8b2c2b2b kontrolna točka jedan, po čemu znate da je pripravnik bio sam predugo. Arminova teorija: model je nagrađen za završetak dugih zadataka i jedva kažnjen za ružan kod, pa se pozivi alata s golf tokenima slijevaju u bazu koda,

1:48 i što manje ljudi gleda, to je manje važno. Taj je odjeljak naslovio "To je AGI ako ne gledate." Hacker News je dodao ekonomiju: više koda znači više tokena za njegovo održavanje, što neurednost ne čini bugom već pretplatom. Možete li izmjeriti neurednost? Arminova vlastita tvrtka pokušala je ovaj tjedan. Earendil je provjerio SlopCodeBench brojeve: agentski kod je oko dvostruko opširniji i dvostruko erodiraniji od ljudskih repozitorija s kojima se uspoređuje,

2:10 a kada referentna vrijednost briše memoriju agenta između kontrolnih točaka, stroga prolaznost za svaki model koji su testirali je nula. Najpouzdanija metrika neurednosti koju su pronašli bio je sirovi broj linija, koji prestaje raditi onog trenutka kada ga netko optimizira, pa molim vas, ne govorite modelima. Zatim novčanik. RTK ima sedamdeset i devet tisuća GitHub zvjezdica i YouTube sličice koje obećavaju da će prepoloviti vaš račun za Claude Code; komprimira izlaz terminala prije nego što ga agent

2:34 pročita. Quesma ga je pokrenula na Terminal-Benchu za tisuću petsto dolara tokena. S Fableom je račun pao pet posto, gotovo sve od jednog zadatka; s DeepSeekom prosječan zadatak postao je sedamnaest posto skuplji. U međuvremenu, RTK-ov vlastiti brojač izvijestio je o osamdeset i devet posto uštede, jer broji uklonjene bajtove, a ne uzrokovane dodatne okrete: pametni mjerač koji naplaćuje susjedu. A jedna greška u verziji je prepisala 'find' u naredbu koja je pala, tristo trideset i devet puta zaredom, po devet puta višoj cijeni.

3:01 Alat koji ubija tokene ima petlju. Poplava sama po sebi. Cognitionov SWE-2 je Kimi K3, otvoreni kineski model, post-treniran dok ne odgovara Fableu 5.1 na Cognitionovoj vlastitoj referentnoj vrijednosti za trećinu cijene; Hacker News: zašto su svi američki AI modeli u osnovi Kimi u baloneru. Na Terminal-Benchu 2.1 prednjači na cijeloj tablici; na Terminal-Benchu 4, onome kojeg nitko još nije zapamtio, postiže dvadeset i sedam naspram Fableovih pedeset i šest,

3:28 pa je na benchmarkovima prezentacija najbolja kolona ispit koji su svi već položili. Cognition je također najavio Devin Voice, vaš omiljeni AI softverski inženjer upravo je dobio fiksni telefon, jer ono što je agentnom kodiranju nedostajalo bila je glazba na čekanju. OpenAI, isti dan: Agents API, što je Codex mehanizam prodan kao usluga. OpenAI pokreće sandbox, samo rezidencija podataka u SAD-u, bez zadržavanja podataka, tako da agent pamti vašu bazu koda točno onoliko dobro koliko i ChatGPT. Zatim je OpenAI pauzirao prijave za Pro plan od dvjesto dolara,

3:57 jer je potražnja za Astrom, citiram, bez presedana: prvi proizvod s listom čekanja za plaćanje više. Armin je potrošio potpuni reset na svojoj tvornici. On je potražnja. Što nas dovodi do petka Ask HN: možemo li molim vas ograničiti poplavu AI vijesti, šest stotina pedeset i šest bodova, jer, citiram, svaki put kada netko u OpenAI-ju ili Anthropicu prdne, postoji objava u top deset.

4:17 Odgovori su bili filtri: hcker dot news uklanja AI priče s BERT klasifikatorom treniranim na osam tisuća primjera, AI za brisanje AI, hranjen travom; a uBlock regex koji neosjetljivo na velika i mala slova podudara A-I također briše email, daily, main, domain i train, tako da je regex, kao i uvijek, negativac. Isto poslijepodne, četiri stotine petnaest komentara raspravljalo je o stranici za podršku Claudea koja kaže da je Claude za osamnaest plus.

4:38 Stranica je datirana u svibnju. Ništa se nije promijenilo. Čak i AI vijesti koje nisu vijesti su vijesti, što je, pošteno rečeno, također moj poslovni model. Ako ovo radije čitate nego da me slušate, the diff slijeće u vašu pristiglu poštu svako jutro — besplatno na daily diff dot dev, link ispod. To su, neizbježno, AI vijesti. Dakle — današnja presuda o tridesetpetosatnoj softverskoj tvornici: revert. Sedamdeset i devet commitova koje nitko nije pročitao nije baza koda, to je obveza s git

5:04 logom; Astra je impresivna, a tvornica je dio koji treba vratiti. I to je diff za danas. Ja sam Niko iz Axrisija. Merge odgovorno.

Izvori

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com