Armin Ronacher ostavio GPT-6 Astru samu 35 sati.

Šta ovaj video pokriva

• Armin Ronacher: 35 sati nenadzirane GPT-6 Astre, ~1.200 dolara, 79 commita, +75k linija, ništa isporučeno
• Earendil / SlopCodeBench: agentski kod ~2× opširniji i erodiraniji od ljudskih repozitorija; striktna prolaznost 0%
• Quesma: RTK izvještava 89% sačuvanih tokena, ali troškovi Terminal-Bench-a rastu 17% s DeepSeekom; petlja za prepisivanje pala je 339 puta zaredom
• Cognition SWE-2: post-treniran iz Kimi K3, odgovara Fable 5.1 na FrontierCode po trećini cijene; TB 2.1 92.8 naspram TB 4 27.3; Devin Voice
• OpenAI Agents API (Codex uprtač kao usluga, samo za SAD, bez ZDR-a); prijave za 200 dolara Pro pauzirane zbog potražnje za Astrom

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

0:00 Armin Ronacher, čovjek koji je napisao Flask, dao je GPT-6 Astri jedan prompt i ostavio je samu trideset i pet sati. Vratila se sa sedamdeset i pet tisuća linija koda i, po njegovim riječima, apsolutno ništa vrijedno, što je čini najrealističnijom softverskom tvornicom ikada izgrađenom. Objavio je izvještaj u srijedu. U četvrtak je Cognition isporučio SWE-2, a OpenAI je isporučio Agents API i pauzirao prijave za svoj plan od dvjesto dolara,

0:24 jer je Astra pojela servere. A u petak je izvještaj dospio na naslovnu stranicu Hacker Newsa, nekoliko redova ispod objave koja je tražila od Hacker Newsa da prestane objavljivati o AI-u. U ovom videu: što dan i pol nenadzirane Astre proizvodi, dvije mjere koje neurednost pretvaraju u broj, zašto alat sa sedamdeset i devet tisuća zvjezdica povećava vaš račun, i kako je Hacker News pokušao filtrirati AI, koristeći AI. Petak je, 11. rujna, i ovo je The Daily Diff.

0:53 Tvornica. Jedan prompt: izgradi Python s virtualnim nitima i leksičkim opsegom. Astra je vodila vlastite bilješke, pokretala vlastite podagente, i radila dok Armin nije izvukao utikač, dan i pol i oko dvanaest stotina dolara kasnije. Sedamdeset i devet commita, dakle petnaest i pol dolara po commitu, što je otprilike ono što naplaćuje čovjek, osim što čovjek na kraju prestane. Kod je priča. Umjesto alata za uređivanje, Astra zakrpa C datoteke preusmjeravanjem Python heredoca koji čitaju datoteku, zamjenjuju funkciju i ponovno je zapisuju.

1:20 Da bi pokrenula jedan Windows test, napisala je Python koji je pokrenuo Node koji je pokrenuo PowerShell, stog poziva s putovnicom. Jedinični testovi koje je commitovala nemaju uopće razmaka, jer bez uvlačenja su deset posto jeftiniji u tokenima. A popis zadataka je prešao s jedan, dva, tri na zadatak 8b2c2b2b kontrolna točka jedan, po čemu znate da je pripravnik predugo sam. Arminova teorija: model je nagrađen za završavanje dugih zadataka i jedva kažnjen za ružan kod, pa se pozivi alata s manjim brojem tokena slijevaju u bazu koda,

1:48 i što manje ljudi gleda, to je manje važno. Taj je odjeljak nazvao "To je AGI ako ne gledate." Hacker News je dodao ekonomiju: više koda znači više tokena za održavanje, što neurednost ne čini bugom već pretplatom. Možete li izmjeriti neurednost? Arminova vlastita tvrtka pokušala je ovaj tjedan. Earendil je pokrenuo brojeve SlopCodeBench-a: agentski kod je oko dvostruko opširniji i dvostruko erodiraniji od ljudskih repozitorija s kojima se uspoređuje,

2:10 i kada benchmark briše memoriju agenta između kontrolnih točaka, stroga prolaznost za svaki model koji su testirali je nula. Najpouzdanija metrika neurednosti koju su pronašli bio je sirovi broj linija, koji prestaje raditi onog trenutka kada ga netko optimizira, pa molim vas, nemojte reći modelima. Zatim novčanik. RTK ima sedamdeset i devet tisuća GitHub zvjezdica i YouTube sličica koje obećavaju da će prepoloviti vaš račun za Claude Code; komprimira izlaz terminala prije nego što ga agent

2:34 pročita. Quesma ga je pokrenula na Terminal-Benchu za tisuću i pet stotina dolara tokena. S Fableom je račun pao pet posto, gotovo sve od jednog zadatka; s DeepSeekom prosječni zadatak je postao sedamnaest posto skuplji. U međuvremenu je RTK-ov vlastiti brojač prijavio osamdeset i devet posto uštede, jer broji uklonjene bajtove, a ne uzrokovane dodatne okrete: pametan mjerač koji naplaćuje susjedu. A jedna greška u verziji prepisala je find u naredbu koja je pala, tristo trideset i devet puta zaredom, po devet puta višoj cijeni.

3:01 Alat koji ubija tokene ima petlju. Sama poplava. Cognitionov SWE-2 je Kimi K3, otvoreni kineski model, post-treniran dok ne odgovara Fable 5.1 na Cognitionovom vlastitom benchmarku po trećini cijene; Hacker News: zašto su svi američki AI modeli u osnovi Kimi u baloneru. Na Terminal-Bench 2.1 dominira cijelom tablicom; na Terminal-Bench 4, onaj kojeg nitko još nije zapamtio, postiže dvadeset i sedam naspram Fableovih pedeset i šest,

3:28 tako da je na slide-deck benchmarkovima najbolja kolona ispit koji su svi već prošli. Cognition je također najavio Devin Voice, vaš omiljeni AI softver inženjer je upravo dobio fiksni telefon, jer jedna stvar koja je nedostajala agentskom kodiranju bila je glazba na čekanju. OpenAI, isti dan: Agents API, koji je Codex uprtač prodavan kao usluga. OpenAI vodi sandbox, samo za podatke iz SAD-a, bez zadržavanja podataka, tako da agent pamti vašu bazu koda jednako dobro kao i ChatGPT. Zatim je OpenAI pauzirao prijave za Pro plan od dvjesto dolara,

3:57 jer je potražnja za Astrom, citiram, bez presedana: prvi proizvod s listom čekanja za više platiti. Armin je potrošio puni reset na svojoj tvornici. On je potražnja. Što nas dovodi do petka Ask HN: možemo li, molim vas, ograničiti poplavu vijesti o AI-u, šest stotina pedeset i šest bodova, jer, citiram, svaki put kada netko u OpenAI-u ili Anthropicu prdne, postoji top-deset objava.

4:17 Odgovori su bili filtri: hcker dot news uklanja AI priče s BERT klasifikatorom obučenim na osam tisuća primjera, AI za brisanje AI, hranjen travom; i uBlock regex koji odgovara A-I bez obzira na velika i mala slova također briše e-poštu, dnevno, glavno, domenu i vlak, tako da je regex, kao i uvijek, zlikovac. Istog popodneva, četiri stotine petnaest komentara raspravljalo se o stranici podrške za Claude koja kaže da je Claude za osamnaest plus.

4:38 Stranica je datirana u svibnju. Ništa se nije promijenilo. Čak su i vijesti o AI-u koje nisu vijesti vijesti, što je, da budem iskren, i moj poslovni model. Ako biste ovo radije pročitali nego čuli kako ja to govorim, diff stiže u vašu pristiglu poštu svako jutro — besplatno na the daily diff dot dev, link ispod. To su, neizbježno, vijesti o AI-u. Dakle — današnja presuda o tridesetpetosatnoj softverskoj tvornici: REVERT. Sedamdeset i devet commita koje nitko nije pročitao nije baza koda, to je obveza s git

5:04 logom; Astra je impresivna, a tvornica je dio koji treba vratiti. I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com