+− THE DAILY DIFFdev & AI news
REVERT

Armin Ronacher, GPT-6 Astra'yı 35 saat boyunca yalnız bıraktı.

Armin Ronacher (Flask, Jinja), GPT-6 Astra'ya tek bir komut verdi ve 35 saat boyunca yalnız bıraktı: yaklaşık bir milyar belirteç, yaklaşık 1.200 dolar, 79 taahhüt, 75.000 satır — ve "kesinlikle değersiz hiçbir şey".

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Armin Ronacher (Flask, Jinja), GPT-6 Astra'ya tek bir komut verdi ve 35 saat boyunca yalnız bıraktı: yaklaşık bir milyar belirteç, yaklaşık 1.200 dolar, 79 taahhüt, 75.000 satır — ve "kesinlikle değersiz hiçbir şey". Kurtardığı kod hikayenin kendisiydi: Python dize birleştirme heredoc'ları ile yamalanmış C dosyaları, Python'un Node'u, Node'un PowerShell'i çağırması, belirteçlerde %10 daha ucuz olduğu için boşlukları kaldırılmış birim testleri. İki ölçüm onu destekliyor: Earendil'in SlopCodeBench sayıları (ajan kodu, insan depolarına göre yaklaşık iki kat daha ayrıntılı ve yıpranmış, %0 katı geçme oranı) ve Quesma'nın RTK için 1.500 dolarlık kıyaslaması (79 bin yıldız, kendi sayacında "%89 belirteç tasarrufu", DeepSeek ile görev başına +%17). Ayrıca: Cognition'ın SWE-2'si (pardösü giymiş Kimi K3, Terminal-Bench 2.1'de 92.8'e karşılık Terminal-Bench 4'te 27.3), OpenAI'ın Agents API'si ve duraklatılan 200 dolarlık Pro üyelikleri ve Cuma günü Hacker News'in daha az yapay zeka haberi istemesi. Karar: REVERT.

Yazılı sürümü oku (İngilizce) ↗

Bu video neleri kapsar

  • Armin Ronacher: 35 saat gözetimsiz GPT-6 Astra, ~1.200$, 79 taahhüt, +75 bin satır, hiçbir şey SHIP ITmedi.
  • Earendil / SlopCodeBench: ajan kodu insan depolarına göre ~2 kat daha ayrıntılı ve yıpranmış; katı geçme oranı %0.
  • Quesma: RTK %89 belirteç tasarrufu bildirse de, Terminal-Bench maliyetleri DeepSeek ile %17 artıyor; bir yeniden yazım döngüsü art arda 339 kez başarısız oldu.
  • Cognition SWE-2: Kimi K3'ten sonradan eğitilmiş, FrontierCode'da Fable 5.1 ile üçte bir fiyatına eşleşiyor; TB 2.1 92.8'e karşılık TB 4 27.3; Devin Voice.
  • OpenAI Agents API (hizmet olarak Codex koşum takımı, yalnızca ABD, ZDR yok); Astra talebi nedeniyle 200 dolarlık Pro üyelikleri duraklatıldı.

Sorular ve cevaplar

GPT-6 Astra gibi bir kodlama aracısı 35 saat boyunca denetimsiz çalışmaya bırakıldığında ne olur?

Flask ve Jinja'yı yazan Armin Ronacher, GPT-6 Astra'ya tek bir komut verdi ve 35 saat boyunca yalnız bıraktı. Yaklaşık bir milyar token kullandı, yaklaşık bin iki yüz dolara mal oldu ve 79 commit ve 75.000 satır kod üretti; Ronacher bunu 'kesinlikle değersiz' olarak nitelendirdi. Kod, C dosyalarını Python heredoc'larla yamalamış ve boşlukları kaldırılmış birim testlerine sahipti çünkü bu, tokenlarda %10 daha ucuzdu.

lucumr.pocoo.org · news.ycombinator.com

Yapay zeka ajanları tarafından yazılan kod, insan tarafından yazılan koddan ölçülebilir derecede daha mı kötü?

Earendil'in SlopCodeBench sayıları, ajan kodunun karşılaştırıldığı insan depolarına göre yaklaşık iki kat daha ayrıntılı ve iki kat daha aşınmış olduğunu buldu. Karşılaştırma testi, kontrol noktaları arasında ajanın belleğini sildiğinde, test edilen her model için kesin geçiş oranı %0 idi. Araştırmacıların bulduğu en güvenilir 'slop' ölçütü ham satır sayısıydı.

earendil.com · news.ycombinator.com

RTK gibi token tasarrufu sağlayan araçlar, bir kodlama aracısının çalıştırma maliyetini gerçekten düşürür mü?

Quesma'nın 1.500 dolarlık token ile Terminal-Bench üzerinde yaptığı RTK maliyet karşılaştırması, maliyetleri güvenilir bir şekilde düşürmediğini buldu. Fable ile fatura %5 düştü, neredeyse tamamı tek bir görevden kaynaklanırken, DeepSeek ile ortalama görev maliyeti %17 arttı. RTK'nın kendi sayacı, kaldırılan baytları saydığı için %89 tasarruf rapor etti. Ayrıca bir sürüm hatası da 339 kez tekrarlanan başarısız bir komut döngüsüne neden oldu.

quesma.com · github.com

Cognition'ın SWE-2 modeli nedir ve diğer kodlama modelleriyle nasıl karşılaştırılır?

Cognition'ın SWE-2'si, Kimi K3 adlı açık kaynaklı Çin modelidir ve Cognition'ın kendi FrontierCode karşılaştırma testinde Fable 5.1 ile eşleşene kadar üçte bir fiyatına eğitilmiştir. Terminal-Bench 2.1'de 92.8, ancak bölümün henüz kimsenin ezberlemediği karşılaştırma testi olarak tanımladığı Terminal-Bench 4'te 27.3 puan alıyor. Cognition ayrıca Devin Voice'ı da duyurdu.

cognition.com · news.ycombinator.com

Ekipler, yapay zeka kodlama ajanlarının tüm projelerde denetimsiz çalışmasına izin vermeli mi?

The Daily Diff'in kararı REVERT oldu. Kimsenin okumadığı yetmiş dokuz commit, bir git günlüğü ile bir sorumluluktur. Ronacher'ın teorisi, modellerin uzun görevleri tamamladıkları için ödüllendirildiği ve çirkin kod için zar zor cezalandırıldığı, bu yüzden ne kadar az insan bakarsa o kadar az önemli olduğuydu. Bölüm Astra'yı etkileyici, denetimsiz fabrikayı ise geri alınması gereken kısım olarak nitelendirdi.

lucumr.pocoo.org · earendil.com

Çevrilmiş deşifre

Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.

0:00 Flask'ı yazan Armin Ronacher, GPT-6 Astra'ya tek bir komut verdi ve otuz beş saat boyunca yalnız bıraktı. Yetmiş beş bin satır kodla geri döndü ve kendi deyimiyle, kesinlikle değersiz hiçbir şeyle, bu da onu şimdiye kadar yapılmış en gerçekçi yazılım fabrikası yapıyor. Yazıyı Çarşamba günü paylaştı. Perşembe günü, Cognition SWE-2'yi piyasaya sürdü ve OpenAI bir Agents API piyasaya sürdü ve iki yüz dolarlık planına kayıtları durdurdu,

0:24 çünkü Astra sunucuları yedi. Ve Cuma günü yazı Hacker News'in ön sayfasına ulaştı, Hacker News'ten yapay zeka hakkında paylaşım yapmayı durdurmasını isteyen bir gönderinin birkaç sıra altında. Bu videoda: bir buçuk günlük gözetimsiz Astra'nın ne ürettiği, savurganlığı bir sayıya dönüştüren iki ölçüm, yetmiş dokuz bin yıldızlı bir aracın neden faturanızı büyüttüğü ve Hacker News'in yapay zekayı yapay zeka kullanarak nasıl filtrelemeye çalıştığı. AI, using AI. Bugün 11 Eylül Cuma ve bu The Daily Diff.

0:53 Fabrika. Tek bir komut: sanal iş parçacıkları ve sözcüksel kapsamlamalı bir Python inşa et. Astra kendi notlarını tuttu, kendi alt ajanlarını başlattı, ve Armin fişi çekene kadar çalıştı, bir buçuk gün ve yaklaşık bin iki yüz dolar sonra. Yetmiş dokuz taahhüt, yani taahhüt başına on beş buçuk dolar, bu da bir insanın yaklaşık olarak talep ettiği ücret, ancak insan sonunda durur. Kod hikayedir. Düzenleme aracı yerine, Astra C dosyalarını, dosyayı okuyan, bir işlevi dizeyle değiştiren ve geri yazan Python heredoc'ları ile yamar.

1:20 Bir Windows testini çalıştırmak için Python yazdı, bu Python Node'u çağırdı, bu Node PowerShell'i çağırdı, pasaportlu bir çağrı yığını. PowerShell, a call stack with a passport. Taahhüt ettiği birim testlerinde hiç boşluk yok, çünkü girinti olmadan belirteçlerde yüzde on daha ucuzlar. Ve görev listesi birden, ikiye, üçe, görev 8b2c2b2b kontrol noktası bire kaydı, bu da stajyerin çok uzun süre yalnız kaldığını nasıl anladığınızdır. Armin'in teorisi: model uzun görevleri bitirdiği için ödüllendiriliyor ve çirkin kod için zar zor cezalandırılıyor, bu yüzden belirteç-golf aracı çağrıları kod tabanına sızıyor,

1:48 ve ne kadar az insan bakarsa, o kadar az önemli oluyor. O bölümün başlığını Şey, Bakmazsanız AGI'dır koydu. Hacker News ekonomiyi ekledi: daha fazla kod, onu sürdürmek için daha fazla belirteç demek, bu da savurganlığı bir hata değil, bir abonelik yapar. Savurganlığı ölçebilir misin? Armin'in kendi şirketi bu hafta denedi. Earendil SlopCodeBench sayılarını çalıştırdı: ajan kodu, karşılaştırıldığı insan depolarına göre yaklaşık iki kat daha ayrıntılı ve iki kat daha yıpranmış,

2:10 ve kıyaslama, kontrol noktaları arasında ajanın belleğini sildiğinde, test ettikleri her modelin katı geçme oranı sıfır. Buldukları en güvenilir savurganlık ölçütü ham satır sayısıydı, ki bu, biri optimize ettiği anda çalışmayı bırakıyor, o yüzden lütfen modellere söylemeyin. Sonra cüzdan. RTK'nın yetmiş dokuz bin GitHub yıldızı ve Claude Code faturanızı yarıya indirmeyi vaat eden YouTube küçük resimleri var; ajan okumadan önce terminal çıktısını sıkıştırır. Quesma onu Terminal-Bench'te bin beş yüz dolarlık belirteçler karşılığında çalıştırdı.

2:34 bin beş yüz dolarlık belirteç karşılığında çalıştırdı. Fable ile fatura yüzde beş düştü, neredeyse tamamı tek bir görevden; DeepSeek ile ortalama görev yüzde on yedi daha pahalı hale geldi. Bu arada RTK'nın kendi sayacı yüzde seksen dokuz tasarruf bildirdi, çünkü çıkarılan baytları sayıyor, neden olunan ekstra dönüşleri değil: komşuya fatura kesen akıllı bir sayaç. bills the neighbour. Ve bir sürüm hatası, bul komutunu, art arda üç yüz otuz dokuz kez, dokuz katı fiyata başarısız olan bir komuta dönüştürdü.

3:01 Belirteçleri öldüren aracın bir döngüsü var. Sel bizzat. Cognition'ın SWE-2'si, açık Çin modeli olan Kimi K3'tür, Cognition'ın kendi kıyaslamasında Fable 5.1 ile eşleşene kadar, üçte bir fiyatına sonradan eğitildi; Hacker News: neden tüm Amerikan AI modelleri temelde pardösü giymiş Kimi. in a trench coat. Terminal-Bench 2.1'de tüm tabloyu zirveye taşıyor; Terminal-Bench 4'te, henüz kimsenin ezberlemediği olanda, Fable'ın elli altısına karşı yirmi yedi puan alıyor,

3:28 yani slayt gösterisi kıyaslamalarında en iyi sütun, herkesin zaten geçtiği sınavdır. Cognition ayrıca Devin Voice'u duyurdu, favori AI yazılım mühendisiniz sadece bir sabit hat aldı, çünkü ajanssal kodlamanın eksik olduğu tek şey bekleme müziğiydi. engineer just got a landline, because the one thing agentic coding was missing was hold music. OpenAI, aynı gün: hizmet olarak satılan Codex koşum takımı olan Agents API. OpenAI sanal alanı çalıştırıyor, yalnızca ABD veri yerleşimi, sıfır veri tutma yok, yani ajan, kod tabanınızı ChatGPT kadar iyi hatırlıyor. Sonra OpenAI, iki yüz dolarlık Pro planına kayıtları durdurdu,

3:57 çünkü Astra talebi, tırnak içinde, benzeri görülmemiş: bekleme listesi olan ilk ürün daha fazla ödemek için. Armin, fabrikasında tam bir sıfırlama yaktı. Talep o. Bu da bizi Cuma günkü Ask HN'ye getiriyor: lütfen yapay zeka haber selini sınırlayabilir miyiz, altı yüz elli altı puan, çünkü, tırnak içinde, OpenAI veya Anthropic'ten biri her gaz çıkardığında, ilk on gönderiden biri oluyor.

4:17 Yanıtlar filtrelerdi: hcker.news, sekiz bin örnek üzerinde eğitilmiş bir BERT sınıflandırıcısıyla yapay zeka hikayelerini kaldırıyor, yapay zekayı silmek için yapay zeka, doğal beslenmiş; ve A-I'yi büyük/küçük harf duyarsız eşleştiren bir uBlock regex'i de e-posta, günlük, ana, alan adı ve tren kelimelerini siliyor, yani regex, her zamanki gibi, kötü adamdır. Aynı öğleden sonra, dört yüz on beş yorum, Claude'un on sekiz yaş üstü olduğunu söyleyen bir Claude destek sayfası hakkında tartıştı.

4:38 Sayfa Mayıs tarihli. Hiçbir şey değişmedi. Haber olmayan yapay zeka haberleri bile haberdir, ki, dürüst olmak gerekirse, bu benim iş modelim de. Bunu benim söylemem yerine okumayı tercih ederseniz, diff her sabah gelen kutunuza düşer — daily diff dot dev'den ücretsiz, bağlantı aşağıda. every morning — free at the daily diff dot dev, link below. Kaçınılmaz olarak yapay zeka haberidir. Öyleyse — otuz beş saatlik yazılım fabrikası hakkındaki bugünkü karar: REVERT. Kimsenin okumadığı yetmiş dokuz taahhüt bir kod tabanı değil, git

5:04 kaydı olan bir yüktür; Astra etkileyici, ve fabrika geri alınması gereken kısımdır. Ve bugünün farkı bu kadar. Axrisi'den Niko ben. Sorumlu bir şekilde birleştirin.

Kaynaklar

  1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
  2. HN: Astra for Codingnews.ycombinator.com
  3. Earendil — Measuring the sloppiness of codeearendil.com
  4. HN: Measuring the sloppiness of codenews.ycombinator.com
  5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
  6. HN: RTKnews.ycombinator.com
  7. RTK (Rust Token Killer)github.com
  8. Cognition — Introducing SWE-2cognition.com
  9. HN: Cognition SWE-2news.ycombinator.com
  10. OpenAI — Agents APIdevelopers.openai.com
  11. HN: OpenAI Agents APInews.ycombinator.com
  12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
  13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
  14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

İlgili videolar