Армин Роначер GPT-6 Астраг 35 цагийн турш ганцааранг нь орхижээ.
Армин Роначер (Flask, Jinja) GPT-6 Астрад нэг л команд өгөөд 35 цагийн турш ганцааранг нь орхижээ: ойролцоогоор нэг тэрбум токен, 1,200 доллар орчим, 79 коммит, 75,000 мөр код — "үнэт зүйл огт байхгүй".
Армин Роначер (Flask, Jinja) GPT-6 Астрад нэг л команд өгөөд 35 цагийн турш ганцааранг нь орхижээ: ойролцоогоор нэг тэрбум токен, 1,200 доллар орчим, 79 коммит, 75,000 мөр код — "үнэт зүйл огт байхгүй". Түүний сэргээсэн код нь түүх юм: Python string-splicing heredocs ашиглан нөхсөн C файлууд, Python нь Node-г, Node нь PowerShell-г эхлүүлсэн, зайг нь арилгасан нэгжийн тестүүд учир нь токеноор 10% хямд байжээ. Хоёр хэмжилт түүнийг баталж байна: Earendil-ийн SlopCodeBench-ийн тоонууд (агентийн код нь хүний репогоос хоёр дахин их үгтэй, элэгдсэн, 0% хатуу нэвтрүүлэх хувьтай) болон Quesma-гийн RTK-ийн 1,500 долларын бенчмарк (79 мянган одтой, өөрийн тоолуураар "89% токен хэмнэсэн", DeepSeek-тэй даалгавар тутамд +17%). Мөн: Cognition-ийн SWE-2 (Kimi K3 сувагт цувтай, Terminal-Bench 2.1 дээр 92.8 оноотой бол Terminal-Bench 4 дээр 27.3), OpenAI-ийн Agents API болон 200 долларын Pro бүртгэлүүд түр зогссон, мөн баасан гарагийн Hacker News хиймэл оюун ухааны мэдээг багасгахыг хүссэн. Шийдвэр: REVERT.
Бичмэл хувилбарыг унших (Англи) ↗
Энэ видео юуг хамардаг
- Армин Роначер: 35 цаг хараа хяналтгүй GPT-6 Астра, ~$1,200, 79 коммит, +75k мөр, юу ч нийлүүлээгүй
- Earendil / SlopCodeBench: агентийн код хүний репогоос ~2 дахин их үгтэй, элэгдсэн; хатуу нэвтрүүлэх хувь 0%
- Quesma: RTK 89% токен хэмнэсэн гэж мэдээлж байгаа ч DeepSeek-тэй Terminal-Bench-ийн зардал 17% өссөн; дахин бичих давталт 339 удаа дараалан амжилтгүй болсон
- Cognition SWE-2: Kimi K3-ээс дахин сургагдсан, FrontierCode дээр Fable 5.1-тэй ижил түвшинд, үнэ нь гуравны нэг; TB 2.1 92.8 vs TB 4 27.3; Devin Voice
- OpenAI Agents API (Codex-ийн удирдлага үйлчилгээ хэлбэрээр, зөвхөн АНУ, ZDR байхгүй); Astra-ийн эрэлтээс болж 200 долларын Pro бүртгэлүүд түр зогссон
Түгээмэл асуултууд
GPT-6 Astra зэрэг кодлогч агентыг 35 цагийн турш хараа хяналтгүй ажиллуулахад юу болдог вэ?
Flask болон Jinja-г бичсэн Армин Ронахер GPT-6 Astra-д нэг даалгавар өгөөд 35 цаг орхижээ. Энэ нь ойролцоогоор нэг тэрбум токен ашиглаж, арван хоёр зуун долларын өртөгтэй байсан бөгөөд 79 коммит, 75,000 мөр код үүсгэсэн бөгөөд түүнийг ямар ч үнэ цэнэгүй гэж тодорхойлсон. Уг код нь C файлуудыг Python heredocs-оор нөхөж, зайг арилгасан нэгжийн тестүүдтэй байсан, учир нь энэ нь токены хувьд 10% хямд байдаг.
Хиймэл оюун ухааны агентуудын бичсэн код нь хүний бичсэн кодоос мэдэгдэхүйц муу байдаг уу?
Эарендилийн SlopCodeBench-ийн тоо баримтаас харахад агентын код нь харьцуулсан хүний репозиториудаас хоёр дахин их үг хэллэгтэй, хоёр дахин их элэгдсэн байжээ. Бенчмарк нь хяналтын цэгүүдийн хооронд агентын санах ойг цэвэрлэхэд туршигдсан загвар бүрийн хувьд нарийн давтамжийн хувь 0% байсан. Судлаачид хамгийн найдвартай slop хэмжүүрийг түүхий мөрийн тоо гэж үзсэн.
RTK зэрэг токен хэмнэх хэрэгслүүд нь кодлогч агентын ажиллагааны зардлыг үнэхээр бууруулдаг уу?
Quesma-ийн RTK-ийн зардлын жишиг, Terminal-Bench дээр 1,500 долларын токентой ажиллахад, энэ нь зардлыг найдвартай бууруулдаггүй болохыг тогтоожээ. Fable-ийн хувьд төлбөр таван хувиар буурсан бөгөөд бараг бүхэлдээ нэг ажлаас үүссэн бол DeepSeek-ийн хувьд дундаж ажлын өртөг 17% -иар нэмэгдсэн. RTK-ийн өөрийн тоолуур нь устгасан байтыг тоолдог тул 89% хэмнэсэн гэж мэдээлсэн. Нэг хувилбарын алдаа нь мөн 339 удаа давтагдсан амжилтгүй тушаалын давталтыг үүсгэсэн.
Cognition-ийн SWE-2 загвар гэж юу вэ, бусад кодлогч загваруудтай харьцуулахад ямар вэ?
Cognition-ийн SWE-2 нь Kimi K3, нээлттэй Хятадын загвар бөгөөд Cognition-ийн өөрийн FrontierCode бенчмарк дээр Fable 5.1-тэй ижил түвшинд хүрэх хүртэл гуравны нэг үнээр дараах сургалтанд хамрагдсан. Энэ нь Terminal-Bench 2.1 дээр 92.8, харин Terminal-Bench 4 дээр 27.3 оноо авсан бөгөөд энэ нь тухайн ангид хэн ч хараахан цээжлээгүй бенчмарк гэж тодорхойлогдсон. Cognition мөн Devin Voice-ийг зарласан.
Багууд хиймэл оюун ухааны кодлогч агентуудыг бүхэл бүтэн төслүүд дээр хараа хяналтгүй ажиллуулах ёстой юу?
The Daily Diff-ийн дүгнэлт нь REVERT байсан. Хэн ч уншаагүй далан есөн коммит нь git log-той хариуцлага болдог. Ронахерийн онол бол загварууд урт хугацааны ажлыг дуусгахад урамшуулал авдаг бөгөөд муухай кодын хувьд бараг шийтгүүлдэггүй тул хүмүүс бага харах тусам энэ нь бага чухал болно гэсэн юм. Уг анги нь Astra-г гайхалтай, хараа хяналтгүй үйлдвэрийг буцаах хэсэг гэж нэрлэсэн.
Орчуулсан бичлэг
Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.
0:00 Flask-ийг бичсэн Армин Роначер GPT-6 Астрад ганцхан команд өгөөд гучин таван цагийн турш ганцааранг нь орхижээ. Тэрээр далан таван мянган мөр кодтой буцаж ирсэн ба, түүний хэлснээр, үнэт зүйл огт байхгүй, энэ нь түүнийг хамгийн бодит програм хангамжийн үйлдвэр болгожээ. Тэрээр бичсэн зүйлээ лхагва гарагт нийтэлсэн. Пүрэв гарагт Cognition SWE-2-г, OpenAI Agents API-г гаргаж, хоёр зуун долларын төлөвлөгөөнийхөө бүртгэлийг түр зогсоосон,
0:24 учир нь Астра серверүүдийг "идэж" орхижээ. Баасан гарагт тэрхүү бичвэр Hacker News-ийн нүүр хуудсанд гарсан, Hacker News-т хиймэл оюун ухааны талаар нийтлэхээ болихыг хүссэн нийтлэлийн хэдхэн мөр доор. Энэ видеоны агуулга: нэг өдөр хагас хяналтгүй Астра юу үйлдвэрлэж байгаа, хог хаягдлыг тоонд хувиргадаг хоёр хэмжилт, далан есөн мянган одтой хэрэгсэл яагаад таны төлбөрийг нэмэгдүүлдэг, мөн Hacker News хиймэл оюун ухааныг ашиглан хиймэл оюун ухааныг шүүх гэж хэрхэн оролдсон тухай. Өнөөдөр есдүгээр сарын 11-ний Баасан гараг, энэ бол The Daily Diff.
0:53 Үйлдвэр. Нэг команд: виртуал урсгалтай, лексик цар хүрээтэй Python-ыг бүтээ. Астра өөрийн тэмдэглэлээ хөтөлж, өөрийн туслах агентуудаа эхлүүлж, Армин залгуурыг нь сугалах хүртэл ажилласан, нэг өдөр хагас ба арван хоёр зуу орчим долларын дараа. Далан есөн коммит, нэг коммит арван тав хагас доллар, энэ нь хүний хураамжтай ойролцоо, гэхдээ хүн эцэст нь зогсдог. Код бол түүх юм. Засварлах хэрэгслийн оронд Астра Python heredocs-ийг ашиглан C файлуудыг нөхөж, файлыг уншиж, функцийг оруулж, буцааж бичдэг.
1:20 Нэг Windows тестийг ажиллуулахын тулд Python бичиж, тэр нь Node-г, Node нь PowerShell-г эхлүүлсэн, паспорттой дуудлагын стек. Түүний оруулсан нэгжийн тестүүд огт зайгүй, учир нь зайгүй бол тэд токеноор арван хувиар хямд байдаг. Даалгаврын жагсаалт нэг, хоёр, гурваас даалгавар 8b2c2b2b шалган нэвтрүүлэх цэг нэг болж өөрчлөгдсөн, энэ нь дадлагажигч хэт удаан ганцаараа байсныг харуулж байна. Армины онол: загвар нь урт даалгавруудыг дуусгахад урамшуулж, муухай кодны төлөө бараг шийтгэдэггүй, тиймээс токеноор хязгаарлагдсан хэрэгслийн дуудлагууд кодын баазад нэвтэрч,
1:48 хүмүүс хэдий чинээ бага харна, төдий чинээ ач холбогдол багатай болдог. Тэрээр тэр хэсгийг "Хэрэв та харахгүй бол энэ бол AGI" гэж гарчиглажээ. Hacker News эдийн засгийг нэмсэн: илүү их код нь түүнийг хадгалахад илүү их токен, энэ нь хог хаягдлыг алдаа биш, харин захиалга болгодог. Хог хаягдлыг хэмжиж болох уу? Армины өөрийн компани энэ долоо хоногт оролдсон. Earendil SlopCodeBench-ийн тоонуудыг ажиллуулсан: агентийн код нь харьцуулсан хүний репогоос хоёр дахин их үгтэй, хоёр дахин элэгдсэн,
2:10 мөн бенчмарк агентийн санах ойг шалган нэвтрүүлэх цэгүүдийн хооронд цэвэрлэхэд, тэдний туршсан загвар бүрийн хатуу нэвтрүүлэх хувь тэг байсан. Тэдний олсон хамгийн найдвартай хог хаягдлын хэмжүүр нь мөрийн түүхий тоо байсан, энэ нь хэн нэгэн түүнийг оновчтой болгох үед ажиллахаа больдог, тиймээс загваруудад битгий хэлээрэй. Дараа нь хэтэвч. RTK нь далан есөн мянган GitHub одтой бөгөөд таны Claude Code-ийн төлбөрийг хоёр дахин бууруулахыг амласан YouTube-ийн бяцхан зургуудтай; энэ нь агент
2:34 уншихаас өмнө терминалын гаралтыг шахаж өгдөг. Quesma үүнийг Terminal-Bench дээр арван таван зуун долларын токеноор ажиллуулсан. Fable-тэй бол төлбөр таван хувиар буурсан, бараг бүхэлдээ нэг даалгавраас; DeepSeek-тэй бол дундаж даалгавар арван долоон хувиар илүү үнэтэй болсон. Үүний зэрэгцээ RTK-ийн өөрийн тоолуур наян есөн хувь хэмнэсэн гэж мэдээлсэн, учир нь энэ нь арилгасан байтыг тоолдог, нэмэлт эргэлтийг биш: хөршийг тооцдог ухаалаг тоолуур. хөршийг тооцдог ухаалаг тоолуур. Мөн нэг хувилбарын алдаа нь find командыг амжилтгүй болгосон команд болгон дахин бичсэн, гурван зуун гучин есөн удаа дараалан, ес дахин өндөр үнээр.
3:01 Токен устгадаг хэрэгсэл давталттай. Үер өөрөө. Cognition-ийн SWE-2 бол Kimi K3, нээлттэй Хятадын загвар, Cognition-ийн өөрийн бенчмарк дээр Fable 5.1-тэй ижил түвшинд хүртэл дахин сургагдсан, үнэ нь гуравны нэг; Hacker News: яагаад Америкийн бүх хиймэл оюун ухааны загварууд үндсэндээ Kimi сувагт цувтай байдаг вэ. Terminal-Bench 2.1 дээр энэ нь бүх хүснэгтийг тэргүүлдэг; Terminal-Bench 4 дээр, хэн ч хараахан цээжлээгүй байгаа, Fable-ийн тавин зургаатай харьцуулахад хорин долоо оноо авсан,
3:28 тиймээс слайд-дек бенчмаркууд дээр хамгийн сайн багана бол хүн бүрийн аль хэдийн тэнцсэн шалгалт юм. Cognition мөн Devin Voice-ийг зарласан, таны дуртай хиймэл оюун ухааны программ хангамжийн инженер одоо стационар утастай болсон, учир нь агентийн кодчилолд дутагдаж байсан зүйл бол хүлээлгийн хөгжим байсан. OpenAI, тэр өдөр: Agents API, энэ нь Codex-ийн удирдлага үйлчилгээ хэлбэрээр зарагддаг. OpenAI Sandbox-ийг ажиллуулдаг, зөвхөн АНУ-ын мэдээлэл хадгалах, тэг-мэдээлэл хадгалахгүй, тиймээс агент таны кодын баазыг ChatGPT-тэй яг ижил сайн санадаг. Дараа нь OpenAI хоёр зуун долларын Pro төлөвлөгөөний бүртгэлийг түр зогсоосон,
3:57 учир нь Астрагийн эрэлт, иш татвал, "урьд өмнө хэзээ ч байгаагүй": төлбөрөө нэмж төлөх хүлээлгийн жагсаалттай анхны бүтээгдэхүүн. Армин үйлдвэрээ бүрэн дахин эхлүүлсэн. Тэр бол эрэлт юм. Энэ нь биднийг баасан гарагийн Ask HN-д хүргэдэг: бид хиймэл оюун ухааны мэдээний үерийг хязгаарлаж болох уу, зургаан зуун тавин зургаан оноо, учир нь, иш татвал, "OpenAI эсвэл Anthropic-ийн хэн нэгэн хиймэл хий гаргахад, эхний арван байрны нийтлэл гардаг."
4:17 Хариултууд нь шүүлтүүрүүд байсан: hcker.news хиймэл оюун ухааны түүхийг найман мянган жишээн дээр сургасан BERT ангилагч ашиглан арилгадаг, хиймэл оюун ухаанаар хиймэл оюун ухааныг устгах, өвсөөр тэжээгдсэн; мөн A-I-г том жижиг үсэг үл хамааран тааруулдаг uBlock regex нь мөн и-мэйл, өдөр тутмын, үндсэн, домэйн, галт тэрэг зэргийг устгадаг, тиймээс regex нь, үргэлж муу санаат юм. Тэр үдээс хойш, дөрвөн зуун арван таван сэтгэгдэл Claude арван найман наснаас дээш гэж хэлсэн Claude-ийн дэмжлэгийн хуудсыг
4:38 маргасан. Хуудас нь тавдугаар сард бичигдсэн. Юу ч өөрчлөгдөөгүй. Мэдээ биш хиймэл оюун ухааны мэдээ ч мэдээ болдог, энэ нь, үнэндээ, миний бизнесийн загвар юм. Хэрэв та үүнийг надаас сонсохоос илүү уншихыг хүсвэл, diff өглөө бүр таны имэйл хайрцагт ирнэ — daily diff.dev дээр үнэгүй, линк доор байгаа. Энэ бол, зайлшгүй, хиймэл оюун ухааны мэдээ юм. Тэгэхээр — өнөөдрийн гучин таван цагийн программ хангамжийн үйлдвэрийн тухай шийдвэр: буцаах. Хэн ч уншаагүй далан есөн коммит бол кодын бааз биш, энэ нь git
5:04 логтой хариуцлага юм; Астра гайхалтай, үйлдвэр нь буцаах хэсэг юм. Өнөөдрийн ялгаа энэ байна. Би Axrisi-ийн Нико байна. Хариуцлагатай нэгтгээрэй.
Эх сурвалжууд
- Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
- HN: Astra for Codingnews.ycombinator.com
- Earendil — Measuring the sloppiness of codeearendil.com
- HN: Measuring the sloppiness of codenews.ycombinator.com
- Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
- HN: RTKnews.ycombinator.com
- RTK (Rust Token Killer)github.com
- Cognition — Introducing SWE-2cognition.com
- HN: Cognition SWE-2news.ycombinator.com
- OpenAI — Agents APIdevelopers.openai.com
- HN: OpenAI Agents APInews.ycombinator.com
- TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
- Ask HN: Can we please limit the AI news flood?news.ycombinator.com
- HN: Claude is only available to people over 18 yearsnews.ycombinator.com



