Ο Armin Ronacher άφησε το GPT-6 Astra μόνο του για 35 ώρες.

Τι καλύπτει αυτό το βίντεο

• Armin Ronacher: 35 ώρες αφύλακτο GPT-6 Astra, ~$1.200, 79 "commits", +75k γραμμές, τίποτα δεν παραδόθηκε
• Earendil / SlopCodeBench: κώδικας "agent" ~2× πιο φλύαρος και διαβρωμένος από τα ανθρώπινα αποθετήρια· αυστηρό ποσοστό επιτυχίας 0%
• Quesma: το RTK αναφέρει 89% "tokens" εξοικονόμηση, αλλά τα κόστη του Terminal-Bench αυξάνονται 17% με το DeepSeek· ένας βρόχος επανεγγραφής απέτυχε 339 φορές στη σειρά
• Cognition SWE-2: μετα-εκπαιδευμένο από το Kimi K3, ταιριάζει με το Fable 5.1 στο FrontierCode σε ένα τρίτο της τιμής· TB 2.1 92.8 έναντι TB 4 27.3· Devin Voice
• OpenAI Agents API (το "Codex harness" ως υπηρεσία, μόνο στις ΗΠΑ, χωρίς ZDR)· οι εγγραφές Pro των $200 τέθηκαν σε παύση λόγω της ζήτησης για Astra

Μεταφρασμένη μεταγραφή

Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.

0:00 Ο Armin Ronacher, ο άνθρωπος που έγραψε το Flask, έδωσε στο GPT-6 Astra μια ενιαία προτροπή και το άφησε μόνο του για τριάντα πέντε ώρες. Επέστρεψε με εβδομήντα πέντε χιλιάδες γραμμές κώδικα και, με τα λόγια του, απολύτως τίποτα αξίας, γεγονός που το καθιστά το πιο ρεαλιστικό λογισμικό εργοστάσιο που κατασκευάστηκε ποτέ. Δημοσίευσε την ανάλυση την Τετάρτη. Την Πέμπτη, η Cognition κυκλοφόρησε το SWE-2, και η OpenAI κυκλοφόρησε ένα Agents API και ανέστειλε τις εγγραφές για το σχέδιο των διακοσίων δολαρίων,

0:24 επειδή το Astra «έφαγε» τους servers. Και την Παρασκευή η ανάλυση έφτασε στην πρώτη σελίδα του Hacker News, μερικές σειρές κάτω από μια ανάρτηση που ζητούσε από το Hacker News να σταματήσει να αναρτά ειδήσεις για την τεχνητή νοημοσύνη. Σε αυτό το βίντεο: τι παράγει μια μιάμιση μέρα μη επιτηρούμενου Astra, δύο μετρήσεις που μετατρέπουν την αμέλεια σε αριθμό, γιατί ένα εργαλείο με εβδομήντα εννέα χιλιάδες αστέρια κάνει τον λογαριασμό σας μεγαλύτερο, και πώς το Hacker News προσπάθησε να φιλτράρει την τεχνητή νοημοσύνη, χρησιμοποιώντας τεχνητή νοημοσύνη. Είναι Παρασκευή, 11 Σεπτεμβρίου, και αυτό είναι το The Daily Diff.

0:53 Το εργοστάσιο. Μία προτροπή: να δημιουργηθεί μια Python με εικονικά νήματα και λεξικό πεδίο εφαρμογής. Το Astra κρατούσε τις δικές του σημειώσεις, δημιουργούσε τους δικούς του υπο-agents, και λειτουργούσε μέχρι που ο Armin τράβηξε την πρίζα, μια μέρα και μισή και περίπου δώδεκα εκατό δολάρια αργότερα. Εβδομήντα εννέα "commits", δηλαδή δεκαπέντε και μισό δολάρια ανά "commit", που είναι περίπου ό,τι χρεώνει ένας άνθρωπος, εκτός από το ότι ο άνθρωπος τελικά σταματάει. Ο κώδικας είναι η ιστορία. Αντί για το εργαλείο επεξεργασίας, το Astra διορθώνει αρχεία C διοχετεύοντας "heredocs" Python που διαβάζουν το αρχείο, αντικαθιστούν μια συνάρτηση με συμβολοσειρά και το γράφουν πίσω.

1:20 Για να εκτελέσει μια δοκιμή των Windows, έγραψε Python που δημιούργησε Node που δημιούργησε PowerShell, μια στοίβα κλήσεων με διαβατήριο. Οι δοκιμές μονάδας που ανέθεσε δεν έχουν καθόλου κενό χώρο, γιατί χωρίς εσοχές είναι δέκα τοις εκατό φθηνότερες σε "tokens". Και η λίστα εργασιών μετατοπίστηκε από το ένα, δύο, τρία στην εργασία 8b2c2b2b σημείο ελέγχου ένα, το οποίο είναι το πώς καταλαβαίνεις ότι ο πρακτικάριος ήταν μόνος για πάρα πολύ καιρό. Η θεωρία του Armin: το μοντέλο επιβραβεύεται για την ολοκλήρωση μακρών εργασιών και ελάχιστα τιμωρείται για άσχημο κώδικα, οπότε οι κλήσεις εργαλείων με μικρό αριθμό "tokens" διαρρέουν στην κωδική βάση,

1:48 και όσο λιγότεροι άνθρωποι κοιτάζουν, τόσο λιγότερο σημασία έχει. Ονόμασε αυτή την ενότητα "Είναι AGI αν δεν κοιτάξεις". Το Hacker News πρόσθεσε την οικονομική πτυχή: περισσότερος κώδικας σημαίνει περισσότερα "tokens" για τη συντήρησή του, κάτι που κάνει την αμέλεια όχι ένα σφάλμα αλλά μια συνδρομή. Μπορείτε να μετρήσετε την αμέλεια; Η εταιρεία του Armin το δοκίμασε αυτή την εβδομάδα. Ο Earendil έτρεξε τους αριθμούς του SlopCodeBench: ο κώδικας του "agent" είναι περίπου δύο φορές πιο φλύαρος και δύο φορές πιο διαβρωμένος από τα ανθρώπινα αποθετήρια με τα οποία συγκρίνεται,

2:10 και όταν το "benchmark" διαγράφει τη μνήμη του "agent" μεταξύ των σημείων ελέγχου, το αυστηρό ποσοστό επιτυχίας για κάθε μοντέλο που δοκίμασαν είναι μηδέν. Η πιο αξιόπιστη μέτρηση αμέλειας που βρήκαν ήταν ο ακατέργαστος αριθμός γραμμών, ο οποίος σταματά να λειτουργεί τη στιγμή που κάποιος τον βελτιστοποιεί, οπότε παρακαλώ μην το πείτε στα μοντέλα. Μετά το πορτοφόλι. Το RTK έχει εβδομήντα εννέα χιλιάδες αστέρια στο GitHub και μικρογραφίες YouTube που υπόσχονται να μειώσουν στο μισό τον λογαριασμό σας για τον κώδικα Claude· συμπιέζει την έξοδο του τερματικού πριν την διαβάσει ο "agent".

2:34 Η Quesma το έτρεξε στο Terminal-Bench για χίλια πεντακόσια δολάρια σε "tokens". Με το Fable ο λογαριασμός μειώθηκε κατά πέντε τοις εκατό, σχεδόν όλος από μια εργασία· με το DeepSeek η μέση εργασία έγινε δεκαεπτά τοις εκατό πιο ακριβή. Εν τω μεταξύ, ο δικός του μετρητής του RTK ανέφερε εξοικονόμηση ογδόντα εννέα τοις εκατό, επειδή μετράει bytes που αφαιρέθηκαν, όχι επιπλέον στροφές που προκλήθηκαν: ένας έξυπνος μετρητής που χρεώνει τον γείτονα. Και ένα σφάλμα έκδοσης ξανάγραψε το 'find' σε μια εντολή που απέτυχε, τριακόσιες τριάντα εννέα φορές στη σειρά, στην εννέαπλάσια τιμή.

3:01 Το εργαλείο που σκοτώνει τα "tokens" έχει έναν βρόχο. Ο ίδιος ο κατακλυσμός. Το SWE-2 της Cognition είναι το Kimi K3, το ανοιχτό κινεζικό μοντέλο, μετα-εκπαιδευμένο μέχρι να ταιριάζει με το Fable 5.1 στο δικό του "benchmark" της Cognition σε ένα τρίτο της τιμής· Hacker News: γιατί όλα τα αμερικανικά μοντέλα AI είναι βασικά το Kimi με καμπαρντίνα. Στο Terminal-Bench 2.1 βρίσκεται στην κορυφή ολόκληρου του πίνακα· στο Terminal-Bench 4, αυτό που κανείς δεν έχει απομνημονεύσει ακόμα, σκοράρει είκοσι επτά έναντι πενήντα έξι του Fable,

3:28 οπότε στα "slide-deck benchmarks" η καλύτερη στήλη είναι η εξέταση που όλοι ήδη πέρασαν. Η Cognition ανακοίνωσε επίσης το Devin Voice, ο αγαπημένος σας μηχανικός λογισμικού AI απέκτησε σταθερό τηλέφωνο, επειδή το μόνο πράγμα που έλειπε στην "agentic coding" ήταν η μουσική αναμονής. OpenAI, την ίδια μέρα: το Agents API, το οποίο είναι το "Codex harness" που πωλείται ως υπηρεσία. Η OpenAI διαχειρίζεται το "sandbox", μόνο με τόπο δεδομένων στις ΗΠΑ, χωρίς μηδενική διατήρηση δεδομένων, οπότε ο "agent" θυμάται τη βάση κώδικά σας ακριβώς όπως το κάνει το ChatGPT. Μετά η OpenAI διέκοψε τις εγγραφές για το πρόγραμμα Pro των διακοσίων δολαρίων,

3:57 επειδή η ζήτηση για Astra είναι, όπως αναφέρεται, "πρωτοφανής": το πρώτο προϊόν με λίστα αναμονής για να πληρώσετε περισσότερα. Ο Armin έκανε πλήρη επανεκκίνηση στο εργοστάσιό του. Αυτός είναι η ζήτηση. Κάτι που μας φέρνει στο Ask HN της Παρασκευής: μπορούμε παρακαλώ να περιορίσουμε τον κατακλυσμό ειδήσεων για την τεχνητή νοημοσύνη, εξακόσιους πενήντα έξι πόντους, επειδή, όπως αναφέρεται, "κάθε φορά που κάποιος στην OpenAI ή την Anthropic αερίζεται, υπάρχει μια ανάρτηση στην πρώτη δεκάδα."

4:17 Οι απαντήσεις ήταν φίλτρα: το hcker dot news αφαιρεί ιστορίες AI με έναν ταξινομητή BERT εκπαιδευμένο σε οκτώ χιλιάδες παραδείγματα, AI για διαγραφή AI, βιολογικό· και μια κανονική έκφραση uBlock που ταιριάζει με το A-I ανεξαρτήτως πεζών-κεφαλαίων διαγράφει επίσης email, daily, main, domain και train, οπότε η κανονική έκφραση, όπως πάντα, είναι ο κακός. Το ίδιο απόγευμα, τετρακόσια δεκαπέντε σχόλια υποστήριξαν για μια σελίδα υποστήριξης του Claude που έλεγε ότι το Claude είναι για άτομα άνω των δεκαοκτώ.

4:38 Η σελίδα χρονολογείται από τον Μάιο. Τίποτα δεν άλλαξε. Ακόμα και οι ειδήσεις AI που δεν είναι ειδήσεις είναι ειδήσεις, κάτι που, για να είμαστε δίκαιοι, είναι και το επιχειρηματικό μου μοντέλο. Αν προτιμάτε να το διαβάσετε αντί να με ακούσετε να το λέω, το "diff" φτάνει στα εισερχόμενά σας κάθε πρωί — δωρεάν στο the daily diff dot dev, σύνδεσμος παρακάτω. Είναι, αναπόφευκτα, ειδήσεις AI. Λοιπόν — η σημερινή ετυμηγορία για το εργοστάσιο λογισμικού των τριάντα πέντε ωρών: αναίρεση (revert). Εβδομήντα εννέα "commits" που κανείς δεν διάβασε δεν είναι βάση κώδικα, είναι μια υποχρέωση με ένα "git"

5:04 log· το Astra είναι εντυπωσιακό, και το εργοστάσιο είναι το κομμάτι που πρέπει να αναστραφεί. Και αυτή είναι η διαφορά για σήμερα. Είμαι ο Νίκος από την Axrisi. Συγχωνεύστε υπεύθυνα.

Πηγές

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com