+− THE DAILY DIFFdev & AI news
SHIP IT

Ο Τοπικός Οδηγός Υλικού AI (2026)

Κατά την κατασκευή ενός μηχανήματος για τοπικούς πράκτορες AI και LLM ανοιχτού κώδικα, οι προγραμματιστές κάνουν το λάθος να αγοράζουν προδιαγραφές υπολογιστών παιχνιδιών: CPU 5,8 GHz, προσαρμοσμένα συστήματα υδρόψυξης και γρήγορες GPU παιχνιδιών με μόνο 8 GB VRAM.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Κατά την κατασκευή ενός μηχανήματος για τοπικούς πράκτορες AI και LLM ανοιχτού κώδικα, οι προγραμματιστές κάνουν το λάθος να αγοράζουν προδιαγραφές υπολογιστών παιχνιδιών: CPU 5,8 GHz, προσαρμοσμένα συστήματα υδρόψυξης και γρήγορες GPU παιχνιδιών με μόνο 8 GB VRAM. Όμως, η αυτοπαλινδρομική δημιουργία διακριτικών εξαρτάται από το εύρος ζώνης μνήμης, όχι από την υπολογιστική ισχύ: για να εκδοθεί ένα μόνο διακριτικό, κάθε βάρος στο μοντέλο πρέπει να μεταδοθεί μέσω του διαύλου μνήμης. Όταν τα βάρη ή το πλαίσιο προσωρινής μνήμης KV υπερβαίνουν τη φυσική VRAM, ο χρόνος εκτέλεσης μεταφορτώνει στρώματα στο σύστημα DDR5 μέσω PCIe, και χτυπάτε ένα "γάντζο" εύρους ζώνης μνήμης 20x: η ταχύτητα πέφτει από 40 διακριτικά το δευτερόλεπτο σε 1,5. Σε αυτήν την επιτόπια δοκιμή, ο Niko αναλύει τους μηχανισμούς του υλικού, τους κανόνες μεγέθους μοντέλου κβαντοποίησης 4-bit, τρία πραγματικά επίπεδα προϋπολογισμού από 1.200$ έως 5.000$, γιατί μια μεταχειρισμένη RTX 3090 24GB είναι η καλύτερη προσφορά VRAM ανά δολάριο στην πληροφορική, την παγίδα του Raspberry Pi edge και τη στρατηγική του οικιακού γυμναστηρίου για τοπική έναντι cloud εξαγωγή συμπερασμάτων. Ετυμηγορία: SHIP IT.

Διαβάστε την γραπτή έκδοση (Αγγλικά) ↗

Τι καλύπτει αυτό το βίντεο

  • Το κενό εύρους ζώνης μνήμης 20x: 936 GB/s GDDR6X έναντι 50 GB/s DDR5 & 31,5 GB/s PCIe
  • Μέγεθος μοντέλου @ 4-bit: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
  • Επίπεδο 1 (1.200–1.500$): RTX 4060 Ti 16GB (ποτέ 8GB) ή Mac Mini 16GB
  • Επίπεδο 2 (1.500–2.000$): Μεταχειρισμένη RTX 3090 24GB "χρυσή τομή" ή Mac Mini M4 Pro 64GB
  • Επίπεδο 3 (3.500$+): RTX 4090 24GB / διπλές 3090s ή Mac Studio Ultra

Ερωτήσεις και απαντήσεις

Γιατί το εύρος ζώνης μνήμης είναι πιο σημαντικό από την ταχύτητα της CPU για την εκτέλεση LLMs τοπικά;

Η δημιουργία κειμένου περιορίζεται από το πόσο γρήγορα μπορούν να διαβαστούν τα βάρη του μοντέλου από τη μνήμη. Το επεισόδιο εξηγεί ότι για την παραγωγή ενός διακριτικού, η GPU πρέπει να μεταφέρει κάθε βάρος του μοντέλου μέσω των υπολογιστικών πυρήνων της, οπότε ένα μοντέλο δέκα gigabyte σημαίνει ανάγνωση δέκα gigabyte ανά διακριτικό. Μια RTX 3090 με δίαυλο 384-bit προσφέρει 936 GB/s εύρος ζώνης GDDR6X, το οποίο οι ταχύτητες ρολογιού της CPU δεν μπορούν να αλλάξουν.

www.nvidia.com · github.com

Τι συμβαίνει στην ταχύτητα ενός τοπικού LLM όταν ένα μοντέλο δεν χωράει στην VRAM της GPU;

Η ταχύτητα καταρρέει επειδή τα υπόλοιπα στρώματα διαβάζονται μέσω του διαύλου PCIe από τη μνήμη του συστήματος. Το επεισόδιο συγκρίνει 936 GB/s GDDR6X με περίπου 50 GB/s για dual-channel DDR5 και 31.5 GB/s για PCIe, μια πτώση 20 φορές. Στο παράδειγμά του, η δημιουργία έπεσε από 40 διακριτικά το δευτερόλεπτο σε 1.5.

github.com · www.jedec.org

Πόση VRAM χρειάζονται τα μοντέλα ανοιχτού βάρους κβαντισμένα στα 4-bit;

Στα 4-bit, το επεισόδιο δίνει αυτά τα κατά προσέγγιση μεγέθη βάρους. Ένα μοντέλο 8B χρειάζεται περίπου 5GB, ένα μοντέλο 14B περίπου 10GB, ένα μοντέλο 32B περίπου 20GB και ένα μοντέλο 70B περίπου 40GB. Αυτά τα στοιχεία καλύπτουν μόνο τα βάρη. Ένα μεγάλο πλαίσιο γεμίζει επίσης την προσωρινή μνήμη κλειδιού-τιμής, η οποία, όπως αναφέρει το επεισόδιο, μπορεί να χρειαστεί τέσσερα έως οκτώ gigabyte σε ένα παράθυρο τριάντα δύο χιλιάδων διακριτικών.

ollama.com · github.com

Είναι μια μεταχειρισμένη RTX 3090 ακόμα μια καλή GPU για τοπική τεχνητή νοημοσύνη;

Το επεισόδιο τη συστήνει για την κατασκευή Tier 2 επειδή προσφέρει είκοσι τέσσερα gigabyte VRAM σε δίαυλο 384-bit στα 936 GB/s, το οποίο χαρακτηρίζει ως την καλύτερη συμφωνία VRAM-ανά-δολάριο στην πληροφορική. Το επεισόδιο τοποθετεί μια κατασκευή Tier 2 με μια μεταχειρισμένη 3090 στα δεκαέξι χιλιάδες δολάρια συνολικά. Επίσης, λέει να μην αγοράσετε ποτέ την έκδοση 8GB της RTX 4060 Ti.

www.nvidia.com · axrisi.com

Πρέπει οι προγραμματιστές να φτιάξουν έναν gaming PC για να τρέχουν τοπικούς πράκτορες AI;

Η ετυμηγορία του The Daily Diff ήταν SHIP IT για την αγορά VRAM αντί για gaming specs. Το επεισόδιο λέει ότι η VRAM και το εύρος ζώνης μνήμης κερδίζουν τις ταχύτητες ρολογιού κάθε φορά, και προτείνει την εκτέλεση καθημερινής κωδικοποίησης και εργασιών ιδιωτικών εγγράφων τοπικά, ενώ στέλνει μεγάλες ανακατασκευές σε ένα cloud API. Εκτιμά ότι μια κατασκευή Tier 2 αποπληρώνεται σε δεκαοκτώ μήνες με πενήντα έως εκατό δολάρια το μήνα σε δαπάνες API.

axrisi.com · www.nvidia.com

Μεταφρασμένη μεταγραφή

Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.

0:00 Εάν σχεδιάζετε να φτιάξετε έναν υπολογιστή για να εκτελείτε τοπικούς πράκτορες AI, σταματήστε να φτιάχνετε ένα gaming rig. Δεν χρειάζεστε έναν Core i9 5,8 GHz, ένα σύστημα υδρόψυξης, ή μια κάρτα γραφικών 8 gigabyte καλυμμένη με RGB. Στην τοπική εξαγωγή συμπερασμάτων AI, οι προδιαγραφές παιχνιδιών είναι ουσιαστικά άχρηστες. Η μόνη μετρική που καθορίζει εάν ο πράκτοράς σας λειτουργεί ή "σέρνεται" είναι η χωρητικότητα VRAM και το εύρος ζώνης του διαύλου μνήμης. Κανόνες της δοκιμής υλικού: ξεχάστε τις ταχύτητες CPU και τα benchmarks rasterization.

0:24 Μας ενδιαφέρουν τρεις αριθμοί: το πλάτος του διαύλου μνήμης, το εύρος ζώνης σε gigabytes ανά δευτερόλεπτο, και το ακατέργαστο περιθώριο VRAM για διόγκωση προσωρινής μνήμης KV. Σε αυτήν την επιτόπια δοκιμή, θα αναλύσω το "γάντζο" εύρους ζώνης μνήμης 20x, θα χαρτογραφήσω τους κανόνες μεγέθους μοντέλου, θα συγκρίνω τρία πραγματικά επίπεδα από χίλια διακόσια δολάρια έως πέντε χιλιάδες, και θα εξηγήσω γιατί μια μεταχειρισμένη 3090 εξακολουθεί να είναι ο μεγαλύτερος κωδικός εξαπάτησης στην πληροφορική. Αυτό είναι το The Daily Diff, επιτόπια δοκιμή. Για να καταλάβετε γιατί τα gaming rigs αποτυγχάνουν, δείτε πώς πραγματικά εκτελείται η δημιουργία διακριτικών. Στα παιχνίδια, η CPU σας τροφοδοτεί τις κλήσεις σχεδίασης και η GPU σας αποδίδει καρέ.

0:54 Αλλά η αυτοπαλινδρομική αποκωδικοποίηση LLM εξαρτάται σχεδόν αποκλειστικά από το εύρος ζώνης μνήμης. Για να δημιουργηθεί ένα μόνο διακριτικό, η GPU πρέπει να μεταδώσει κάθε παράμετρο βάρους του μοντέλου από τη μνήμη μέσω των υπολογιστικών της πυρήνων. Εάν το μοντέλο σας είναι 10 gigabyte, η παραγωγή ενός διακριτικού σημαίνει ανάγνωση 10 gigabyte δεδομένων. Σε μια Nvidia RTX 3090 με δίαυλο μνήμης 384-bit, παίρνετε 936 gigabyte ανά δευτερόλεπτο εύρος ζώνης GDDR6X, παράγοντας 80 διακριτικά το δευτερόλεπτο. Αλλά παρακολουθήστε τι συμβαίνει τη στιγμή που το μοντέλο σας υπερβαίνει τη φυσική VRAM.

1:22 Όταν η VRAM γεμίσει, οι χρόνοι εκτέλεσης μεταφορτώνουν τα υπόλοιπα στρώματα μέσω του διαύλου PCIe στην μνήμη συστήματος DDR5. Οι πυρήνες της GPU σας αναμένουν 1000 gigabyte το δευτερόλεπτο. Αντίθετα, η dual-channel DDR5 τους τροφοδοτεί 50, και το PCIe 4 "πνίγεται" στα 31. Αυτή είναι μια κατάρρευση εύρους ζώνης 20x. Η διαδικασία δημιουργίας διακριτικών σταματά αμέσως περιμένοντας στον δίαυλο, και η ταχύτητα πέφτει από 40 διακριτικά το δευτερόλεπτο σε 1,5. Έχετε μετατρέψει ένα rig 2.000 δολαρίων σε θερμαντήρα χώρου.

1:47 Και χειροτερεύει κατά τη διάρκεια πολλαπλών εκτελέσεων πράκτορα, επειδή τα βάρη είναι μόνο η μισή μάχη. Κάθε προτροπή, κλήση εργαλείου και τμήμα αρχείου αποθηκεύεται στην προσωρινή μνήμη Key-Value. Ένα παράθυρο περιβάλλοντος 32k μπορεί να "καταβροχθίσει" 4 έως 8 gigabyte VRAM επιπλέον των βαρών. Εάν η κάρτα σας έχει μόνο 16 gigabyte, ο πράκτοράς σας κάνει δύο κύκλους, χτυπά το "τείχος" του περιβάλλοντος, και είτε "κρασάρει" με σφάλμα εξάντλησης μνήμης είτε "ξεχειλίζει" σε DDR5. Εδώ είναι το "φύλλο εξαπάτησης" μεγέθους 4-bit. Ένα μοντέλο 7 ή 8 δισεκατομμυρίων παραμέτρων, όπως το Llama 3.1 ή το DeepSeek Distill,

2:16 χρειάζεται περίπου 5 gigabyte. Ένα μοντέλο 14 δισεκατομμυρίων χρειάζεται 10 gigabyte. Ένα μοντέλο 32 δισεκατομμυρίων, η "χρυσή τομή" νοημοσύνης για πράκτορες κωδικοποίησης, απαιτεί 20 gigabyte. Και ένα μοντέλο αιχμής 70 δισεκατομμυρίων απαιτεί 40 gigabyte πριν καν κατανείμετε το περιβάλλον. Το οποίο μας φέρνει στις πραγματικές κατασκευές υλικού. Το Επίπεδο 1 είναι το βασικό rig, 1200 έως 1500 δολάρια. Στον υπολογιστή, η "άγκυρά" σας είναι μια RTX 4060 Ti 16 gigabyte.

2:39 Κρίσιμη προειδοποίηση: μην αγοράσετε ποτέ την έκδοση 8 gigabyte για να εξοικονομήσετε 70 δολάρια. Τα 8 gigabyte VRAM το 2026 είναι μια άμεση "θανατική ποινή" λόγω έλλειψης μνήμης σε οποιαδήποτε πραγματική ροή εργασίας πράκτορα. Συνδυάστε το με έναν Ryzen 5 εξαπύρηνο, 64 gigabyte DDR5, και έναν δίσκο NVMe 2 terabyte. Στον κόσμο της Apple, το αντίστοιχο είναι ένα Mac Mini ή MacBook Pro με 16 gigabyte ενοποιημένης μνήμης.

3:02 Θα δείτε 40 έως 50 διακριτικά το δευτερόλεπτο σε μοντέλα 8 δισεκατομμυρίων. Το Επίπεδο 2 είναι η "χρυσή τομή" για τους "power user": κατασκευή ειδικά για την εκτέλεση μοντέλων 32 δισεκατομμυρίων παραμέτρων, όπως το Qwen 2.5 32B. Η Διαδρομή Α είναι μια νέα RTX 4070 Ti Super με 16 gigabyte για 800 δολάρια. Αλλά η Διαδρομή Β είναι η ισχυρή μου σύσταση: αγοράστε μια μεταχειρισμένη Nvidia RTX 3090 24 gigabyte. Μπορείτε να βρείτε καθαρές 3090s στο eBay για 650 έως 750 δολάρια. Αυτό σας δίνει 24 gigabyte VRAM σε έναν τεράστιο δίαυλο 384-bit που "σπρώχνει"

3:33 936 gigabyte το δευτερόλεπτο. Δολάριο προς δολάριο, είναι η καλύτερη προσφορά VRAM στην πληροφορική. Στο macOS, το αντίστοιχο του Επιπέδου 2 είναι ένα Mac Mini M4 Pro με 64 gigabyte ενοποιημένης μνήμης. Παράγει 11 έως 12 διακριτικά το δευτερόλεπτο σε ένα μοντέλο 32 δισεκατομμυρίων: πιο αργό από την Nvidia, αλλά απόλυτα αθόρυβο στα 30 watt με χώρο για ένα γιγάντιο παράθυρο περιβάλλοντος. Το Επίπεδο 3 είναι η κατηγορία ενθουσιαστών για "σμήνη" πολλαπλών πρακτόρων. Στον υπολογιστή, αυτό σημαίνει μια RTX 4090 με 24 gigabyte,

3:57 έναν Ryzen 9, και 128 gigabyte RAM, ή δύο RTX 3090s που παρέχουν 48 gigabyte συνολικής VRAM. Στη σειρά της Apple, αυτό είναι ένα Mac Studio Ultra με 96 έως 128 gigabyte ενοποιημένης μνήμης. Η "υπερδύναμη" είναι η παραμονή στη μνήμη: μπορείτε να διατηρήσετε ένα μοντέλο ενσωμάτωσης, έναν γρήγορο δρομολογητή και ένα μοντέλο κωδικοποίησης 32 δισεκατομμυρίων φορτωμένα ταυτόχρονα με μηδενική καθυστέρηση εναλλαγής. Τώρα για την ειλικρινή αποτυχία της επιτόπιας δοκιμής μας: την παγίδα του edge computing.

4:24 Κάθε εβδομάδα μια ανάρτηση στα μέσα κοινωνικής δικτύωσης ισχυρίζεται ότι μπορείτε να εκτελέσετε αυτόνομους πράκτορες κωδικοποίησης σε ένα Raspberry Pi 5 των 80 δολαρίων. Το δοκίμασα. Η εκτέλεση ενός μικροσκοπικού μοντέλου 1,5 δισεκατομμυρίου παραμέτρων σας δίνει μόλις 3 διακριτικά το δευτερόλεπτο ενώ η πλακέτα περιορίζεται στους 85 βαθμούς Κελσίου. Είναι ένα ωραίο παιχνίδι για το Σαββατοκύριακο, αλλά ως καθημερινός οδηγός ανάπτυξης, είναι καθαρή τιμωρία. Για λογισμικό, χρησιμοποιήστε το Ollama αν θέλετε έναν καθαρό δαίμονα γραμμής εντολών που συνδέεται

4:47 απευθείας με το Cursor, το Cline ή το VS Code. Αν θέλετε ένα γραφικό περιβάλλον με λήψεις μοντέλων και ρυθμιστικά επιπέδων GPU, χρησιμοποιήστε το LM Studio. Και ταιριάξτε τη μορφή σας με το πυρίτιο σας. Στο Apple Silicon, κατεβάζετε πάντα μοντέλα GGUF βελτιστοποιημένα για Metal. Σε Windows ή Linux με Nvidia, κατεβάστε μοντέλα AWQ ή EXL2, τα οποία χρησιμοποιούν τους Nvidia Tensor Cores για 20 έως 30 τοις εκατό ταχύτερη εξαγωγή συμπερασμάτων. Πώς λοιπόν το αναπτύσσετε αυτό χωρίς να χρεοκοπήσετε;

5:11 Σκεφτείτε το τοπικό υλικό σαν ένα οικιακό γυμναστήριο έναντι ενός εμπορικού γυμναστηρίου. Έχοντας ένα squat rack στο σπίτι σημαίνει ότι προπονείστε κάθε μέρα με μηδενικές μετακινήσεις, μηδενικά τέλη συνδρομής και πλήρη ιδιωτικότητα. Η τοπική σας μηχανή χειρίζεται το 80 τοις εκατό της καθημερινής σας κωδικοποίησης, ελέγχου μονάδων και ιδιωτικής επεξεργασίας εγγράφων με μηδέν δολάρια ανά διακριτικό. Και όταν χρειάζεται να "σηκώσετε" 500 κιλά — όπως μια μαζική ανακατασκευή αρχιτεκτονικής σε όλο το αποθετήριο σε 50 αρχεία — επισκέπτεστε το εμπορικό γυμναστήριο: πληρώνετε το cloud API για Claude 3.5 Sonnet ή OpenAI o3 για 15 λεπτά

5:38 και προχωράτε. Εδώ είναι ο λογαριασμός: μια κατασκευή Επιπέδου 2 με μια μεταχειρισμένη 3090 κοστίζει 1600 δολάρια συνολικά. Αν ξοδεύετε 50 έως 100 δολάρια το μήνα σε διακριτικά API, αποσβένεται σε 18 μήνες διατηρώντας την ιδιόκτητη βάση κώδικα σας εκτός διακομιστών τρίτων. Η ετυμηγορία της σημερινής επιτόπιας δοκιμής: SHIP IT. Η VRAM και το εύρος ζώνης μνήμης υπερισχύουν των ταχυτήτων ρολογιού κάθε φορά. Σταματήστε να αγοράζετε CPU 5 gigahertz για AI, και βρείτε μια μεταχειρισμένη 3090.

6:04 Πείτε μου τι κατασκευή υλικού χρησιμοποιείτε για τοπικά μοντέλα στα σχόλια. Και αν προτιμάτε να διαβάσετε αυτήν την ανάλυση, πάρτε το ενημερωτικό δελτίο στο daily diff dot dev, σύνδεσμος παρακάτω. Και αυτή είναι η διαφορά για σήμερα. Είμαι ο Niko από την Axrisi. Συγχωνεύστε υπεύθυνα.

Πηγές

  1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
  2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
  3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
  4. Ollama Model Library & Benchmarksollama.com
  5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
  6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Σχετικά βίντεο

daily · el · 20 Νοε 2026

Η πρώτη μέρα της Anthropic στο Nasdaq: τιμές πρώτης ημέρας, το lock-up, ο παράγοντας κινδύνου ορίου-ρυθμού και ένα ακυρώσιμο συμβόλαιο

Η Anthropic τιμολόγησε την IPO της στα 83,00 $, πούλησε 980 εκατομμύρια μετοχές Class A και άρχισε να διαπραγματεύεται στο Nasdaq ως ANT. Η τιμολόγηση έγινε στις 18 Νοεμβρίου 2026 και η διαπραγμάτευση

5:01 ↗