+− THE DAILY DIFFdev & AI news
SHIP IT

Mahalliy AI Uskunasi Bo'yicha Qo'llanma (2026)

Mahalliy AI agentlari va ochiq vaznli LLM'lar uchun mashina qurishda, dasturchilar o'yin kompyuterining xususiyatlarini xato bilan sotib olishadi: 5.8 GHz protsessorlar, maxsus suyuq sovutish tizimlari va atigi 8GB VRAMga ega tez o'yin videokartalari.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Mahalliy AI agentlari va ochiq vaznli LLM'lar uchun mashina qurishda, dasturchilar o'yin kompyuterining xususiyatlarini xato bilan sotib olishadi: 5.8 GHz protsessorlar, maxsus suyuq sovutish tizimlari va atigi 8GB VRAMga ega tez o'yin videokartalari. Ammo avtoregressiv token yaratish hisoblash bilan emas, balki xotira-o'tkazish qobiliyati bilan chegaralangan: bitta token chiqarish uchun modeldagi har bir og'irlik xotira shinasidan oqib o'tishi kerak. Og'irliklar yoki KV kesh konteksti jismoniy VRAMdan oshib ketganda, ish vaqti qatlamlarni PCIe orqali tizim DDR5ga o'tkazadi va siz 20 barobar xotira o'tkazish qobiliyati pasayishiga duch kelasiz: tezlik sekundiga 40 tokendan 1.5 tokenga tushadi. Ushbu dala sinovida Niko apparat mexanikasini, 4-bitli kvantlash modelini o'lchash qoidalarini, 1200 dollardan 5000 dollargacha bo'lgan uchta real byudjet darajasini, nima uchun ishlatilgan RTX 3090 24GB hisoblashda dollariga eng yaxshi VRAM taklifi ekanligini, Raspberry Pi qopqog'ini va mahalliy va bulutli inferensiya uchun uy sport zali strategiyasini tushuntiradi. Hukm: SHIP IT.

Yozma nashrini oʻqing (inglizcha) ↗

Bu video nimani qamrab oladi

  • 20 barobar xotira o'tkazish qobiliyati pasayishi: 936 GB/s GDDR6X vs 50 GB/s DDR5 & 31.5 GB/s PCIe
  • Model o'lchami @ 4-bit: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
  • 1-daraja (1200–1500$): RTX 4060 Ti 16GB (hech qachon 8GB emas) yoki Mac Mini 16GB
  • 2-daraja (1500–2000$): Ishlatilgan RTX 3090 24GB eng maqbul joy yoki Mac Mini M4 Pro 64GB
  • 3-daraja (3500$+): RTX 4090 24GB / ikki 3090 yoki Mac Studio Ultra

Savollar va javoblar

Nima uchun LLM'larni lokal tarzda ishga tushirish uchun xotira o'tkazish qobiliyati CPU tezligidan muhimroq?

Matn yaratish tezligi model og'irliklari xotiradan qanchalik tez o'qilishi bilan cheklanadi. Epizodda aytilishicha, bitta token ishlab chiqarish uchun GPU modelning har bir og'irligini o'z hisoblash yadrolari orqali uzatishi kerak, shuning uchun o'n gigabaytlik model har bir token uchun o'n gigabaytni o'qishni anglatadi. 384 bitli shina bilan RTX 3090 936 GB/s GDDR6X o'tkazish qobiliyatini ta'minlaydi, buni CPU soat tezligi o'zgartira olmaydi.

www.nvidia.com · github.com

Model GPU VRAM'iga sig'maganda mahalliy LLM tezligiga nima bo'ladi?

Tezlik pasayadi, chunki qolgan qatlamlar PCIe shinasi orqali tizim xotirasidan o'qiladi. Epizod 936 GB/s GDDR6X'ni ikki kanalli DDR5 uchun taxminan 50 GB/s va PCIe uchun 31.5 GB/s bilan solishtiradi, bu 20 barobar pasayishdir. Misol uchun, yaratish tezligi sekundiga 40 tokendan 1.5 gacha tushgan.

github.com · www.jedec.org

4 bitli kvantlangan ochiq og'irlikdagi modellar qancha VRAM'ga muhtoj?

4 bitda epizod taxminiy og'irlik o'lchamlarini beradi. 8B model taxminan 5 GB, 14B model taxminan 10 GB, 32B model taxminan 20 GB va 70B model taxminan 40 GB joy oladi. Bu raqamlar faqat og'irliklarni qoplaydi. Uzoq kontekst kalit-qiymat keshini ham to'ldiradi, bu epizodda o'ttiz ikki ming token oynasida to'rt-sakkiz gigabaytni olishi mumkinligi aytiladi.

ollama.com · github.com

Ishlatilgan RTX 3090 hali ham mahalliy AI uchun yaxshi GPU hisoblanadimi?

Epizod uni 2-darajali qurilma uchun tavsiya qiladi, chunki u 384 bitli shina orqali 936 GB/s tezlikda yigirma to'rt gigabayt VRAM'ni taklif qiladi, bu esa hisoblashda dollar uchun eng yaxshi VRAM bitimi deb ataladi. Epizod ishlatilgan 3090 bilan 2-darajali qurilmani o'n olti yuz dollar deb baholaydi. Shuningdek, u RTX 4060 Ti'ning 8 GB versiyasini hech qachon sotib olmaslikni aytadi.

www.nvidia.com · axrisi.com

Dasturchilar mahalliy AI agentlarini ishga tushirish uchun o'yin kompyuterini qurishlari kerakmi?

The Daily Diff'ning hukmi o'yin xususiyatlari o'rniga VRAM sotib olish uchun SHIP IT edi. Epizodda aytilishicha, VRAM va xotira o'tkazish qobiliyati har doim soat tezligidan ustun turadi va kundalik kodlash va shaxsiy hujjatlar bilan ishlashni mahalliy tarzda bajarishni, katta qayta ishlanmalarni esa bulutli API'ga yuborishni taklif qiladi. U 2-darajali qurilma har oy ellikdan yuz dollargacha API xarajatida o'n sakkiz oy ichida o'zini oqlashini taxmin qiladi.

axrisi.com · www.nvidia.com

Tarjima qilingan transkript

Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.

0:00 Agar siz mahalliy AI agentlarini ishga tushirish uchun kompyuter qurishni rejalashtirayotgan bo'lsangiz, o'yin qurilmasini qurishni to'xtating. Sizga 5.8 gigagertsli Core i9, suyuq sovutish tizimi kerak emas, yoki RGB bilan qoplangan 8 gigabaytlik videokarta. Mahalliy AI inferensiyasida o'yin spetsifikatsiyalari deyarli foydasiz. Agentingiz ishlaydimi yoki sudraladimi, faqatgina VRAM hajmi va xotira shinasi o'tkazish qobiliyati belgilaydi. Uskuna sinovining qoidalari: protsessor chastotalari va rasterizatsiya benchmarklarini unuting.

0:24 Bizga uchta raqam qiziq: xotira shinasi kengligi, gigabayt/sekunddagi o'tkazish qobiliyati va KV keshining shishishi uchun xom VRAM zaxirasi. Ushbu dala sinovida men yigirma barobar xotira o'tkazish qobiliyati pasayishini tushuntiraman, model o'lchash qoidalarini belgilayman, 1200 dollardan 5000 dollargacha bo'lgan uchta haqiqiy darajani benchmark qilaman va nima uchun ishlatilgan 3090 hisoblashning eng katta firibgarlik kodi ekanligini tushuntiraman. Bu The Daily Diff, dala sinovi. Nima uchun o'yin qurilmalari ishlamay qolishini tushunish uchun token yaratish qanday amalga oshirilishiga qarang. O'yinlarda protsessoringiz chizish chaqiruvlarini ta'minlaydi va videokartangiz kadrlarni renderlaydi.

0:54 Ammo avtoregressiv LLM dekodlashi deyarli faqat xotira o'tkazish qobiliyati bilan chegaralangan. Bitta token yaratish uchun videokarta modelning har bir og'irlik parametrini xotiradan o'zining hisoblash yadrolari orqali uzatishi kerak. Agar modelingiz 10 gigabayt bo'lsa, bitta token ishlab chiqarish 10 gigabayt ma'lumotni o'qishni anglatadi. Nvidia RTX 3090da 384-bitli xotira shinasi bilan, siz 936 gigabayt/sekund GDDR6X o'tkazish qobiliyatini olasiz, sekundiga 80 token ishlab chiqaradi. Ammo modelingiz jismoniy VRAMdan oshib ketgan lahzada nima bo'lishini ko'ring.

1:22 VRAM to'lganda, ish vaqti qolgan qatlamlarni PCIe shinasidan tizim DDR5 xotirasiga o'tkazadi. Videokarta yadrolaringiz sekundiga 1000 gigabayt kutadi. Buning o'rniga, ikki kanalli DDR5 ularga 50 gigabayt beradi va PCIe 4 31 gigabaytda tiqilib qoladi. Bu 20 barobar o'tkazish qobiliyatining qulashi. Token yaratish quvuri darhol shina kutib to'xtab qoladi, va tezlik sekundiga 40 tokendan 1.5 tokenga tushadi. Siz 2000 dollarlik qurilmani isitgichga aylantirdingiz.

1:47 Va bu ko'p bosqichli agent ishlarida yomonlashadi, chunki og'irliklar jangning yarmi. Har bir so'rov, vosita chaqiruvi va fayl bo'lagi Kalit-Qiymat keshida saqlanadi. 32K kontekst oynasi og'irliklardan tashqari 4 dan 8 gigabaytgacha VRAMni iste'mol qilishi mumkin. Agar kartangizda faqat 16 gigabayt bo'lsa, agentingiz ikki marta aylanadi, kontekst devoriga uriladi va xotira yetishmovchiligi xatosi bilan ishdan chiqadi yoki DDR5ga to'kiladi. Mana 4-bitli o'lchamlashtirish uchun yordamchi jadval. Llama 3.1 yoki DeepSeek Distill kabi 7 yoki 8 milliard parametrlik model

2:16 taxminan 5 gigabaytni oladi. 14 milliard parametrlik model 10 gigabaytni oladi. 32 milliard parametrlik model, kodlash agentlari uchun eng maqbul intellektual joy, 20 gigabaytni talab qiladi. Va 70 milliardlik chegaraviy model siz kontekstni ajratmasdan oldin ham 40 gigabaytni talab qiladi. Bu bizni haqiqiy apparat qurilmalariga olib keladi. 1-daraja boshlang'ich qurilma, 1200 dan 1500 dollargacha. Kompyuterda sizning asosiy narsangiz RTX 4060 Ti 16 gigabaytlik.

2:39 Muhim ogohlantirish: hech qachon 70 dollar tejash uchun 8 gigabaytlik versiyani sotib olmang. 2026 yilda 8 gigabayt VRAM har qanday real agent ish oqimida darhol xotira yetishmovchiligi bilan o'lim jazosidir. Uni 6 yadroli Ryzen 5, 64 gigabayt DDR5 va 2 terabaytlik NVMe diski bilan birlashtiring. Apple olamida uning ekvivalenti 16 gigabayt yagona xotiraga ega Mac Mini yoki MacBook Pro.

3:02 8 milliard parametrlik modellarda sekundiga 40 dan 50 tagacha token ko'rasiz. 2-daraja tajribali foydalanuvchi uchun eng maqbul joy: ayniqsa Qwen 2.5 32B kabi 32 milliard parametrlik modellarni ishga tushirish uchun qurilgan. A yo'li 800 dollarga 16 gigabaytli yangi RTX 4070 Ti Super. Lekin B yo'li mening kuchli tavsiyam: ishlatilgan Nvidia RTX 3090 24 gigabaytni sotib oling. Siz eBayda 650 dan 750 dollargacha toza 3090larni topishingiz mumkin. Bu sizga ulkan 384-bitli shinada 24 gigabayt VRAM beradi va

3:33 sekundiga 936 gigabaytni ta'minlaydi. Dollariga dollar, bu hisoblashda eng yaxshi VRAM taklifi. macOSda 2-darajaning ekvivalenti 64 gigabayt yagona xotiraga ega Mac Mini M4 Pro. U 32 milliard parametrlik modelda sekundiga 11 dan 12 tagacha token ishlab chiqaradi: Nvidia'dan sekinroq, ammo 30 vattda mutlaqo ovozsiz, katta kontekst oynasi uchun joy bilan. 3-daraja ko'p agentli to'dalar uchun ishqibozlar qatori. Kompyuterda bu 24 gigabaytli RTX 4090ni anglatadi,

3:57 Ryzen 9 va 128 gigabayt RAM, yoki jami 48 gigabayt VRAM ta'minlaydigan ikki RTX 3090. Apple'ning qatorida bu 96 dan 128 gigabaytgacha yagona xotiraga ega Mac Studio Ultra. Superkuch xotira rezidentligi: siz bir vaqtning o'zida bir embedding modelini, tez router va 32 milliard parametrlik kodlash modelini nol almashish kechikishi bilan yuklashingiz mumkin. Nol almashtirish kechikishi bilan yuklashingiz mumkin. Endi dala sinovimizning samimiy muvaffaqiyatsizligi haqida: chekka hisoblash qopqog'i.

4:24 Har hafta ijtimoiy post 80 dollarlik Raspberry Pi 5da avtonom kodlash agentlarini ishga tushirish mumkinligini da'vo qiladi. Men uni sinab ko'rdim. Kichkina 1.5 milliard parametrlik modelni ishga tushirish sekundiga deyarli 3 ta token beradi, karta 85 daraja Selsiyda tiqilib qoladi. Bu ajoyib dam olish kunlari o'yinchog'i, ammo kundalik rivojlanish drayveri sifatida bu sof azob. Dasturiy ta'minot uchun, agar toza buyruq satri daemonini xohlasangiz, Ollamani ishlating,

4:47 u to'g'ridan-to'g'ri Cursor, Cline yoki VS Codega ulanadi. Agar model yuklashlari va GPU qatlam slaydrlari bilan grafik o'yin maydonchasini xohlasangiz, LM Studioni ishlating. Va formatingizni silikoningizga moslang. Apple Siliconda har doim Metal uchun optimallashtirilgan GGUF modellarini yuklab oling. Windows yoki Linuxda Nvidia bilan AWQ yoki EXL2 modellarini yuklab oling, ular Nvidia Tensor yadrolaridan 20 dan 30 foizgacha tezroq inferensiya uchun foydalanadi. Xo'sh, buni qanday qilib buzilmasdan joylashtirasiz?

5:11 Mahalliy apparatni tijorat sport zali bilan solishtirganda uy sport zali deb o'ylang. Uyda squat rackga ega bo'lish har kuni nol yo'lga, nol obuna to'lovi va to'liq maxfiylik bilan mashq qilishingizni anglatadi. Mahalliy mashinangiz kundalik kodlash, birlik sinovlari va shaxsiy hujjatlarni qayta ishlashning 80 foizini token uchun nol dollar evaziga amalga oshiradi. Va 500 funt deadlift qilishingiz kerak bo'lganda — masalan, 50 ta fayl bo'ylab katta repo bo'yicha arxitektura refaktori — tijorat zaliga borasiz: Claude 3.5 Sonnet yoki OpenAI o3 uchun 15 daqiqa davomida bulut APIga pul to'laysiz

5:38 va ishingizni davom ettirasiz. Mana hisob: ishlatilgan 3090 bilan 2-daraja qurilmasi jami 1600 dollar turadi. Agar siz API tokenlariga oyiga 50 dan 100 dollargacha sarflasangiz, u o'zini 18 oyda qoplaydi, shu bilan birga mulkiy kod bazangizni uchinchi tomon serverlaridan uzoqda saqlaydi. Bugungi dala sinovi hukmi: SHIP IT. VRAM va xotira o'tkazish qobiliyati har doim chastota tezligidan ustun turadi. AI uchun 5 gigagertsli protsessorlarni sotib olishni to'xtating va ishlatilgan 3090ni toping.

6:04 Izohlarda mahalliy modellar uchun qanday apparat qurilmasidan foydalanayotganingizni ayting. Va agar siz bu tahlilni o'qishni xohlasangiz, Daily Diff saytidan xabarnomani oling, pastdagi havola orqali. Va bugungi farq shundan iborat. Men Axrisidan Niko. Mas'uliyat bilan birlashtiring.

Manbalar

  1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
  2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
  3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
  4. Ollama Model Library & Benchmarksollama.com
  5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
  6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Tegishli videolar