ຄູ່ມືຮາດແວ AI ທ້ອງຖິ່ນ (2026)
ໃນເວລາສ້າງເຄື່ອງຈັກສໍາລັບຕົວແທນ AI ທ້ອງຖິ່ນ ແລະ LLM ນໍ້າໜັກເປີດ, ນັກພັດທະນາມັກຈະເຮັດຜິດພາດໃນການຊື້ສະເປັກ PC ສໍາລັບເກມ: CPUs 5.8 GHz, ລະບົບລະບາຍຄວາມຮ້ອນດ້ວຍນໍ້າແບບກໍານົດເອງ, ແລະ GPUs ສໍາລັບເກມໄວທີ່ມີ VRAM ພຽງ 8GB.
ໃນເວລາສ້າງເຄື່ອງຈັກສໍາລັບຕົວແທນ AI ທ້ອງຖິ່ນ ແລະ LLM ນໍ້າໜັກເປີດ, ນັກພັດທະນາມັກຈະເຮັດຜິດພາດໃນການຊື້ສະເປັກ PC ສໍາລັບເກມ: CPUs 5.8 GHz, ລະບົບລະບາຍຄວາມຮ້ອນດ້ວຍນໍ້າແບບກໍານົດເອງ, ແລະ GPUs ສໍາລັບເກມໄວທີ່ມີ VRAM ພຽງ 8GB. ແຕ່ການສ້າງໂທເຄັນແບບ autoregressive ແມ່ນຈໍາກັດດ້ວຍແບນວິດຫນ່ວຍຄວາມຈໍາ, ບໍ່ແມ່ນຈໍາກັດດ້ວຍການຄໍານວນ: ເພື່ອປ່ອຍໂທເຄັນດຽວ, ທຸກນໍ້າໜັກໃນຕົວແບບຕ້ອງຖ່າຍທອດຜ່ານບັດຫນ່ວຍຄວາມຈໍາ. ເມື່ອນໍ້າໜັກຂອງທ່ານ ຫຼື ບໍລິບົດແຄສ KV ເກີນ VRAM ທາງກາຍະພາບ, ເວລາເດີນທາງຈະໂຫຼດຊັ້ນຕ່າງໆໄປຫາລະບົບ DDR5 ຜ່ານ PCIe, ແລະທ່ານຈະພົບກັບຄວາມໄວແບນວິດຫນ່ວຍຄວາມຈໍາຫຼຸດລົງ 20 ເທົ່າ: ຄວາມໄວຫຼຸດລົງຈາກ 40 ໂທເຄັນຕໍ່ວິນາທີເຫຼືອ 1.5. ໃນການທົດສອບພາກສະໜາມນີ້, Niko ຈະອະທິບາຍກົນໄກຮາດແວ, ກົດລະບຽບການກໍານົດຂະໜາດຕົວແບບການປະຕິບັດ 4-bit, ສາມລະດັບງົບປະມານຕົວຈິງຕັ້ງແຕ່ $1,200 ຫາ $5,000, ເປັນຫຍັງ RTX 3090 24GB ທີ່ໃຊ້ແລ້ວຈຶ່ງເປັນຂໍ້ຕົກລົງ VRAM ຕໍ່ໂດລາທີ່ດີທີ່ສຸດໃນການຄໍານວນ, ຈັ່ນຈັບຂອບ Raspberry Pi, ແລະຍຸດທະສາດໂຮງອອກກຳລັງກາຍໃນບ້ານສໍາລັບການຄາດຄະເນທ້ອງຖິ່ນທຽບກັບຄລາວ. ຄໍາຕັດສິນ: SHIP IT.
ອ່ານສະບັບລາຍລັກອັກສອນ (ພາສາອັງກິດ) ↗
ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ
- ຄວາມໄວແບນວິດຫນ່ວຍຄວາມຈໍາຫຼຸດລົງ 20 ເທົ່າ: 936 GB/s GDDR6X ທຽບກັບ 50 GB/s DDR5 & 31.5 GB/s PCIe
- ການກໍານົດຂະໜາດຕົວແບບ @ 4-bit: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
- ລະດັບ 1 ($1,200–$1,500): RTX 4060 Ti 16GB (ບໍ່ແມ່ນ 8GB) ຫຼື Mac Mini 16GB
- ລະດັບ 2 ($1,500–$2,000): RTX 3090 24GB ທີ່ໃຊ້ແລ້ວ ເປັນຈຸດທີ່ດີທີ່ສຸດ ຫຼື Mac Mini M4 Pro 64GB
- ລະດັບ 3 ($3,500+): RTX 4090 24GB / ສອງ 3090s ຫຼື Mac Studio Ultra
ຄຳຖາມແລະຄຳຕອບ
ເປັນຫຍັງແບນວິດຫນ່ວຍຄວາມຈໍາຈຶ່ງສໍາຄັນກວ່າຄວາມໄວ CPU ສໍາລັບການໃຊ້ງານ LLM ໃນເຄື່ອງ?
ການສ້າງຂໍ້ຄວາມຖືກຈໍາກັດໂດຍຄວາມໄວທີ່ນໍ້າໜັກຂອງໂມເດວສາມາດອ່ານໄດ້ຈາກໜ່ວຍຄວາມຈຳ. ຕອນນີ້ອະທິບາຍວ່າເພື່ອສ້າງໜຶ່ງໂທເຄັນ, GPU ຕ້ອງຖ່າຍທອດນໍ້າໜັກທັງໝົດຂອງໂມເດວຜ່ານແກນຄອມພິວເຕີຂອງມັນ, ດັ່ງນັ້ນໂມເດວສິບກິກະໄບໝາຍເຖິງການອ່ານສິບກິກະໄບຕໍ່ໂທເຄັນ. RTX 3090 ທີ່ມີລົດເມ 384-ບິດໃຫ້ແບນວິດ GDDR6X 936 GB/s, ເຊິ່ງຄວາມໄວໂມງ CPU ບໍ່ສາມາດປ່ຽນແປງໄດ້.
ຈະເກີດຫຍັງຂຶ້ນກັບຄວາມໄວ LLM ໃນເຄື່ອງ ເມື່ອໂມເດວບໍ່ເໝາະສົມກັບ GPU VRAM?
ຄວາມໄວຫຼຸດລົງຍ້ອນວ່າຊັ້ນທີ່ຍັງເຫຼືອຖືກອ່ານຜ່ານລົດເມ PCIe ຈາກໜ່ວຍຄວາມຈໍາລະບົບ. ຕອນນີ້ປຽບທຽບ 936 GB/s ຂອງ GDDR6X ກັບປະມານ 50 GB/s ສໍາລັບ DDR5 ແບບສອງຊ່ອງ ແລະ 31.5 GB/s ສໍາລັບ PCIe, ເຊິ່ງຫຼຸດລົງ 20 ເທົ່າ. ໃນຕົວຢ່າງຂອງມັນ, ການສ້າງຫຼຸດລົງຈາກ 40 ໂທເຄັນຕໍ່ວິນາທີເປັນ 1.5.
ໂມເດວ open-weight ແບບ 4-bit quantized ຕ້ອງການ VRAM ເທົ່າໃດ?
ທີ່ 4-bit, ຕອນນີ້ໃຫ້ຂະໜາດນໍ້າໜັກໂດຍປະມານເຫຼົ່ານີ້. ໂມເດວ 8B ໃຊ້ປະມານ 5GB, ໂມເດວ 14B ປະມານ 10GB, ໂມເດວ 32B ປະມານ 20GB ແລະ ໂມເດວ 70B ປະມານ 40GB. ຕົວເລກເຫຼົ່ານີ້ແມ່ນກວມເອົານໍ້າໜັກເທົ່ານັ້ນ. ບໍລິບົດຍາວໆຍັງເຕັມໄປດ້ວຍແຄຊຄ່າ-ຄ່າ, ເຊິ່ງຕອນນີ້ບອກວ່າສາມາດໃຊ້ເວລາສີ່ຫາແປດກິກະໄບທີ່ໜ້າຕ່າງ 32,000 ໂທເຄັນ.
RTX 3090 ທີ່ໃຊ້ແລ້ວຍັງເປັນ GPU ທີ່ດີສໍາລັບ AI ໃນເຄື່ອງບໍ?
ຕອນນີ້ແນະນໍາມັນສໍາລັບການສ້າງ Tier 2 ເພາະວ່າມັນສະຫນອງ VRAM ຊາວສີ່ກິກະໄບໃນລົດເມ 384-ບິດທີ່ 936 GB/s, ເຊິ່ງມັນເອີ້ນວ່າຂໍ້ຕົກລົງ VRAM ຕໍ່ໂດລາທີ່ດີທີ່ສຸດໃນການຄອມພິວເຕີ. ຕອນນີ້ໃສ່ການສ້າງ Tier 2 ດ້ວຍ 3090 ທີ່ໃຊ້ແລ້ວທີ່ໜຶ່ງພັນຫົກຮ້ອຍໂດລາທັງໝົດ. ມັນຍັງບອກວ່າຢ່າຊື້ RTX 4060 Ti ລຸ້ນ 8GB ເດັດຂາດ.
ນັກພັດທະນາຄວນສ້າງ PC ເກມເພື່ອໃຊ້ຕົວແທນ AI ໃນເຄື່ອງບໍ?
ຄໍາຕັດສິນຂອງ The Daily Diff ແມ່ນ SHIP IT ສໍາລັບການຊື້ VRAM ແທນທີ່ຈະເປັນສະເປັກເກມ. ຕອນນີ້ບອກວ່າ VRAM ແລະແບນວິດໜ່ວຍຄວາມຈຳຊະນະຄວາມໄວໂມງທຸກຄັ້ງ, ແລະແນະນໍາໃຫ້ໃຊ້ການຂຽນໂຄດປະຈໍາວັນ ແລະວຽກເອກະສານສ່ວນຕົວໃນເຄື່ອງ ໃນຂະນະທີ່ສົ່ງການປັບປຸງຂະໜາດໃຫຍ່ໄປຫາ API ຄລາວ. ມັນຄາດຄະເນວ່າການສ້າງ Tier 2 ຈ່າຍຄືນຕົວເອງໃນສິບແປດເດືອນທີ່ຫ້າສິບຫາໜຶ່ງຮ້ອຍໂດລາຕໍ່ເດືອນຂອງການໃຊ້ຈ່າຍ API.
ບົດບັນທຶກທີ່ແປແລ້ວ
ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.
0:00 ຖ້າທ່ານກໍາລັງວາງແຜນທີ່ຈະສ້າງ PC ເພື່ອແລ່ນຕົວແທນ AI ທ້ອງຖິ່ນ, ຢຸດສ້າງເຄື່ອງຫຼິ້ນເກມ. ທ່ານບໍ່ຕ້ອງການ Core i9 ຫ້າຈຸດແປດ ກິກກະເຮີສ, ລະບົບລະບາຍຄວາມຮ້ອນດ້ວຍນໍ້າ, ຫຼືບັດກຣາຟິກແປດກິກກະໄບທີ່ປົກຄຸມດ້ວຍ RGB. ໃນການຄາດຄະເນ AI ທ້ອງຖິ່ນ, ສະເປັກເກມແມ່ນເກືອບບໍ່ມີປະໂຫຍດ. ມາດຕາວັດດຽວທີ່ກໍານົດວ່າຕົວແທນຂອງທ່ານຈະແລ່ນຫຼືຄືບຄານຄືຄວາມອາດສາມາດຂອງ VRAM ແລະແບນວິດບັດຄວາມຈໍາ. ກົດລະບຽບການທົດສອບຮາດແວ: ລືມໂມງ CPU ແລະການວັດແທກການແຕ້ມຮູບ.
0:24 ພວກເຮົາສົນໃຈສາມຕົວເລກ: ຄວາມກວ້າງຂອງບັດຄວາມຈໍາ, ແບນວິດໃນກິກກະໄບຕໍ່ ວິນາທີ, ແລະພື້ນທີ່ VRAM ດິບສໍາລັບການເພີ່ມຂຶ້ນຂອງແຄສ KV. ໃນການທົດສອບພາກສະໜາມນີ້, ຂ້ອຍຈະອະທິບາຍຄວາມໄວແບນວິດຄວາມຈໍາຫຼຸດລົງຊາວເທົ່າ, ສ້າງແຜນທີ່ກົດລະບຽບການກໍານົດຂະໜາດຕົວແບບ, ວັດແທກສາມລະດັບຕົວຈິງຈາກໜຶ່ງພັນສອງຮ້ອຍ ໂດລາເຖິງຫ້າພັນ, ແລະອະທິບາຍວ່າເປັນຫຍັງ 3090 ທີ່ໃຊ້ແລ້ວຍັງຄົງເປັນລະຫັດໂກງທີ່ຍິ່ງໃຫຍ່ທີ່ສຸດຂອງການຄໍານວນ. ນີ້ແມ່ນ The Daily Diff, ການທົດສອບພາກສະໜາມ. ເພື່ອເຂົ້າໃຈວ່າເປັນຫຍັງເຄື່ອງຫຼິ້ນເກມຈຶ່ງລົ້ມເຫຼວ, ໃຫ້ເບິ່ງວ່າການສ້າງໂທເຄັນເຮັດວຽກແນວໃດ. ໃນເກມ, CPU ຂອງທ່ານຈະສົ່ງຄໍາສັ່ງແຕ້ມ ແລະ GPU ຂອງທ່ານຈະສະແດງເຟຣມ.
0:54 ແຕ່ການຖອດລະຫັດ LLM ແບບ autoregressive ແມ່ນເກືອບເປັນແບນວິດຄວາມຈໍາ ທີ່ຈໍາກັດ. ເພື່ອສ້າງໂທເຄັນດຽວ, GPU ຕ້ອງຖ່າຍທອດທຸກຕົວກໍານົດນໍ້າໜັກຂອງ ຕົວແບບຈາກຄວາມຈໍາຜ່ານຄໍຄອມພິວເຕີຂອງມັນ. ຖ້າຕົວແບບຂອງທ່ານມີສິບກິກກະໄບ, ການຜະລິດໂທເຄັນໜຶ່ງຄັ້ງໝາຍເຖິງການອ່ານສິບກິກກະໄບ ຂອງຂໍ້ມູນ. ໃນ Nvidia RTX 3090 ທີ່ມີບັດຄວາມຈໍາ 384-bit, ທ່ານຈະໄດ້ຮັບແບນວິດ GDDR6X 936 ກິກກະໄບຕໍ່ວິນາທີ, ຜະລິດແປດສິບໂທເຄັນຕໍ່ວິນາທີ. ແຕ່ໃຫ້ເບິ່ງສິ່ງທີ່ຈະເກີດຂຶ້ນໃນວິນາທີທີ່ຕົວແບບຂອງທ່ານເກີນ VRAM ທາງກາຍະພາບ.
1:22 ເມື່ອ VRAM ເຕັມ, ເວລາເດີນທາງຈະໂຫຼດຊັ້ນທີ່ເຫຼືອຜ່ານບັດ PCIe ໄປຫາ ລະບົບຄວາມຈໍາ DDR5. ຄໍ GPU ຂອງທ່ານຄາດຫວັງວ່າໜຶ່ງພັນກິກກະໄບຕໍ່ວິນາທີ. ແທນທີ່ຈະ, DDR5 ແບບສອງຊ່ອງຈະໃຫ້ພວກມັນຫ້າສິບ, ແລະ PCIe 4 ຈະຖືກຈໍາກັດທີ່ສາມສິບເອັດ. ນັ້ນຄືການຫຼຸດລົງຂອງແບນວິດຊາວເທົ່າ. ລະບົບການສ້າງໂທເຄັນຈະຢຸດເຊົາທັນທີທີ່ລໍຖ້າຢູ່ໃນບັດ, ແລະຄວາມໄວຫຼຸດລົງຈາກສີ່ສິບໂທເຄັນຕໍ່ວິນາທີເຫຼືອພຽງໜຶ່ງຈຸດຫ້າ. ທ່ານໄດ້ປ່ຽນເຄື່ອງມູນຄ່າສອງພັນໂດລາໃຫ້ເປັນເຄື່ອງເຮັດຄວາມຮ້ອນ.
1:47 ແລະມັນຮ້າຍແຮງຂຶ້ນໃນລະຫວ່າງການແລ່ນຕົວແທນຫຼາຍເທື່ອ, ເພາະວ່ານໍ້າໜັກແມ່ນພຽງແຕ່ເຄິ່ງໜຶ່ງ ຂອງການຕໍ່ສູ້. ທຸກການກະຕຸ້ນ, ການໂທຫາເຄື່ອງມື, ແລະສ່ວນຂອງໄຟລ໌ຈະຖືກເກັບໄວ້ໃນແຄສ Key-Value. ໜ້າຕ່າງບໍລິບົດສາມສິບສອງພັນສາມາດໃຊ້ VRAM ສີ່ຫາແປດກິກກະໄບ ນອກເໜືອຈາກນໍ້າໜັກ. ຖ້າບັດຂອງທ່ານມີພຽງສິບຫົກກິກກະໄບ, ຕົວແທນຂອງທ່ານຈະວົນສອງຄັ້ງ, ຕີກໍາແພງບໍລິບົດ, ແລະບໍ່ວ່າຈະຂັດຂ້ອງດ້ວຍຂໍ້ຜິດພາດໜ່ວຍຄວາມຈໍາເຕັມ ຫຼືຮົ່ວ ເຂົ້າໄປໃນ DDR5. ນີ້ຄືແຜ່ນຄູ່ມືຂະໜາດ 4-bit. ຕົວແບບທີ່ມີເຈັດຫຼືແປດພັນລ້ານຕົວກໍານົດເຊັ່ນ Llama 3.1 ຫຼື DeepSeek Distill
2:16 ໃຊ້ປະມານຫ້າກິກກະໄບ. ຕົວແບບສິບສີ່ພັນລ້ານໃຊ້ສິບກິກກະໄບ. ຕົວແບບສາມສິບສອງພັນລ້ານ, ຈຸດທີ່ດີທີ່ສຸດຂອງຄວາມສະຫຼາດສໍາລັບຕົວແທນການຂຽນໂປຣແກຣມ, ຕ້ອງການຊາວກິກກະໄບ. ແລະຕົວແບບຂອບເຂດເຈັດສິບພັນລ້ານຕ້ອງການສີ່ສິບກິກກະໄບກ່ອນທີ່ທ່ານຈະ ຈັດສັນບໍລິບົດ. ເຊິ່ງນໍາພວກເຮົາໄປສູ່ການສ້າງຮາດແວຕົວຈິງ. ລະດັບ 1 ຄືເຄື່ອງເລີ່ມຕົ້ນ, ໜຶ່ງພັນສອງຮ້ອຍເຖິງໜຶ່ງພັນຫ້າຮ້ອຍໂດລາ. ໃນ PC, ອົງປະກອບຫຼັກຂອງທ່ານຄື RTX 4060 Ti 16-ກິກກະໄບ.
2:39 ຄໍາເຕືອນທີ່ສໍາຄັນ: ຢ່າຊື້ ເວີຊັນແປດກິກກະໄບເພື່ອປະຢັດເຈັດສິບໂດລາ. ແປດກິກກະໄບຂອງ VRAM ໃນປີ 2026 ແມ່ນການຕັດສິນປະຫານຊີວິດດ້ວຍໜ່ວຍຄວາມຈໍາເຕັມທັນທີ ໃນທຸກຂັ້ນຕອນການເຮັດວຽກຂອງຕົວແທນຕົວຈິງ. ຈັບຄູ່ມັນກັບ Ryzen 5 ຫົກຄໍ, ຫົກສິບສີ່ກິກກະໄບຂອງ DDR5, ແລະໄດ NVMe ສອງເທລາໄບ. ໃນຝັ່ງ Apple, ສິ່ງທີ່ທຽບເທົ່າຄື Mac Mini ຫຼື MacBook Pro ທີ່ມີສິບຫົກ ກິກກະໄບຂອງໜ່ວຍຄວາມຈໍາແບບລວມ.
3:02 ທ່ານຈະເຫັນສີ່ສິບຫາຫ້າສິບໂທເຄັນຕໍ່ວິນາທີໃນຕົວແບບແປດພັນລ້ານ. ລະດັບ 2 ຄືຈຸດທີ່ດີທີ່ສຸດສໍາລັບຜູ້ໃຊ້ພະລັງງານ: ສ້າງຂຶ້ນສະເພາະເພື່ອແລ່ນ ຕົວແບບ 32 ພັນລ້ານຕົວກໍານົດເຊັ່ນ Qwen 2.5 32B. ເສັ້ນທາງ A ຄື RTX 4070 Ti Super ໃໝ່ທີ່ມີສິບຫົກກິກກະໄບໃນລາຄາແປດຮ້ອຍ ໂດລາ. ແຕ່ເສັ້ນທາງ B ຄືຄໍາແນະນໍາທີ່ເຂັ້ມແຂງຂອງຂ້ອຍ: ຊື້ Nvidia RTX 3090 ທີ່ໃຊ້ແລ້ວ ຊາວສີ່ກິກກະໄບ. ທ່ານສາມາດຊອກຫາ 3090s ທີ່ສະອາດໃນ eBay ໃນລາຄາຫົກຮ້ອຍຫ້າສິບ ເຖິງເຈັດຮ້ອຍຫ້າສິບໂດລາ. ນັ້ນໃຫ້ທ່ານຊາວສີ່ກິກກະໄບຂອງ VRAM ໃນບັດ 384-bit ຂະໜາດໃຫຍ່ທີ່ດັນ
3:33 936 ກິກກະໄບຕໍ່ວິນາທີ. ໂດລາຕໍ່ໂດລາ, ມັນຄືຂໍ້ຕົກລົງ VRAM ທີ່ດີທີ່ສຸດໃນການຄໍານວນ. ໃນ macOS, ສິ່ງທີ່ທຽບເທົ່າຂອງລະດັບ 2 ຄື Mac Mini M4 Pro ທີ່ມີຫົກສິບສີ່ກິກກະໄບ ຂອງໜ່ວຍຄວາມຈໍາແບບລວມ. ມັນຜະລິດສິບເອັດເຖິງສິບສອງໂທເຄັນຕໍ່ວິນາທີໃນຕົວແບບສາມສິບສອງພັນລ້ານ: ຊ້າກວ່າ Nvidia, ແຕ່ງຽບສະຫງົບທີ່ສາມສິບວັດ ພ້ອມດ້ວຍພື້ນທີ່ສໍາລັບໜ້າຕ່າງບໍລິບົດຂະໜາດໃຫຍ່. ລະດັບ 3 ຄືຊ່ວງຂອງຜູ້ກະຕືລືລົ້ນສໍາລັບກຸ່ມຕົວແທນຫຼາຍຕົວ. ໃນ PC, ນັ້ນໝາຍເຖິງ RTX 4090 ທີ່ມີຊາວສີ່ກິກກະໄບ,
3:57 Ryzen 9, ແລະໜຶ່ງຮ້ອຍຊາວແປດກິກກະໄບຂອງ RAM, ຫຼືສອງ RTX 3090s ທີ່ໃຫ້ VRAM ລວມສີ່ສິບແປດກິກກະໄບ. ໃນລາຍການຂອງ Apple, ນີ້ຄື Mac Studio Ultra ທີ່ມີເກົ້າສິບຫົກເຖິງໜຶ່ງຮ້ອຍ ຊາວແປດກິກກະໄບຂອງໜ່ວຍຄວາມຈໍາແບບລວມ. ຄວາມສາມາດພິເສດຄືຄວາມສາມາດໃນການເກັບຮັກສາໜ່ວຍຄວາມຈໍາ: ທ່ານສາມາດເກັບຕົວແບບ embedding, ເຣົາເຕີໄວ, ແລະຕົວແບບການຂຽນໂປຣແກຣມ 32 ພັນລ້ານ ທີ່ໂຫຼດພ້ອມກັນໂດຍບໍ່ມີ ການຊັກຊ້າໃນການແລກປ່ຽນ. ບັດນີ້ສໍາລັບຄວາມລົ້ມເຫຼວທີ່ຊື່ສັດຂອງການທົດສອບພາກສະໜາມຂອງພວກເຮົາ: ຈັ່ນຈັບການຄໍານວນແບບ edge.
4:24 ທຸກໆອາທິດໂພສສື່ສັງຄົມອ້າງວ່າທ່ານສາມາດແລ່ນຕົວແທນການຂຽນໂປຣແກຣມອັດຕະໂນມັດໃນ Raspberry Pi 5 ແປດສິບໂດລາ. ຂ້ອຍໄດ້ທົດສອບມັນແລ້ວ. ການແລ່ນຕົວແບບທີ່ມີຕົວກໍານົດໜຶ່ງຈຸດຫ້າພັນລ້ານນ້ອຍໆ ໃຫ້ທ່ານພຽງແຕ່ສາມ ໂທເຄັນຕໍ່ວິນາທີ ໃນຂະນະທີ່ບອດຖືກຈໍາກັດທີ່ແປດສິບຫ້າອົງສາເຊລຊຽສ. ມັນຄືເຄື່ອງຫຼິ້ນໃນວັນພັກທ້າຍອາທິດທີ່ໜ້າສົນໃຈ, ແຕ່ໃນຖານະຕົວຂັບເຄື່ອນການພັດທະນາປະຈໍາວັນ, ມັນຄືການລົງໂທດຢ່າງແທ້ຈິງ. ສໍາລັບຊອບແວ, ໃຊ້ Ollama ຖ້າທ່ານຕ້ອງການ daemon ແບບຄໍາສັ່ງທີ່ສະອາດທີ່ເຊື່ອມຕໍ່
4:47 ໂດຍກົງກັບ Cursor, Cline, ຫຼື VS Code. ຖ້າທ່ານຕ້ອງການສະໜາມຫຼິ້ນກຣາຟິກທີ່ມີການດາວໂຫຼດຕົວແບບ ແລະແຖບເລື່ອນຊັ້ນ GPU, ໃຊ້ LM Studio. ແລະຈັບຄູ່ຮູບແບບຂອງທ່ານກັບຊິລິຄອນຂອງທ່ານ. ໃນ Apple Silicon, ຄວນດາວໂຫຼດຕົວແບບ GGUF ທີ່ຖືກປັບປຸງໃຫ້ເໝາະສົມກັບ Metal. ໃນ Windows ຫຼື Linux ທີ່ມີ Nvidia, ດາວໂຫຼດຕົວແບບ AWQ ຫຼື EXL2, ເຊິ່ງໃຊ້ Nvidia Tensor Cores ເພື່ອການຄາດຄະເນທີ່ໄວຂຶ້ນຊາວເຖິງສາມສິບເປີເຊັນ. ສະນັ້ນທ່ານຈະນໍາໃຊ້ມັນແນວໃດໂດຍບໍ່ເສຍເງິນ?
5:11 ຄິດເຖິງຮາດແວທ້ອງຖິ່ນຄືໂຮງອອກກຳລັງກາຍໃນບ້ານທຽບກັບໂຮງອອກກຳລັງກາຍສາທາລະນະ. ການມີຊັ້ນວາງ squat ຢູ່ເຮືອນໝາຍຄວາມວ່າທ່ານອອກກໍາລັງກາຍທຸກມື້ໂດຍບໍ່ຕ້ອງເດີນທາງ, ບໍ່ມີຄ່າທໍານຽມສະໝັກ, ແລະຄວາມເປັນສ່ວນຕົວທີ່ສົມບູນ. ເຄື່ອງຈັກທ້ອງຖິ່ນຂອງທ່ານຈັດການແປດສິບເປີເຊັນຂອງການຂຽນໂປຣແກຣມປະຈໍາວັນຂອງທ່ານ, ການທົດສອບໜ່ວຍ, ແລະການປະມວນຜົນເອກະສານສ່ວນຕົວໂດຍບໍ່ມີຄ່າໃຊ້ຈ່າຍຕໍ່ໂທເຄັນ. ແລະເມື່ອທ່ານຕ້ອງການຍົກນໍ້າໜັກຫ້າຮ້ອຍປອນ — ເຊັ່ນການປັບປຸງໂຄງສ້າງສະຖາປັດຕະຍະກໍາຂະໜາດໃຫຍ່ໃນທົ່ວຫ້າສິບໄຟລ໌ — ທ່ານໄປຢ້ຽມຢາມໂຮງອອກກຳລັງກາຍສາທາລະນະ: ຈ່າຍ API ຄລາວສໍາລັບ Claude 3.5 Sonnet ຫຼື OpenAI o3 ເປັນເວລາສິບຫ້ານາທີ ແລະສືບຕໍ່ໄປ.
5:38 ນີ້ຄືໃບແຈ້ງໜີ້: ການສ້າງລະດັບ 2 ດ້ວຍ 3090 ທີ່ໃຊ້ແລ້ວມີຄ່າໃຊ້ຈ່າຍໜຶ່ງພັນຫົກຮ້ອຍໂດລາ ລວມທັງໝົດ. ຖ້າທ່ານໃຊ້ຈ່າຍຫ້າສິບເຖິງໜຶ່ງຮ້ອຍໂດລາຕໍ່ເດືອນໃນ API ໂທເຄັນ, ມັນຈະຄຸ້ມຄ່າໃນສິບແປດເດືອນ ໃນຂະນະທີ່ຮັກສາລະຫັດຖານທີ່ເປັນເຈົ້າຂອງຂອງທ່ານ ຈາກເຊີບເວີຂອງພາກສ່ວນທີສາມ. ຄໍາຕັດສິນການທົດສອບພາກສະໜາມໃນມື້ນີ້: SHIP IT. VRAM ແລະແບນວິດໜ່ວຍຄວາມຈໍາຊະນະຄວາມໄວໂມງທຸກຄັ້ງ. ຢຸດການຊື້ CPUs ຫ້າກິກກະເຮີສສໍາລັບ AI, ແລະໄປຊອກຫາ 3090 ທີ່ໃຊ້ແລ້ວ. ບອກຂ້ອຍວ່າທ່ານກໍາລັງໃຊ້ຮາດແວແບບໃດສໍາລັບຕົວແບບທ້ອງຖິ່ນໃນຄໍາເຫັນ.
6:04 ແລະຖ້າທ່ານຕ້ອງການອ່ານຄໍາອະທິບາຍນີ້, ໃຫ້ເອົາຈົດໝາຍຂ່າວທີ່ the daily diff dot dev, ລິ້ງຂ້າງລຸ່ມນີ້. ແລະນັ້ນຄືຄວາມແຕກຕ່າງສໍາລັບມື້ນີ້. ຂ້ອຍຄື Niko ຈາກ Axrisi. ລວມເຂົ້າກັນຢ່າງມີຄວາມຮັບຜິດຊອບ. Merge responsibly.
ແຫຼ່ງຂໍ້ມູນ
- Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
- NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
- llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
- Ollama Model Library & Benchmarksollama.com
- vLLM PagedAttention & KV Cache Memory Managementgithub.com
- JEDEC DDR5 Memory Standard Specificationswww.jedec.org



