# ಸ್ಥಳೀಯ AI ಹಾರ್ಡ್‌ವೇರ್ ಮಾರ್ಗದರ್ಶಿ (2026)

Published: 2026-09-14

ಸ್ಥಳೀಯ AI ಏಜೆಂಟ್‌ಗಳು ಮತ್ತು ಓಪನ್-ವೈಟ್ LLM ಗಳಿಗಾಗಿ ಯಂತ್ರವನ್ನು ನಿರ್ಮಿಸುವಾಗ, ಡೆವಲಪರ್‌ಗಳು ಗೇಮಿಂಗ್ PC ಸ್ಪೆಕ್ಸ್ ಅನ್ನು ಖರೀದಿಸುವ ತಪ್ಪನ್ನು ಮಾಡುತ್ತಾರೆ: 5.8 GHz CPU ಗಳು, ಕಸ್ಟಮ್ ಲಿಕ್ವಿಡ್ ಕೂಲಿಂಗ್ ಲೂಪ್‌ಗಳು, ಮತ್ತು ಕೇವಲ 8GB VRAM ಹೊಂದಿರುವ ವೇಗದ ಗೇಮಿಂಗ್ GPU ಗಳು. ಆದರೆ ಆಟೋರಿಗ್ರೆಸ್ಸಿವ್ ಟೋಕನ್ ಉತ್ಪಾದನೆಯು ಮೆಮೊರಿ-ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಾಂಡ್ ಆಗಿದೆ, ಕಂಪ್ಯೂಟ್ ಬಾಂಡ್ ಅಲ್ಲ: ಒಂದು ಟೋಕನ್ ಹೊರಸೂಸಲು, ಮಾಡೆಲ್‌ನಲ್ಲಿನ ಪ್ರತಿಯೊಂದು ತೂಕವೂ ಮೆಮೊರಿ ಬಸ್‌ನಾದ್ಯಂತ ಪ್ರಸಾರವಾಗಬೇಕು. ನಿಮ್ಮ ತೂಕ ಅಥವಾ KV ಕ್ಯಾಶ್ ಸಂದರ್ಭವು ಭೌತಿಕ VRAM ಅನ್ನು ಮೀರಿದಾಗ, ರನ್‌ಟೈಮ್ PCIe ಮೂಲಕ ಸಿಸ್ಟಮ್ DDR5 ಗೆ ಲೇಯರ್‌ಗಳನ್ನು ಆಫ್‌ಲೋಡ್ ಮಾಡುತ್ತದೆ, ಮತ್ತು ನೀವು 20x ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಪ್ರಪಾತವನ್ನು ಎದುರಿಸುತ್ತೀರಿ: ವೇಗವು ಸೆಕೆಂಡಿಗೆ 40 ಟೋಕನ್‌ಗಳಿಂದ 1.5 ಕ್ಕೆ ಇಳಿಯುತ್ತದೆ. ಈ ಕ್ಷೇತ್ರ ಪರೀಕ್ಷೆಯಲ್ಲಿ, ನಿಕೋ ಹಾರ್ಡ್‌ವೇರ್ ಮೆಕ್ಯಾನಿಕ್ಸ್, 4-ಬಿಟ್ ಕ್ವಾಂಟೈಸೇಶನ್ ಮಾಡೆಲ್ ಗಾತ್ರದ ನಿಯಮಗಳು, $1,200 ರಿಂದ $5,000 ವರೆಗಿನ ಮೂರು ನೈಜ ಬಜೆಟ್ ಶ್ರೇಣಿಗಳು, ಬಳಸಿದ RTX 3090 24GB ಕಂಪ್ಯೂಟಿಂಗ್‌ನಲ್ಲಿ ಅತ್ಯುತ್ತಮ VRAM-ಪ್ರತಿ-ಡಾಲರ್ ವ್ಯವಹಾರ ಏಕೆ, ರಾಸ್ಪ್ಬೆರಿ ಪೈ ಎಡ್ಜ್ ಟ್ರ್ಯಾಪ್, ಮತ್ತು ಸ್ಥಳೀಯ ವರ್ಸಸ್ ಕ್ಲೌಡ್ ಇನ್ಫರೆನ್ಸ್ ಗಾಗಿ ಹೋಮ್ ಜಿಮ್ ತಂತ್ರವನ್ನು ವಿವರಿಸುತ್ತಾರೆ. ತೀರ್ಪು: SHIP IT.

Canonical: https://thedailydiff.dev/kn/video/2026-09-14-local-ai-hardware/

## ಈ ವೀಡಿಯೊ ಏನನ್ನು ಒಳಗೊಂಡಿದೆ

- 20x ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಪ್ರಪಾತ: 936 GB/s GDDR6X vs 50 GB/s DDR5 & 31.5 GB/s PCIe
- ಮಾಡೆಲ್ ಗಾತ್ರ @ 4-ಬಿಟ್: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
- ಶ್ರೇಣಿ 1 ($1,200–$1,500): RTX 4060 Ti 16GB (8GB ಎಂದಿಗೂ ಬೇಡ) ಅಥವಾ Mac Mini 16GB
- ಶ್ರೇಣಿ 2 ($1,500–$2,000): ಬಳಸಿದ RTX 3090 24GB ಸ್ವೀಟ್ ಸ್ಪಾಟ್ ಅಥವಾ Mac Mini M4 Pro 64GB
- ಶ್ರೇಣಿ 3 ($3,500+): RTX 4090 24GB / ಡ್ಯುಯಲ್ 3090s ಅಥವಾ Mac Studio Ultra

## ಅನುವಾದಿತ ಪ್ರತಿಲೇಖನ

ಮೂಲ ಇಂಗ್ಲಿಷ್ ನಿರೂಪಣೆಯಿಂದ ಅನುವಾದಿಸಲಾಗಿದೆ. ಲಭ್ಯವಿರುವ ಆಡಿಯೋ ಮತ್ತು ಶೀರ್ಷಿಕೆಗಳನ್ನು YouTube ನಿಯಂತ್ರಿಸುತ್ತದೆ.

0:00 ನೀವು ಸ್ಥಳೀಯ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ನಡೆಸಲು PC ನಿರ್ಮಿಸಲು ಯೋಜಿಸುತ್ತಿದ್ದರೆ, ಗೇಮಿಂಗ್ ರಿಗ್ ನಿರ್ಮಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನಿಮಗೆ 5.8 ಗಿಗಾಹರ್ಟ್ಜ್ ಕೋರ್ i9, ಲಿಕ್ವಿಡ್ ಕೂಲಿಂಗ್ ಲೂಪ್ ಅಗತ್ಯವಿಲ್ಲ, ಅಥವಾ RGB ನಿಂದ ಆವೃತವಾದ ಎಂಟು-ಗಿಗಾಬೈಟ್ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್ ಸಹ ಅಗತ್ಯವಿಲ್ಲ. ಸ್ಥಳೀಯ AI ಇನ್ಫರೆನ್ಸ್‌ನಲ್ಲಿ, ಗೇಮಿಂಗ್ ಸ್ಪೆಕ್ಸ್ ವಾಸ್ತವಿಕವಾಗಿ ನಿಷ್ಪ್ರಯೋಜಕವಾಗಿವೆ. ನಿಮ್ಮ ಏಜೆಂಟ್ ರನ್ ಆಗುತ್ತದೆಯೇ ಅಥವಾ ನಿಧಾನವಾಗುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವ ಏಕೈಕ ಮೆಟ್ರಿಕ್ VRAM ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಮೆಮೊರಿ ಬಸ್ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್. ಹಾರ್ಡ್‌ವೇರ್ ಪರೀಕ್ಷೆಯ ನಿಯಮಗಳು: CPU ಕ್ಲಾಕ್‌ಗಳು ಮತ್ತು ರಾಸ್ಟರೈಸೇಶನ್ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಮರೆತುಬಿಡಿ.

0:24 ನಾವು ಮೂರು ಸಂಖ್ಯೆಗಳ ಬಗ್ಗೆ ಕಾಳಜಿ ವಹಿಸುತ್ತೇವೆ: ಮೆಮೊರಿ ಬಸ್ ಅಗಲ, ಗಿಗಾಬೈಟ್ ಪ್ರತಿ ಸೆಕೆಂಡ್‌ನಲ್ಲಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್, ಮತ್ತು KV ಕ್ಯಾಶ್ ದೊಡ್ಡದಾಗಲು ಕಚ್ಚಾ VRAM ಹೆಡ್‌ರೂಮ್. ಈ ಕ್ಷೇತ್ರ ಪರೀಕ್ಷೆಯಲ್ಲಿ, ನಾನು 20x ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಪ್ರಪಾತವನ್ನು ವಿವರಿಸುತ್ತೇನೆ, ಮಾಡೆಲ್ ಗಾತ್ರದ ನಿಯಮಗಳನ್ನು ನಕ್ಷೆ ಮಾಡುತ್ತೇನೆ, $1,200 ರಿಂದ $5,000 ವರೆಗಿನ ಮೂರು ನೈಜ ಶ್ರೇಣಿಗಳನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡುತ್ತೇನೆ, ಮತ್ತು ಬಳಸಿದ 3090 ಇಂದಿಗೂ ಕಂಪ್ಯೂಟಿಂಗ್‌ನ ಶ್ರೇಷ್ಠ ಚೀಟ್ ಕೋಡ್ ಏಕೆ ಎಂದು ವಿವರಿಸುತ್ತೇನೆ. ಇದು The Daily Diff, ಕ್ಷೇತ್ರ ಪರೀಕ್ಷೆ. The Daily Diff, ಕ್ಷೇತ್ರ ಪರೀಕ್ಷೆ. ಗೇಮಿಂಗ್ ರಿಗ್‌ಗಳು ಏಕೆ ವಿಫಲಗೊಳ್ಳುತ್ತವೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ಟೋಕನ್ ಉತ್ಪಾದನೆಯು ನಿಜವಾಗಿ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ನೋಡಿ. ಆಟಗಳಲ್ಲಿ, ನಿಮ್ಮ CPU ಡ್ರಾ ಕರೆಗಳನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ GPU ಫ್ರೇಮ್‌ಗಳನ್ನು ರೆಂಡರ್ ಮಾಡುತ್ತದೆ.

0:54 ಆದರೆ ಆಟೋರಿಗ್ರೆಸ್ಸಿವ್ LLM ಡಿಕೋಡಿಂಗ್ ಬಹುತೇಕ ಸಂಪೂರ್ಣವಾಗಿ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಾಂಡ್ ಆಗಿದೆ. ಒಂದೇ ಟೋಕನ್ ಅನ್ನು ಉತ್ಪಾದಿಸಲು, GPU ಮಾದರಿಯ ಪ್ರತಿಯೊಂದು ತೂಕದ ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಮೆಮೊರಿಯಿಂದ ಅದರ ಕಂಪ್ಯೂಟ್ ಕೋರ್‌ಗಳ ಮೂಲಕ ಸ್ಟ್ರೀಮ್ ಮಾಡಬೇಕು. ನಿಮ್ಮ ಮಾಡೆಲ್ ಹತ್ತು ಗಿಗಾಬೈಟ್‌ಗಳಾಗಿದ್ದರೆ, ಒಂದು ಟೋಕನ್ ಉತ್ಪಾದಿಸುವುದು ಹತ್ತು ಗಿಗಾಬೈಟ್‌ಗಳ ಡೇಟಾವನ್ನು ಓದುವುದನ್ನು ಅರ್ಥೈಸುತ್ತದೆ. 384-ಬಿಟ್ ಮೆಮೊರಿ ಬಸ್ ಹೊಂದಿರುವ Nvidia RTX 3090 ನಲ್ಲಿ, ನಿಮಗೆ ಸೆಕೆಂಡಿಗೆ 936 ಗಿಗಾಬೈಟ್‌ಗಳ GDDR6X ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಸಿಗುತ್ತದೆ, ಸೆಕೆಂಡಿಗೆ ಎಂಭತ್ತು ಟೋಕನ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಆದರೆ ನಿಮ್ಮ ಮಾಡೆಲ್ ಭೌತಿಕ VRAM ಅನ್ನು ಮೀರಿಸಿದ ಕ್ಷಣದಲ್ಲಿ ಏನಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನೋಡಿ.

1:22 VRAM ತುಂಬಿದಾಗ, ರನ್‌ಟೈಮ್ ಉಳಿದ ಲೇಯರ್‌ಗಳನ್ನು PCIe ಬಸ್ ಮೂಲಕ ಸಿಸ್ಟಮ್ DDR5 ಮೆಮೊರಿಗೆ ಆಫ್‌ಲೋಡ್ ಮಾಡುತ್ತದೆ. ಸಿಸ್ಟಮ್ DDR5 ಮೆಮೊರಿಗೆ ಆಫ್‌ಲೋಡ್ ಮಾಡುತ್ತದೆ. ನಿಮ್ಮ GPU ಕೋರ್‌ಗಳು ಸೆಕೆಂಡಿಗೆ ಒಂದು ಸಾವಿರ ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು ನಿರೀಕ್ಷಿಸುತ್ತವೆ. ಬದಲಿಗೆ, ಡ್ಯುಯಲ್-ಚಾನೆಲ್ DDR5 ಅವುಗಳಿಗೆ ಐವತ್ತು ಒದಗಿಸುತ್ತದೆ, ಮತ್ತು PCIe 4 ಮೂವತ್ತೊಂದು ಗಿಗಾಬೈಟ್‌ಗಳಲ್ಲಿ ನಿಧಾನವಾಗುತ್ತದೆ. ಅದು 20x ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಕುಸಿತ. ಟೋಕನ್ ಉತ್ಪಾದನಾ ಪೈಪ್‌ಲೈನ್ ತಕ್ಷಣವೇ ಬಸ್‌ಗಾಗಿ ಕಾಯುತ್ತಾ ನಿಂತುಹೋಗುತ್ತದೆ, ಮತ್ತು ವೇಗವು ಸೆಕೆಂಡಿಗೆ ನಲವತ್ತು ಟೋಕನ್‌ಗಳಿಂದ 1.5 ಕ್ಕೆ ಇಳಿಯುತ್ತದೆ. ನೀವು ಎರಡು ಸಾವಿರ ಡಾಲರ್ ರಿಗ್ ಅನ್ನು ಸ್ಪೇಸ್ ಹೀಟರ್ ಆಗಿ ಪರಿವರ್ತಿಸಿದ್ದೀರಿ.

1:47 ಮತ್ತು ಇದು ಬಹು-ತಿರುವು ಏಜೆಂಟ್ ರನ್‌ಗಳ ಸಮಯದಲ್ಲಿ ಇನ್ನೂ ಕೆಟ್ಟದಾಗುತ್ತದೆ, ಏಕೆಂದರೆ ತೂಕಗಳು ಅರ್ಧದಷ್ಟು ಯುದ್ಧ ಮಾತ್ರ. ಪ್ರತಿಯೊಂದು ಪ್ರಾಂಪ್ಟ್, ಟೂಲ್ ಕರೆ, ಮತ್ತು ಫೈಲ್ ಚಂಕ್ ಕೀ-ವ್ಯಾಲ್ಯೂ ಕ್ಯಾಶ್‌ನಲ್ಲಿ ಸಂಗ್ರಹವಾಗುತ್ತದೆ. ಮೂವತ್ತೆರಡು-ಕೆ ಸಂದರ್ಭ ವಿಂಡೋವು ತೂಕಗಳ ಮೇಲೆ ನಾಲ್ಕರಿಂದ ಎಂಟು ಗಿಗಾಬೈಟ್‌ಗಳ VRAM ಅನ್ನು ಬಳಸುತ್ತದೆ. VRAM ಅನ್ನು ಬಳಸುತ್ತದೆ. ನಿಮ್ಮ ಕಾರ್ಡ್ ಕೇವಲ ಹದಿನಾರು ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು ಹೊಂದಿದ್ದರೆ, ನಿಮ್ಮ ಏಜೆಂಟ್ ಎರಡು ಬಾರಿ ಲೂಪ್ ಮಾಡುತ್ತದೆ, ಸಂದರ್ಭದ ಮಿತಿಯನ್ನು ತಲುಪುತ್ತದೆ, ಮತ್ತು ಔಟ್-ಆಫ್-ಮೆಮೊರಿ ದೋಷದಿಂದ ಕ್ರ್ಯಾಶ್ ಆಗುತ್ತದೆ ಅಥವಾ DDR5 ಗೆ ಹರಿಯುತ್ತದೆ. ಇಲ್ಲಿ ನಾಲ್ಕು-ಬಿಟ್ ಗಾತ್ರದ ಚೀಟ್ ಶೀಟ್ ಇದೆ. Llama 3.1 ಅಥವಾ DeepSeek Distill ನಂತಹ ಏಳು ಅಥವಾ ಎಂಟು-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡೆಲ್

2:16 ಸುಮಾರು ಐದು ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಹದಿನಾಲ್ಕು-ಬಿಲಿಯನ್ ಮಾಡೆಲ್ ಹತ್ತು ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಮೂವತ್ತೆರಡು-ಬಿಲಿಯನ್ ಮಾಡೆಲ್, ಕೋಡಿಂಗ್ ಏಜೆಂಟ್‌ಗಳಿಗೆ ಇಂಟೆಲಿಜೆನ್ಸ್ ಸ್ವೀಟ್ ಸ್ಪಾಟ್, ಇಪ್ಪತ್ತು ಗಿಗಾಬೈಟ್‌ಗಳ ಅಗತ್ಯವಿದೆ. ಮತ್ತು ಎಪ್ಪತ್ತು-ಬಿಲಿಯನ್ ಫ್ರಂಟಿಯರ್ ಮಾಡೆಲ್ ನೀವು ಸಂದರ್ಭವನ್ನು ನಿಯೋಜಿಸುವ ಮೊದಲೇ ನಲವತ್ತು ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು ಬೇಡುತ್ತದೆ. ಇದು ನಮ್ಮನ್ನು ನೈಜ ಹಾರ್ಡ್‌ವೇರ್ ನಿರ್ಮಾಣಗಳಿಗೆ ತರುತ್ತದೆ. ಶ್ರೇಣಿ 1 ಸ್ಟಾರ್ಟರ್ ರಿಗ್ ಆಗಿದೆ, $1,200 ರಿಂದ $1,500. PC ಯಲ್ಲಿ, ನಿಮ್ಮ ಆಂಕರ್ RTX 4060 Ti 16-ಗಿಗಾಬೈಟ್ ಆಗಿದೆ.

2:39 ಪ್ರಮುಖ ಎಚ್ಚರಿಕೆ: $70 ಉಳಿಸಲು ಎಂದಿಗೂ ಎಂಟು-ಗಿಗಾಬೈಟ್ ಆವೃತ್ತಿಯನ್ನು ಖರೀದಿಸಬೇಡಿ. 2026 ರಲ್ಲಿ ಎಂಟು ಗಿಗಾಬೈಟ್‌ಗಳ VRAM ಯಾವುದೇ ನೈಜ ಏಜೆಂಟ್ ಕಾರ್ಯಪ್ರವಾಹದಲ್ಲಿ ತಕ್ಷಣದ ಔಟ್-ಆಫ್-ಮೆಮೊರಿ ಸಾವಿನ ದಂಡವಾಗಿದೆ. ಯಾವುದೇ ನೈಜ ಏಜೆಂಟ್ ಕಾರ್ಯಪ್ರವಾಹದಲ್ಲಿ. ಅದನ್ನು ಆರು-ಕೋರ್ ರೈಜೆನ್ 5, ಅರವತ್ತನಾಲ್ಕು ಗಿಗಾಬೈಟ್‌ಗಳ DDR5, ಮತ್ತು ಎರಡು-ಟೆರಾಬೈಟ್ NVMe ಡ್ರೈವ್‌ನೊಂದಿಗೆ ಜೋಡಿಸಿ. ಆಪಲ್ ಲ್ಯಾಂಡ್‌ನಲ್ಲಿ, ಸಮಾನವಾದದ್ದು ಮ್ಯಾಕ್ ಮಿನಿ ಅಥವಾ ಮ್ಯಾಕ್‌ಬುಕ್ ಪ್ರೋ ಹದಿನಾರು ಗಿಗಾಬೈಟ್‌ಗಳ ಏಕೀಕೃತ ಮೆಮೊರಿಯೊಂದಿಗೆ.

3:02 ನೀವು ಎಂಟು-ಬಿಲಿಯನ್ ಮಾಡೆಲ್‌ಗಳಲ್ಲಿ ಸೆಕೆಂಡಿಗೆ ನಲವತ್ತರಿಂದ ಐವತ್ತು ಟೋಕನ್‌ಗಳನ್ನು ನೋಡುತ್ತೀರಿ. ಶ್ರೇಣಿ 2 ಪವರ್ ಯೂಸರ್ ಸ್ವೀಟ್ ಸ್ಪಾಟ್ ಆಗಿದೆ: Qwen 2.5 32B ನಂತಹ ಮೂವತ್ತೆರಡು-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ನಿರ್ದಿಷ್ಟವಾಗಿ ನಡೆಸಲು ನಿರ್ಮಿಸುವುದು. ಮಾರ್ಗ A ಎಂಟು ನೂರು ಡಾಲರ್‌ಗಳಿಗೆ ಹದಿನಾರು ಗಿಗಾಬೈಟ್‌ಗಳ ಹೊಸ RTX 4070 Ti ಸೂಪರ್ ಆಗಿದೆ. ಆದರೆ ಮಾರ್ಗ B ನನ್ನ ಬಲವಾದ ಶಿಫಾರಸು: ಬಳಸಿದ Nvidia RTX 3090 ಇಪ್ಪತ್ನಾಲ್ಕು ಗಿಗಾಬೈಟ್ ಖರೀದಿಸಿ. ನೀವು eBay ನಲ್ಲಿ $650 ರಿಂದ $750 ಗೆ ಕ್ಲೀನ್ 3090 ಗಳನ್ನು ಕಾಣಬಹುದು. ಆ ಮೂಲಕ ನಿಮಗೆ ಬೃಹತ್ 384-ಬಿಟ್ ಬಸ್‌ನಲ್ಲಿ ಇಪ್ಪತ್ನಾಲ್ಕು ಗಿಗಾಬೈಟ್‌ಗಳ VRAM ಸಿಗುತ್ತದೆ, ಸೆಕೆಂಡಿಗೆ 936 ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು ತಳ್ಳುತ್ತದೆ.

3:33 ಸೆಕೆಂಡಿಗೆ 936 ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು ತಳ್ಳುತ್ತದೆ. ಪ್ರತಿ ಡಾಲರ್‌ಗೆ, ಇದು ಕಂಪ್ಯೂಟಿಂಗ್‌ನಲ್ಲಿನ ಅತ್ಯುತ್ತಮ VRAM ವ್ಯವಹಾರವಾಗಿದೆ. macOS ನಲ್ಲಿ, ಶ್ರೇಣಿ 2 ರ ಕೌಂಟರ್‌ಪಾರ್ಟ್ ಅರವತ್ತನಾಲ್ಕು ಗಿಗಾಬೈಟ್‌ಗಳ ಏಕೀಕೃತ ಮೆಮೊರಿಯೊಂದಿಗೆ Mac Mini M4 Pro ಆಗಿದೆ. ಮೆಮೊರಿಯೊಂದಿಗೆ. ಇದು ಮೂವತ್ತೆರಡು-ಬಿಲಿಯನ್ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಸೆಕೆಂಡಿಗೆ ಹನ್ನೊಂದರಿಂದ ಹನ್ನೆರಡು ಟೋಕನ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ: Nvidia ಗಿಂತ ನಿಧಾನ, ಆದರೆ ಮೂವತ್ತು ವ್ಯಾಟ್‌ಗಳಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಮೌನ, ದೊಡ್ಡ ಸಂದರ್ಭ ವಿಂಡೋಗೆ ಅವಕಾಶವಿದೆ. ಶ್ರೇಣಿ 3 ಬಹು-ಏಜೆಂಟ್ ಸ್ವಾಮ್‌ಗಳಿಗಾಗಿ ಉತ್ಸಾಹಿಗಳ ಬ್ರಾಕೆಟ್ ಆಗಿದೆ. PC ಯಲ್ಲಿ, ಇದರರ್ಥ ಇಪ್ಪತ್ನಾಲ್ಕು ಗಿಗಾಬೈಟ್‌ಗಳ RTX 4090,

3:57 ಒಂದು ರೈಜೆನ್ 9, ಮತ್ತು ನೂರ ಇಪ್ಪತ್ತೆಂಟು ಗಿಗಾಬೈಟ್‌ಗಳ RAM, ಅಥವಾ ನಲವತ್ತೆಂಟು ಗಿಗಾಬೈಟ್‌ಗಳ ಒಟ್ಟು VRAM ಒದಗಿಸುವ ಡ್ಯುಯಲ್ RTX 3090 ಗಳು. ಆಪಲ್‌ನ ಲೈನ್ ಅಪ್‌ನಲ್ಲಿ, ಇದು ತೊಂಬತ್ತಾರು ರಿಂದ ನೂರ ಇಪ್ಪತ್ತೆಂಟು ಗಿಗಾಬೈಟ್‌ಗಳ ಏಕೀಕೃತ ಮೆಮೊರಿಯೊಂದಿಗೆ Mac Studio Ultra ಆಗಿದೆ. ಇಪ್ಪತ್ತೆಂಟು ಗಿಗಾಬೈಟ್‌ಗಳ ಏಕೀಕೃತ ಮೆಮೊರಿಯೊಂದಿಗೆ. ಸೂಪರ್‌ಪವರ್ ಮೆಮೊರಿ ರೆಸಿಡೆನ್ಸಿ: ನೀವು ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್, ವೇಗದ ರೂಟರ್, ಮತ್ತು 32-ಬಿಲಿಯನ್ ಕೋಡಿಂಗ್ ಮಾಡೆಲ್ ಅನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಲೋಡ್ ಮಾಡಬಹುದು ಶೂನ್ಯ ಸ್ವ್ಯಾಪ್ ವಿಳಂಬದೊಂದಿಗೆ. ಈಗ ನಮ್ಮ ಕ್ಷೇತ್ರ ಪರೀಕ್ಷೆಯ ಪ್ರಾಮಾಣಿಕ ವೈಫಲ್ಯಕ್ಕಾಗಿ: ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಟ್ರ್ಯಾಪ್.

4:24 ಪ್ರತಿ ವಾರ ಸಾಮಾಜಿಕ ಪೋಸ್ಟ್ $80 ರಾಸ್ಪ್ಬೆರಿ ಪೈ 5 ನಲ್ಲಿ ನೀವು ಸ್ವಾಯತ್ತ ಕೋಡಿಂಗ್ ಏಜೆಂಟ್‌ಗಳನ್ನು ನಡೆಸಬಹುದು ಎಂದು ಹೇಳುತ್ತದೆ. ಎಂಬತ್ತು ಡಾಲರ್ ರಾಸ್ಪ್ಬೆರಿ ಪೈ 5. ನಾನು ಅದನ್ನು ಪರೀಕ್ಷಿಸಿದೆ. ಚಿಕ್ಕ 1.5 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡೆಲ್ ಅನ್ನು ನಡೆಸುವುದರಿಂದ ನಿಮಗೆ ಸೆಕೆಂಡಿಗೆ ಕೇವಲ ಮೂರು ಟೋಕನ್‌ಗಳು ಸಿಗುತ್ತವೆ, ಬೋರ್ಡ್ ಎಂಬತ್ತೈದು ಡಿಗ್ರಿ ಸೆಲ್ಸಿಯಸ್‌ನಲ್ಲಿ ಥ್ರೊಟಲ್ ಆಗುತ್ತದೆ. ಇದು ಒಂದು ಉತ್ತಮ ವಾರಾಂತ್ಯದ ಆಟಿಕೆ, ಆದರೆ ದೈನಂದಿನ ಅಭಿವೃದ್ಧಿ ಚಾಲಕವಾಗಿ, ಇದು ಶುದ್ಧ ಶಿಕ್ಷೆ. ಸಾಫ್ಟ್‌ವೇರ್‌ಗಾಗಿ, ನೀವು ಕ್ಲೀನ್ ಕಮಾಂಡ್-ಲೈನ್ ಡೀಮನ್ ಬಯಸಿದರೆ Ollama ಬಳಸಿ,

4:47 ಅದು ಕರ್ಸರ್, ಕ್ಲೈನ್, ಅಥವಾ VS ಕೋಡ್‌ಗೆ ನೇರವಾಗಿ ಸಂಪರ್ಕಿಸುತ್ತದೆ. ನೀವು ಮಾಡೆಲ್ ಡೌನ್‌ಲೋಡ್‌ಗಳು ಮತ್ತು GPU ಲೇಯರ್ ಸ್ಲೈಡರ್‌ಗಳೊಂದಿಗೆ ಗ್ರಾಫಿಕಲ್ ಪ್ಲೇಗ್ರೌಂಡ್ ಬಯಸಿದರೆ, LM ಸ್ಟುಡಿಯೋ ಬಳಸಿ. ಮತ್ತು ನಿಮ್ಮ ಸ್ವರೂಪವನ್ನು ನಿಮ್ಮ ಸಿಲಿಕಾನ್‌ಗೆ ಹೊಂದಿಸಿ. ಆಪಲ್ ಸಿಲಿಕಾನ್‌ನಲ್ಲಿ, ಮೆಟಲ್‌ಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ GGUF ಮಾಡೆಲ್‌ಗಳನ್ನು ಯಾವಾಗಲೂ ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ. Nvidia ಜೊತೆ ವಿಂಡೋಸ್ ಅಥವಾ ಲಿನಕ್ಸ್‌ನಲ್ಲಿ, AWQ ಅಥವಾ EXL2 ಮಾಡೆಲ್‌ಗಳನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ, ಇದು ಇಪ್ಪತ್ತರಿಂದ ಮೂವತ್ತು ಪ್ರತಿಶತದಷ್ಟು ವೇಗದ ಇನ್ಫರೆನ್ಸ್ ಗಾಗಿ Nvidia Tensor Cores ಅನ್ನು ಬಳಸುತ್ತದೆ. ಹಾಗಾದರೆ ನೀವು ದಿವಾಳಿಯಾಗದೆ ಇದನ್ನು ಹೇಗೆ ನಿಯೋಜಿಸುತ್ತೀರಿ?

5:11 ಸ್ಥಳೀಯ ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಹೋಮ್ ಜಿಮ್ ವರ್ಸಸ್ ವಾಣಿಜ್ಯ ಜಿಮ್ ಎಂದು ಯೋಚಿಸಿ. ಮನೆಯಲ್ಲಿ ಸ್ಕ್ವಾಟ್ ರ್ಯಾಕ್ ಹೊಂದಿರುವುದು ಎಂದರೆ ನೀವು ಪ್ರತಿದಿನ ಶೂನ್ಯ ಪ್ರಯಾಣ, ಶೂನ್ಯ ಚಂದಾದಾರಿಕೆ ಶುಲ್ಕಗಳು, ಮತ್ತು ಸಂಪೂರ್ಣ ಗೌಪ್ಯತೆಯೊಂದಿಗೆ ತರಬೇತಿ ಪಡೆಯುತ್ತೀರಿ. ನಿಮ್ಮ ಸ್ಥಳೀಯ ಯಂತ್ರವು ನಿಮ್ಮ ದೈನಂದಿನ ಕೋಡಿಂಗ್‌ನ ಎಂಬತ್ತು ಪ್ರತಿಶತವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಯೂನಿಟ್ ಪರೀಕ್ಷೆ, ಮತ್ತು ಖಾಸಗಿ ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರಕ್ರಿಯೆಗಾಗಿ ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಶೂನ್ಯ ಡಾಲರ್‌ಗಳು. ಮತ್ತು ನೀವು ಐನೂರು ಪೌಂಡ್ ಎತ್ತುವ ಅಗತ್ಯವಿರುವಾಗ — ದೊಡ್ಡ ರೆಪೊ-ವೈಡ್ ಐವತ್ತು ಫೈಲ್‌ಗಳಾದ್ಯಂತ ವಾಸ್ತುಶಿಲ್ಪದ ರಿಫ್ಯಾಕ್ಟರ್‌ನಂತೆ — ನೀವು ವಾಣಿಜ್ಯ ಜಿಮ್‌ಗೆ ಭೇಟಿ ನೀಡುತ್ತೀರಿ: ಕ್ಲೌಡ್ API ಗೆ ಕ್ಲೌಡ್ 3.5 ಸೋನೆಟ್ ಅಥವಾ OpenAI o3 ಗಾಗಿ ಹದಿನೈದು ನಿಮಿಷಗಳ ಕಾಲ ಪಾವತಿಸಿ ಮತ್ತು ಮುಂದುವರಿಯಿರಿ.

5:38 ಮತ್ತು ಮುಂದುವರಿಯಿರಿ. ಇಲ್ಲಿ ಬಿಲ್ ಇದೆ: ಬಳಸಿದ 3090 ಹೊಂದಿರುವ ಶ್ರೇಣಿ 2 ನಿರ್ಮಾಣವು ಒಟ್ಟು $1,600 ವೆಚ್ಚವಾಗುತ್ತದೆ. ನೀವು ಪ್ರತಿ ತಿಂಗಳು API ಟೋಕನ್‌ಗಳಿಗಾಗಿ $50 ರಿಂದ $100 ಖರ್ಚು ಮಾಡಿದರೆ, ಇದು ಹದಿನೆಂಟು ತಿಂಗಳಲ್ಲಿ ತನ್ನದೇ ಆದ ವೆಚ್ಚವನ್ನು ಭರಿಸುತ್ತದೆ, ನಿಮ್ಮ ಸ್ವಾಮ್ಯದ ಕೋಡ್‌ಬೇಸ್ ಅನ್ನು ಮೂರನೇ-ವ್ಯಕ್ತಿ ಸರ್ವರ್‌ಗಳಿಂದ ಹೊರಗಿಡುತ್ತದೆ. ಮೂರನೇ-ವ್ಯಕ್ತಿ ಸರ್ವರ್‌ಗಳಿಂದ ಹೊರಗಿಡುತ್ತದೆ. ಇಂದಿನ ಕ್ಷೇತ್ರ ಪರೀಕ್ಷೆಯ ತೀರ್ಪು: SHIP IT. VRAM ಮತ್ತು ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಪ್ರತಿ ಬಾರಿಯೂ ಕ್ಲಾಕ್ ವೇಗವನ್ನು ಮೀರಿಸುತ್ತದೆ. AI ಗಾಗಿ ಐದು-ಗಿಗಾಹರ್ಟ್ಜ್ CPU ಗಳನ್ನು ಖರೀದಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ, ಮತ್ತು ಬಳಸಿದ 3090 ಅನ್ನು ಹುಡುಕಿ.

6:04 ಕಾಮೆಂಟ್‌ಗಳಲ್ಲಿ ಸ್ಥಳೀಯ ಮಾಡೆಲ್‌ಗಳಿಗಾಗಿ ನೀವು ಯಾವ ಹಾರ್ಡ್‌ವೇರ್ ನಿರ್ಮಾಣವನ್ನು ನಡೆಸುತ್ತಿದ್ದೀರಿ ಎಂದು ನನಗೆ ತಿಳಿಸಿ. ಮತ್ತು ನೀವು ಈ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಓದಲು ಬಯಸಿದರೆ, ಡೈಲಿ ಡಿಫ್ ಡಾಟ್ ದೇವ್‌ನಲ್ಲಿ ಸುದ್ದಿಪತ್ರವನ್ನು ಪಡೆಯಿರಿ, ಲಿಂಕ್ ಕೆಳಗಿದೆ. ಡಾಟ್ ದೇವ್, ಲಿಂಕ್ ಕೆಳಗಿದೆ. ಮತ್ತು ಇದು ಇಂದಿನ ಡಿಫ್. ನಾನು ಆಕ್ಸ್ರಿಸಿಯಿಂದ ನಿಕೋ. ಜವಾಬ್ದಾರಿಯುತವಾಗಿ ವಿಲೀನಗೊಳಿಸಿ.

## ಮೂಲಗಳು

- [Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PC](https://axrisi.com/) — axrisi.com
- [NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)](https://www.nvidia.com/) — www.nvidia.com
- [llama.cpp Memory Bandwidth & Offloading Architecture](https://github.com/ggerganov/llama.cpp) — github.com
- [Ollama Model Library & Benchmarks](https://ollama.com/) — ollama.com
- [vLLM PagedAttention & KV Cache Memory Management](https://github.com/vllm-project/vllm) — github.com
- [JEDEC DDR5 Memory Standard Specifications](https://www.jedec.org/) — www.jedec.org