+− THE DAILY DIFFdev & AI news
SHIP IT

স্থানীয় AI হাৰ্ডৱেৰ গাইড (2026)

স্থানীয় AI এজেণ্ট আৰু অপেন-ৱেইট LLM-ৰ বাবে মেচিন এটা নিৰ্মাণ কৰোঁতে, ডেভেলপাৰসকলে গেমিং PC স্পেচিফিকেচন ক্ৰয় কৰাৰ ভুল কৰে: 5.8 GHz CPU, কাষ্টম লিকুইড কুলিং লুপ, আৰু মাত্ৰ 8GB VRAM থকা দ্ৰুত গেমিং GPU।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

স্থানীয় AI এজেণ্ট আৰু অপেন-ৱেইট LLM-ৰ বাবে মেচিন এটা নিৰ্মাণ কৰোঁতে, ডেভেলপাৰসকলে গেমিং PC স্পেচিফিকেচন ক্ৰয় কৰাৰ ভুল কৰে: 5.8 GHz CPU, কাষ্টম লিকুইড কুলিং লুপ, আৰু মাত্ৰ 8GB VRAM থকা দ্ৰুত গেমিং GPU। কিন্তু অটোৰেগ্ৰেছিভ টোকেন জেনেৰেচন মেমৰি-বেণ্ডউইডথ বাউণ্ড হয়, কম্পিউট বাউণ্ড নহয়: এটা টোকেন এমিট কৰিবলৈ, মডেলৰ প্ৰতিটো ৱেইট মেমৰি বাছৰ মাজেৰে ষ্ট্ৰীম হ'ব লাগিব। যেতিয়া আপোনাৰ ৱেইট বা KV কেচ কণ্টেক্সট ভৌতিক VRAM অতিক্ৰম কৰে, ৰানটাইমে PCIe-ৰ ওপৰেৰে ছিষ্টেম DDR5-লৈ স্তৰসমূহ অফলোড কৰে, আৰু আপুনি 20x মেমৰি বেণ্ডউইডথ ক্লিফত আঘাত কৰে: গতি প্ৰতি ছেকেণ্ডত 40 টোকেনৰ পৰা 1.5-লৈ হ্ৰাস পায়। এই ফিল্ড টেষ্টত, নিকোৱে হাৰ্ডৱেৰ মেকানিক্স, 4-বিট কোৱান্টিইজেচন মডেল চাইজিং নিয়ম, $1,200-ৰ পৰা $5,000-লৈ তিনিটা প্ৰকৃত বাজেট স্তৰ, কিয় এটা ব্যৱহৃত RTX 3090 24GB কম্পিউটিং-ত সৰ্বশ্ৰেষ্ঠ VRAM-প্ৰতি-ডলাৰৰ চুক্তি হয়, ৰাছবেৰী পাই এজ ট্ৰেপ, আৰু স্থানীয় বনাম ক্লাউড ইনফাৰেন্সৰ বাবে ঘৰুৱা জিম কৌশল ভাঙি দেখুৱাইছে। ৰায়: SHIP IT.

লিখিত সংস্কৰণ পঢ়ক (ইংৰাজী) ↗

এই ভিডিঅ’টোত কি আছে

  • 20x মেমৰি বেণ্ডউইডথ ক্লিফ: 936 GB/s GDDR6X বনাম 50 GB/s DDR5 & 31.5 GB/s PCIe
  • মডেল চাইজিং @ 4-বিট: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
  • স্তৰ 1 ($1,200–$1,500): RTX 4060 Ti 16GB (কেতিয়াও 8GB নহয়) বা মেক মিনি 16GB
  • স্তৰ 2 ($1,500–$2,000): ব্যৱহৃত RTX 3090 24GB ছুইট স্পট বা মেক মিনি M4 প্ৰ' 64GB
  • স্তৰ 3 ($3,500+): RTX 4090 24GB / ডুৱেল 3090s বা মেক ষ্টুডিঅ' আল্ট্ৰা

প্ৰশ্ন আৰু উত্তৰ

স্থানীয়ভাৱে LLM চলাবলৈ CPU গতিৰ তুলনাত মেমৰি বেণ্ডউইথ কিয় বেছি গুৰুত্বপূৰ্ণ?

পাঠ্য সৃষ্টি কৰা মেমৰিৰ পৰা মডেলৰ ওজন কিমান বেগেৰে পঢ়িব পাৰি তাৰ দ্বাৰা সীমিত। এপিসোডটোৱে বৰ্ণনা কৰিছে যে এটা টোকেন উৎপন্ন কৰিবলৈ, GPU এ ইয়াৰ কম্পিউট কোৰৰ মাজেৰে মডেলৰ প্ৰতিটো ওজন ষ্ট্ৰীম কৰিব লাগিব, গতিকে দহ গিগাবাইটৰ মডেলে প্ৰতিটো টোকেনৰ বাবে দহ গিগাবাইট পঢ়া বুজায়। 384-বিট বাছৰ সৈতে এটা RTX 3090 এ 936 GB/s GDDR6X বেণ্ডউইথ প্ৰদান কৰে, যি CPU ঘড়ীৰ গতিয়ে সলনি কৰিব নোৱাৰে।

www.nvidia.com · github.com

যেতিয়া এটা মডেলে GPU VRAM ত ফিট নহয় তেতিয়া স্থানীয় LLM গতিৰ কি হয়?

গতি স্তিমিত হয় কিয়নো বাকী থকা স্তৰবোৰ PCIe বাছৰ ওপৰেৰে ছিষ্টেম মেমৰিৰ পৰা পঢ়া হয়। এপিসোডটোৱে 936 GB/s GDDR6X ক ডুৱেল-চেনেল DDR5 ৰ বাবে প্ৰায় 50 GB/s আৰু PCIe ৰ বাবে 31.5 GB/s ৰ সৈতে তুলনা কৰে, যি এক 20 গুণ হ্ৰাস। ইয়াৰ উদাহৰণত, সৃষ্টি প্ৰতি ছেকেণ্ডত 40 টোকেনৰ পৰা 1.5 টোকেনলৈ হ্ৰাস পালে।

github.com · www.jedec.org

4-বিট কোৱাণ্টাইজড অপেন-ওজন মডেলবোৰক কিমান VRAM লাগে?

4-বিটত, এপিসোডটোৱে এই আনুমানিক ওজনৰ আকাৰ দিয়ে। এটা 8B মডেলে প্ৰায় 5GB, এটা 14B মডেলে প্ৰায় 10GB, এটা 32B মডেলে প্ৰায় 20GB আৰু এটা 70B মডেলে প্ৰায় 40GB লয়। এই সংখ্যাবোৰে কেৱল ওজন সামৰি লয়। এটা দীঘলীয়া প্ৰসংগে কী-ভেলু কেছটোও ভৰাই তোলে, যিটো এপিসোডটোৱে কৈছে যে বত্ৰিশ হাজাৰ টোকেনৰ উইণ্ডোত চাৰিৰ পৰা আঠ গিগাবাইট লাগিব পাৰে।

ollama.com · github.com

ব্যৱহৃত RTX 3090 এতিয়াও স্থানীয় AI ৰ বাবে এটা ভাল GPU নেকি?

এপিসোডটোৱে ইয়াক টিয়াৰ 2 বিল্ডৰ বাবে পৰামৰ্শ দিয়ে কিয়নো ই 384-বিট বাছত 936 GB/s ত চৌব্বিশ গিগাবাইট VRAM প্ৰদান কৰে, যাক ই কম্পিউটিঙত প্ৰতি ডলাৰত সৰ্বোত্তম VRAM চুক্তি বুলি অভিহিত কৰে। এপিসোডটোৱে ব্যৱহৃত 3090 ৰ সৈতে এটা টিয়াৰ 2 বিল্ডত মুঠতে ষোল্লশ ডলাৰ খৰচ ধৰিছে। ইয়াত এইটোও কোৱা হৈছে যে RTX 4060 Ti ৰ 8GB সংস্কৰণ কেতিয়াও কিনিব নালাগে।

www.nvidia.com · axrisi.com

বিকাশকাৰীসকলে স্থানীয় AI এজেন্ট চলাবলৈ এটা গেমিং PC বনাব লাগেনে?

The Daily Diff's ৰ ৰায় আছিল গেমিং স্পেক্সৰ সলনি VRAM কিনাৰ বাবে SHIP IT। এপিসোডটোৱে কৈছে যে VRAM আৰু মেমৰি বেণ্ডউইথে প্ৰতিবাৰেই ঘড়ীৰ গতিতকৈ ভাল প্ৰদৰ্শন কৰে, আৰু দৈনন্দিন ক'ডিং আৰু ব্যক্তিগত ডকুমেণ্টৰ কাম স্থানীয়ভাৱে চলাবলৈ পৰামৰ্শ দিয়ে আনহাতে ডাঙৰ ৰিফেক্টৰবোৰ ক্লাউড API লৈ প্ৰেৰণ কৰিবলৈ পৰামৰ্শ দিয়ে। ই অনুমান কৰিছে যে এটা টিয়াৰ 2 বিল্ডে মাহত পঞ্চাশৰ পৰা এশ ডলাৰ API খৰচত ওঠৰ মাহত নিজৰ বাবে পৰিশোধ কৰে।

axrisi.com · www.nvidia.com

অনূদিত ট্ৰান্সক্ৰিপ্ট

মূল ইংৰাজী বৰ্ণনাৰ পৰা অনুবাদ কৰা হৈছে। উপলব্ধ অডিঅ’ আৰু কেপচন ইউটিউবে নিয়ন্ত্ৰণ কৰে।

0:00 যদি আপুনি স্থানীয় AI এজেণ্ট চলাবলৈ এটা PC নিৰ্মাণ কৰাৰ পৰিকল্পনা কৰিছে, গেমিং ৰিগ নিৰ্মাণ বন্ধ কৰক। আপোনাক পাঁচ-আঠ গিগাহাৰ্টজ ক’ৰ আই৯, এটা লিকুইড কুলিং লুপৰ প্ৰয়োজন নাই, বা আৰজিবিৰে আবৃত আঠ-গিগাবাইট গ্ৰাফিক্স কাৰ্ডৰ প্ৰয়োজন নাই। স্থানীয় AI ইনফাৰেন্সত, গেমিং স্পেচিফিকেচনসমূহ প্ৰায় অপ্ৰয়োজনীয়। আপোনাৰ এজেণ্ট চলে নে লাহে লাহে চলে সেয়া নিৰ্ধাৰণ কৰা একমাত্ৰ মেট্ৰিক হৈছে VRAM ক্ষমতা আৰু মেমৰি বাছ বেণ্ডউইডথ। হাৰ্ডৱেৰ পৰীক্ষাৰ নিয়ম: CPU ক্লক আৰু ৰাষ্টাৰাইজেশ্বন বেঞ্চমাৰ্ক পাহৰি যাওক।

0:24 আমি তিনিটা সংখ্যাৰ বিষয়ে চিন্তা কৰোঁ: মেমৰি বাছৰ প্ৰস্থ, প্ৰতি ছেকেণ্ডত গিগাবাইটত বেণ্ডউইডথ, আৰু KV কেচ ব্লোটৰ বাবে ৰ' VRAM হেডৰুম। এই ফিল্ড টেষ্টত, মই বিশ-গুণ মেমৰি বেণ্ডউইডথ ক্লিফ ভাঙি দেখুৱাম, মডেল চাইজিং নিয়মসমূহ মেপ কৰিম, বাৰশ ডলাৰৰ পৰা পাঁচ হাজাৰ ডলাৰলৈ তিনিটা প্ৰকৃত স্তৰ বেঞ্চমাৰ্ক কৰিম, আৰু কিয় এটা ব্যৱহৃত 3090 এতিয়াও কম্পিউটিং-ৰ সৰ্বশ্ৰেষ্ঠ ঠগ ক'ড সেয়া ব্যাখ্যা কৰিম। এইয়া হৈছে The Daily Diff, ফিল্ড টেষ্ট। গেমিং ৰিগে কিয় ব্যৰ্থ হয় বুজিবলৈ, টোকেন জেনেৰেচনে প্ৰকৃততে কেনেকৈ কাৰ্য্য কৰে সেয়া চাওক। গেমত, আপোনাৰ CPU-এ ড্ৰ' কল যোগান ধৰে আৰু আপোনাৰ GPU-এ ফ্ৰেম ৰেণ্ডাৰ কৰে।

0:54 কিন্তু অটোৰেগ্ৰেছিভ LLM ডিক'ডিং প্ৰায় সম্পূৰ্ণৰূপে মেমৰি বেণ্ডউইডথ বাউণ্ড। এটা টোকেন উৎপন্ন কৰিবলৈ, GPU-এ মডেলৰ প্ৰতিটো ৱেইট পেৰামিটাৰ মেমৰিৰ পৰা ইয়াৰ কম্পিউট ক'ৰৰ মাজেৰে ষ্ট্ৰীম কৰিব লাগিব। যদি আপোনাৰ মডেল দহ গিগাবাইটৰ হয়, এটা টোকেন উৎপাদন কৰাৰ অৰ্থ হৈছে দহ গিগাবাইট ডাটা পঢ়া। এটা Nvidia RTX 3090-ত এটা 384-বিট মেমৰি বাছৰ সৈতে, আপুনি প্ৰতি ছেকেণ্ডত 936 গিগাবাইট GDDR6X বেণ্ডউইডথ পায়, প্ৰতি ছেকেণ্ডত আশীটা টোকেন উৎপাদন কৰে। কিন্তু আপোনাৰ মডেল ভৌতিক VRAM অতিক্ৰম কৰাৰ লগে লগে কি হয় চাওক।

1:22 যেতিয়া VRAM পূৰ্ণ হয়, ৰানটাইমে PCIe বাছৰ মাজেৰে বাকী থকা স্তৰসমূহ ছিষ্টেম DDR5 মেমৰিলৈ অফলোড কৰে। আপোনাৰ GPU ক'ৰসমূহে প্ৰতি ছেকেণ্ডত এহাজাৰ গিগাবাইট আশা কৰে। তাৰ পৰিৱৰ্তে, ডুৱেল-চেনেল DDR5-এ সিহঁতক পঞ্চাশ যোগান ধৰে, আৰু PCIe 4-এ একত্ৰিশত শ্বাসৰুদ্ধ হয়। এইয়া এক বিশ-গুণ বেণ্ডউইডথ পতন। টোকেন জেনেৰেচন পাইপলাইনে বাছৰ বাবে অপেক্ষা কৰি লগে লগে বন্ধ হৈ পৰে, আৰু গতি প্ৰতি ছেকেণ্ডত চল্লিশ টোকেনৰ পৰা এক পইণ্ট পাঁচলৈ হ্ৰাস পায়। আপুনি দুই হাজাৰ ডলাৰৰ ৰিগ এটা স্পেচ হিটাৰলৈ সলনি কৰিছে।

1:47 আৰু মাল্টি-টাৰ্ন এজেণ্ট ৰানৰ সময়ত ই বেয়া হয়, কাৰণ ৱেইট মাত্ৰ আধা যুদ্ধ। প্ৰতিটো প্ৰম্পট, টুল কল, আৰু ফাইল চাংক কী-ভেল্যু কেচত সংৰক্ষণ কৰা হয়। এটা বত্ৰিশ-কে কণ্টেক্সট উইণ্ডোৱে ৱেইটৰ ওপৰত চাৰিৰ পৰা আঠ গিগাবাইট VRAM ব্যৱহাৰ কৰিব পাৰে। যদি আপোনাৰ কাৰ্ডত মাত্ৰ ষোল্ল গিগাবাইট আছে, আপোনাৰ এজেণ্ট দুবাৰ লুপ কৰে, কণ্টেক্সট ৱালত আঘাত কৰে, আৰু হয় এটা আউট-অফ-মেমৰি ত্ৰুটিৰে ক্ৰেচ হয় বা DDR5-ত সোমায়। এইয়া হৈছে চাৰি-বিট চাইজিং চিট শ্বিট। Llama 3.1 বা DeepSeek Distill-ৰ দৰে সাত বা আঠ-বিলিয়ন পেৰামিটাৰ মডেলে

2:16 প্ৰায় পাঁচ গিগাবাইট লয়। এটা চৈধ্য-বিলিয়ন মডেলে দহ গিগাবাইট লয়। এটা বত্ৰিশ-বিলিয়ন মডেলে, ক'ডিং এজেণ্টৰ বাবে ইন্টেলিজেন্স ছুইট স্পট, বিশ গিগাবাইটৰ প্ৰয়োজন। আৰু এটা সত্তৰ-বিলিয়ন ফ্ৰন্টিয়াৰ মডেলে আপুনি কণ্টেক্সট আৱণ্টন কৰাৰ আগতে চল্লিশ গিগাবাইট দাবী কৰে। যিটোৱে আমাক প্ৰকৃত হাৰ্ডৱেৰ বিল্ডলৈ লৈ আহে। স্তৰ 1 হৈছে ষ্টাৰ্টাৰ ৰিগ, বাৰশৰ পৰা পোন্ধৰশ ডলাৰ। PC-ত, আপোনাৰ এংকৰ হৈছে এটা RTX 4060 Ti 16-গিগাবাইট।

2:39 জৰুৰী সতৰ্কবাণী: কেতিয়াও আঠ-গিগাবাইট সংস্কৰণটো সত্তৰ ডলাৰ বচাবলৈ কিনিব নালাগে। 2026 চনত আঠ গিগাবাইট VRAM যিকোনো প্ৰকৃত এজেণ্ট ৱৰ্কফ্লোত এক তাৎক্ষণিক আউট-অফ-মেমৰি ডেথ চেন্টেন্স। ইয়াক ছয়-ক'ৰ ৰাইজেন 5, চৌষষ্ঠী গিগাবাইট DDR5, আৰু এটা দুই-টেৰাবাইট NVMe ড্ৰাইভৰ সৈতে যোৰ কৰক। এপলৰ ফালে, সমতুল্য হৈছে এটা মেক মিনি বা মেকবুক প্ৰ' ষোল্ল গিগাবাইট ইউনিফাইড মেমৰিৰ সৈতে।

3:02 আপুনি আঠ-বিলিয়ন মডেলত প্ৰতি ছেকেণ্ডত চল্লিশৰ পৰা পঞ্চাশ টোকেন দেখিব। স্তৰ 2 হৈছে পাৱাৰ ইউজাৰ ছুইট স্পট: Qwen 2.5 32B-ৰ দৰে বত্ৰিশ-বিলিয়ন পেৰামিটাৰ মডেল চলাবলৈ বিশেষভাৱে নিৰ্মাণ কৰা। পথ A হৈছে আঠশ ডলাৰত ষোল্ল গিগাবাইটৰ সৈতে এটা নতুন RTX 4070 Ti ছুপাৰ। কিন্তু পথ B হৈছে মোৰ দৃঢ় পৰামৰ্শ: এটা ব্যৱহৃত Nvidia RTX 3090 চব্বিশ গিগাবাইট ক্ৰয় কৰক। আপুনি eBay-ত ছশ পঞ্চাশৰ পৰা সাতশ পঞ্চাশ ডলাৰত পৰিষ্কাৰ 3090s বিচাৰি পাব পাৰে। ই আপোনাক এটা বিশাল 384-বিট বাছত চব্বিশ গিগাবাইট VRAM দিয়ে যি

3:33 প্ৰতি ছেকেণ্ডত 936 গিগাবাইট ঠেলি দিয়ে। ডলাৰৰ বাবে ডলাৰ, ই কম্পিউটিং-ৰ সৰ্বশ্ৰেষ্ঠ VRAM চুক্তি। macOS-ত, স্তৰ 2-ৰ প্ৰতিপক্ষ হৈছে চৌষষ্ঠী গিগাবাইট ইউনিফাইড মেমৰিৰ সৈতে এটা মেক মিনি M4 প্ৰ'। ই এটা বত্ৰিশ-বিলিয়ন মডেলত প্ৰতি ছেকেণ্ডত এঘাৰৰ পৰা বাৰ টোকেন উৎপাদন কৰে: Nvidia-তকৈ লেহেম, কিন্তু ত্ৰিশ ৱাটত সম্পূৰ্ণ শান্ত এক বিশাল কণ্টেক্সট উইণ্ডোৰ বাবে ঠাই থকা। স্তৰ 3 হৈছে মাল্টি-এজেণ্ট স্বাৰ্মৰ বাবে উত্সাহী ব্ৰেকেট। PC-ত, ইয়াৰ অৰ্থ হৈছে চব্বিশ গিগাবাইটৰ সৈতে এটা RTX 4090,

3:57 এটা Ryzen 9, আৰু একশ আঠাইশ গিগাবাইট RAM, বা ডুৱেল RTX 3090s-এ মুঠ আঠচল্লিশ গিগাবাইট VRAM যোগান ধৰে। এপলৰ লাইনআপত, এইয়া হৈছে ছিয়ানব্বৈৰ পৰা একশ আঠাইশ গিগাবাইট ইউনিফাইড মেমৰিৰ সৈতে এটা মেক ষ্টুডিঅ' আল্ট্ৰা। ছুপাৰপাৱাৰ হৈছে মেমৰি ৰেছিডেন্সী: আপুনি এটা এম্বেডিং মডেল, এটা দ্ৰুত ৰাউটাৰ, আৰু এটা 32-বিলিয়ন ক'ডিং মডেল একেলগে লোড কৰি ৰাখিব পাৰে শূন্য চ্ৱাপ দেৰীৰ সৈতে। এতিয়া আমাৰ ফিল্ড টেষ্টৰ সত্ ব্যৰ্থতাৰ বাবে: এজ কম্পিউটিং ট্ৰেপ।

4:24 প্ৰতি সপ্তাহে এটা ছ'চিয়েল প'ষ্টে দাবী কৰে যে আপুনি এটা আঠ ডলাৰৰ ৰাছবেৰী পাই 5-ত স্বায়ত্তশাসিত ক'ডিং এজেণ্ট চলাব পাৰে। মই ইয়াক পৰীক্ষা কৰিলোঁ। এটা সৰু এক পইণ্ট পাঁচ বিলিয়ন পেৰামিটাৰ মডেল চলালে আপুনি প্ৰতি ছেকেণ্ডত প্ৰায় তিনিটা টোকেন পায় যেতিয়া ব'ৰ্ড পঁচাশী ডিগ্ৰী চেলছিয়াছত থ্ৰটল হয়। ই এটা সুন্দৰ সপ্তাহান্তৰ খেলনা, কিন্তু দৈনন্দিন উন্নয়ন ড্ৰাইভাৰ হিচাপে, ই বিশুদ্ধ শাস্তি। ছফ্টৱেৰৰ বাবে, যদি আপুনি এটা পৰিষ্কাৰ কমাণ্ড-লাইন ডেমোন বিচাৰে যি

4:47 চিধা কাৰ্ছৰ, ক্লাইন, বা ভিএছ ক'ডৰ সৈতে সংযোগ হয়, তেন্তে Ollama ব্যৱহাৰ কৰক। যদি আপুনি মডেল ডাউনলোড আৰু GPU লেয়াৰ স্লাইডাৰৰ সৈতে এটা গ্ৰাফিকেল খেলপথাৰ বিচাৰে, LM Studio ব্যৱহাৰ কৰক। আৰু আপোনাৰ ফৰ্মেট আপোনাৰ ছিলিকনৰ সৈতে মিলাওক। এপল ছিলিকনত, সদায় মেটালৰ বাবে অপটিমাইজ কৰা GGUF মডেল ডাউনলোড কৰক। Nvidia-ৰ সৈতে Windows বা Linux-ত, AWQ বা EXL2 মডেল ডাউনলোড কৰক, যি বিশৰ পৰা ত্ৰিশ শতাংশ দ্ৰুত ইনফাৰেন্সৰ বাবে Nvidia টেন্সৰ ক'ৰ ব্যৱহাৰ কৰে। তেন্তে আপুনি কেনেকৈ ইয়াক ভাঙি যোৱা অবিহনে স্থাপন কৰিব?

5:11 স্থানীয় হাৰ্ডৱেৰক এটা ঘৰুৱা জিম বনাম এটা বাণিজ্যিক জিম হিচাপে ভাবক। ঘৰত স্কুৱাট ৰেক এটা থকাৰ অৰ্থ হৈছে আপুনি দৈনিক শূন্য যাত্ৰাৰে, শূন্য সদস্যতা ফী, আৰু সম্পূৰ্ণ গোপনীয়তাৰে প্ৰশিক্ষণ লয়। আপোনাৰ স্থানীয় মেচিনে আপোনাৰ দৈনিক ক'ডিং-ৰ আশী শতাংশ ইউনিট টেষ্টিং, আৰু ব্যক্তিগত নথিপত্ৰ প্ৰচেছিং প্ৰতি টোকেনত শূন্য ডলাৰত চম্ভালে। আৰু যেতিয়া আপুনি পাঁচশ পাউণ্ড ডেডলিফ্ট কৰিবলৈ প্ৰয়োজন হয় — যেনে এটা বিশাল ৰিপ' ৱাইড পঞ্চাশটা ফাইলৰ মাজেৰে স্থাপত্য পুনৰ গঠন — আপুনি বাণিজ্যিক জিমলৈ যায়: ক্লাউড API-ক Claude 3.5 Sonnet বা OpenAI o3-ৰ বাবে পোন্ধৰ মিনিটৰ বাবে পৰিশোধ কৰে

5:38 আৰু আগবাঢ়ে। এইয়া হৈছে বিল: এটা ব্যৱহৃত 3090-ৰ সৈতে এটা স্তৰ 2 বিল্ডৰ মুঠ খৰচ ষোল্লশ ডলাৰ। যদি আপুনি API টোকেনত মাহে পঞ্চাশৰ পৰা এশ ডলাৰ খৰচ কৰে, ই আপোনাৰ মালিকীস্বত্ব থকা ক'ডবেছ তৃতীয় পক্ষৰ ছাৰ্ভাৰৰ পৰা দূৰত ৰাখি আঠাইশ মাহত নিজৰ বাবে পৰিশোধ কৰে। তৃতীয় পক্ষৰ ছাৰ্ভাৰৰ পৰা দূৰত ৰাখি আঠাইশ মাহত নিজৰ বাবে পৰিশোধ কৰে। আজিৰ ফিল্ড টেষ্টৰ ৰায়: SHIP IT। VRAM আৰু মেমৰি বেণ্ডউইডথে প্ৰতিবাৰেই ক্লক স্পীডক পৰাস্ত কৰে। AI-ৰ বাবে পাঁচ-গিগাহাৰ্টজ CPU কিনা বন্ধ কৰক, আৰু এটা ব্যৱহৃত 3090 বিচাৰি উলিয়াওক।

6:04 স্থানীয় মডেলৰ বাবে আপুনি কি হাৰ্ডৱেৰ বিল্ড চলাই আছে মন্তব্যত কওক। আৰু যদি আপুনি এই ব্ৰেকডাউনটো পঢ়িব বিচাৰে, তেন্তে daily diff dot dev-ত নিউজলেটাৰটো লওক, লিংক তলত আছে। আৰু এইয়া আজিৰ বাবে diff। মই Axrisi-ৰ পৰা Niko। দায়িত্বশীলভাৱে মৰ্জ কৰক।

উৎসসমূহ

  1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
  2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
  3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
  4. Ollama Model Library & Benchmarksollama.com
  5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
  6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

সম্পৰ্কিত ভিডিঅ’সমূহ

daily · as · ২৮-০৯-২০২৬

NVIDIA এ এই মানুহজনক এক বিলিয়ন ডলাৰ দিব লগা আছেনেকি?

১৯৯৩ চনত জেনচেন হুয়াঙে এৰিক গালিচেনক NVIDIA-ৰ কাৰিকৰী উপদেষ্টা ব'ৰ্ডলৈ আমন্ত্ৰণ জনাইছিল আৰু তেওঁক ২৫,০০০ বিকল্প প্ৰদান কৰিছিল যিবোৰ অনুদান অনুসৰি, এবছৰত ভেষ্ট হৈছিল। ১৯৯৬ চনত NVIDIA-ৰ CFO-এ সেইবোৰ চা

4:41 ↗
under-the-hood · as · ২১-০৯-২০২৬

ক্লডে RSA-896 ফেক্টৰ কৰিলে। RSA কেনেকৈ ভাগে তাৰ ব্যাখ্যা আগবঢ়োৱা হ'ল

১৯ ছেপ্তেম্বৰত এজন এনথ্ৰ’পিক অভিযন্তাই RSA-896 — এটা ২৭০-ডিজিটৰ প্ৰত্যাহ্বানমূলক সংখ্যা — ক্লডৰ জৰিয়তে ফেক্টৰ কৰিলে, যিটো অপেন-চ'ৰ্চ CADO-NFS ছিভৰ এটা GPU পৰ্ট আছিল আৰু দহ দিনৰ ভিতৰত ২,০৪৮টা নিষ্কৰ্ম

3:39 ↗
daily · as · ১০-০৯-২০২৬

শ্বপিফাইয়ে টেইলউইণ্ড কিনিলে, তাৰ পিছত পুনৰ নেটিভলৈ ঘূৰি আহিল।

শ্বপিফাইৰ দুটা পোষ্ট, ২৫ ঘণ্টাৰ ব্যৱধানত। মঙলবাৰ: টেইলউইণ্ড লেবছ শ্বপিফাইট যোগদান কৰে — ফ্ৰেমৱৰ্কটো MIT হৈয়েই থাকিল, কিন্তু টেইলউইণ্ড প্লাছ আৰু ui.sh নতুন গ্ৰাহকৰ বাবে বন্ধ হৈ পৰিল, এডাম ওয়াথানে AI-

5:15 ↗
daily · as · ২০-১১-২০২৬

Anthropic-ৰ Nasdaq-ত প্ৰথম দিন: দিন-একৰ মূল্য, লক-আপ, হাৰ-সীমাৰ বিপদাশংকা কাৰক আৰু বাতিলযোগ্য চুক্তি

এন্থ্ৰ'পিকে ইয়াৰ আইপিঅ'ৰ মূল্য $83.00 নিৰ্ধাৰণ কৰিছিল, 980 নিযুত Class A শ্বেয়াৰ বিক্ৰী কৰিছিল আৰু Nasdaq ত ANT হিচাপে ট্ৰেডিং আৰম্ভ কৰিছিল। মূল্য নিৰ্ধাৰণ 2026 চনৰ 18 নৱেম্বৰত কৰা হৈছিল, আৰু ট্ৰেডি

5:01 ↗