Proxmox 9.2, जो अगस्त 2026 में जारी किया गया, एक kernel अपडेट के साथ आया जिसने NVIDIA के खुले kernel मॉड्यूल को कई होम लैब उपयोगकर्ताओं के लिए तोड़ दिया जो स्थानीय LLM चला रहे थे, और समाधान एक patched driver निकला जो NVIDIA ने लगभग एक सप्ताह बाद जारी किया। यह वह पैटर्न है जो हर Proxmox मालिक को पता चल जाएगा जो GPU को inference के लिए चला रहा है: एक kernel अपडेट आता है, ड्राइवर नए headers को अस्वीकार करता है, nvidia-smi “No devices were found” लौटाता है, और Ollama या vLLM तब तक शुरू नहीं होता जब तक आप rebuild न करें।
स्थानीय LLM workloads के लिए Proxmox पर NVIDIA ड्राइवर प्रबंधन के लिए सर्वोत्तम ऐप्स उस पैटर्न को संकट से रूटीन में कम करते हैं। यहाँ सात डेस्कटॉप उपकरण हैं जो अगले kernel अपडेट से पहले स्थापित करने के लिए लायक हैं।
Proxmox NVIDIA stack में क्या देखें
ड्राइवर इंस्टॉलेशन पथ के साथ शुरू करें। विक्रेता द्वारा आपूर्ति किया गया .run इंस्टॉलर काम करता है और समझने के लायक है, लेकिन होम लैब के लिए आप पैकेज की पुनरुत्पादनीयता चाहते हैं। इसका मतलब है NVIDIA के CUDA repository से एक हस्ताक्षरित .deb या एक scriptable पथ जो एक ज्ञात-अच्छे ड्राइवर संस्करण को pinned रखता है।
DKMS पर ध्यान दें। Dynamic Kernel Module Support जब kernel अपडेट होता है तो NVIDIA मॉड्यूल को rebuild करता है। यदि आप DKMS को छोड़ देते हैं, तो आप प्रत्येक kernel bump पर manually rebuild करते हैं, और वह जगह है जहाँ breakage रहती है। पुष्टि करें कि DKMS मॉड्यूल वास्तव में अपडेट के बाद rebuild हुआ है न कि silently विफल हुआ है।
GPU passthrough side को देखें। यदि GPU को host पर चलाने के बजाय VM को pass किया जाता है, तो मॉड्यूल VM के अंदर रहता है और Proxmox को vfio-pci binding की आवश्यकता होती है ताकि host कार्ड को न पकड़े। Broken passthrough को अक्सर broken driver से confuse किया जाता है।
अंत में, monitoring और rollback की योजना बनाएं। nvidia-smi एक loop में आपको बताता है कि कार्ड जीवित है; Netdata समय के साथ utilization दिखाता है; एक अपडेट से पहले लिया गया host का snapshot का मतलब है कि rollback एक Proxmox restore क्लिक दूर है।
त्वरित तुलना
| ऐप | भूमिका | मुफ्त योजना | सशुल्क स्तर | बहुत अच्छी विशेषता |
|---|---|---|---|---|
| Proxmox VE | हाइपरविज़र जिसमें NVIDIA को रहना है | मुक्त, open source | enterprise repo के लिए सशुल्क subscription | हर जोखिम भरे ड्राइवर अपडेट से पहले snapshot |
| NVIDIA driver installer | CUDA और kernel मॉड्यूल भेजता है | मुक्त | मुक्त | हस्ताक्षरित .deb और network installer जो kernel अपडेट survive करते हैं |
| Aprox Proxmox client | फोन या डेस्कटॉप से Proxmox कंसोल तक पहुंचें | मुक्त | मुक्त | बिना browser खोले VM को restart करें |
| Ollama | स्थानीय LLM runner जो GPU consume करता है | मुक्त, open source | मुक्त | एक-पंक्ति install, एक-पंक्ति model pull |
| Open WebUI | Ollama या vLLM के ऊपर chat frontend | मुक्त, open source | मुक्त | मल्टी-मॉडल chat, RAG, कोई cloud dependencies नहीं |
| vLLM | उच्च-throughput LLM inference server | मुक्त, open source | मुक्त | busy setups के लिए Ollama का higher-throughput विकल्प |
| NVIDIA System Management Interface | nvidia-smi command line |
मुक्त, ड्राइवर के साथ आता है | मुक्त | वह tool जो आप पहले चलाते हैं जब कुछ टूटता है |
| Netdata | लाइव GPU और system metrics | मुक्त स्तर | सशुल्क cloud plans | समय के साथ GPU utilization, temperature, और VRAM |
1. Proxmox VE
Proxmox VE स्टैक के base में हाइपरविज़र है। NVIDIA workloads के लिए, जो setting सबसे ज्यादा matter करती है वह है snapshot discipline: हर जोखिम भरे ड्राइवर या kernel change से पहले host और GPU-bearing VM का snapshot लें, ताकि rollback एक दो-क्लिक operation हो। Proxmox web UI का Backup schedule LXC या VM snapshot को automate कर सकता है; host को ही एक अलग approach की जरूरत है (एक stateless install, root pool का ZFS snapshot, या installer flags का manual note)।
जहाँ यह कम पड़ता है: Proxmox स्वयं first-party GPU passthrough wizard नहीं देता है। आप इसे CLI और /etc/pve/qemu-server/<vmid>.conf के through configure करते हैं।
मूल्य निर्धारण: community repo के साथ मुक्त। enterprise repo के लिए सशुल्क subscription एक modest annual fee प्रति socket से शुरू होता है।
प्लेटफॉर्म: compute box पर Bare metal।
डाउनलोड: Proxmox VE
निचली पंक्ति: base। हर ड्राइवर अपडेट से पहले snapshot लें।
2. NVIDIA driver installer
NVIDIA driver installer एक हस्ताक्षरित CUDA repository package या .run installer के रूप में आता है। Proxmox home labs के लिए CUDA repository अधिक विश्वसनीय path है: repo जोड़ें, DKMS के साथ nvidia-driver-open (open kernel modules) install करें, reboot करें, nvidia-smi को verify करें। जब एक kernel अपडेट आता है, DKMS मॉड्यूल को rebuild करता है; जब नहीं, आप एक बार manually rebuild करते हैं और fix को log करते हैं।
जहाँ यह कम पड़ता है: open kernel modules अभी भी newer path हैं। कुछ पुराने कार्ड को proprietary modules की जरूरत होती है, और version matrix upgrade से पहले reading के लायक है।
मूल्य निर्धारण: मुक्त।
प्लेटफॉर्म: Linux (Debian, Ubuntu, और derivatives, जो Proxmox उपयोग करता है)।
डाउनलोड: NVIDIA CUDA repository
निचली पंक्ति: DKMS के साथ repo install वह setup है जो ज्यादातर समय kernel अपडेट survive करता है।
3. Aprox Proxmox client
Aprox Proxmox के लिए एक phone client है। जब एक ड्राइवर अपडेट work day के बीच गलत हो जाता है, Aprox आपको affected VM को restart करने, एक snapshot पर वापस जाने, या browser खोले बिना task history check करने देता है। यह same Proxmox API को read करता है जो web UI उपयोग करता है।
जहाँ यह कम पड़ता है: यह एक client है, replacement नहीं। Deep configuration अभी भी web UI के through होता है।
मूल्य निर्धारण: मुक्त।
प्लेटफॉर्म: Android; Android runtimes के through Windows और ChromeOS से usable।
डाउनलोड: Aptoide · Google Play
निचली पंक्ति: एक home lab के लिए quick-recovery client जिसे आप full desktop को login करने के लिए नहीं चाहते।
4. Ollama
Ollama Proxmox GPU पर स्थानीय LLM चलाने का सबसे आसान तरीका है। GPU passed के साथ VM या LXC container में install करें, एक-पंक्ति command के साथ model pull करें, और Ollama एक local API को standard OpenAI-shaped form पर expose करता है। Home labs जो Ollama से शुरू हुई हैं और कभी नहीं छोड़ी हैं वह शायद ही कभी पछताते हैं।
जहाँ यह कम पड़ता है: concurrency पर throughput vLLM से कम है। household chat setup के लिए यह matter नहीं करता; small team के लिए यह हो सकता है।
मूल्य निर्धारण: मुक्त, open source।
प्लेटफॉर्म: Linux, macOS, Windows।
डाउनलोड: Ollama
निचली पंक्ति: default runner एक home lab GPU के लिए जो पहले से ही vLLM को serve नहीं कर रहा है।
5. Open WebUI
Open WebUI chat frontend है जो Ollama या vLLM के ऊपर बैठी है। यह multi-model chat, local documents के विरुद्ध RAG, shared conversation history, और multiple user accounts को handle करता है। Ollama के समान VM पर container में run करें और यह एक URL पर appear करता है जो आप bookmark कर सकते हैं।
जहाँ यह कम पड़ता है: यह एक और moving part है। यदि आप केवल terminal से chat करते हैं, तो Ollama API के विरुद्ध curl अच्छी तरह काम करता है।
मूल्य निर्धारण: मुक्त, open source।
प्लेटफॉर्म: Docker (कोई भी host)।
डाउनलोड: Open WebUI
निचली पंक्ति: home LLM setup के लिए friendly frontend।
6. vLLM
vLLM higher-throughput inference server है जब एक household या small team Ollama को slow करने के लिए पर्याप्त tokens प्रति second generate करता है। यह paged attention, batched requests, और बहुत अधिक higher concurrency के साथ host models को support करता है। Setup अधिक involved है और CUDA-version-sensitive है।
जहाँ यह कम पड़ता है: यह “install and forget” experience नहीं है जो Ollama है। release notes पढ़ने और CUDA और PyTorch versions को match करने की उम्मीद करें।
मूल्य निर्धारण: मुक्त, open source।
प्लेटफॉर्म: Linux with CUDA।
डाउनलोड: vLLM
निचली पंक्ति: pick जब concurrency setup simplicity से अधिक matter करती है।
7. NVIDIA System Management Interface
nvidia-smi command है जो हर Proxmox-plus-NVIDIA user पहले चलाता है जब कुछ टूटता है। यह driver version, CUDA runtime, GPU utilization, VRAM usage, active processes, temperatures, और power दिखाता है। जब एक kernel अपडेट आता है, nvidia-smi पहली honest reading है कि क्या ड्राइवर survive हुई।
जहाँ यह कम पड़ता है: यह CLI है। एक graphical nvidia-smi -l 1 loop है जो आप tmux pane में छोड़ सकते हैं, लेकिन यह dashboard नहीं है।
मूल्य निर्धारण: मुक्त, ड्राइवर के साथ आता है।
प्लेटफॉर्म: Linux, Windows (NVIDIA driver के through)।
डाउनलोड: ऊपर NVIDIA driver install के साथ bundled।
निचली पंक्ति: पहला tool जो आप हर kernel या ड्राइवर change के बाद चलाते हैं।
8. Netdata
Netdata automatically जब driver install होता है तो NVIDIA collector को pick करता है। यह GPU utilization, VRAM, power, और temperature को browser में second-level granularity पर render करता है। historically यही है कि आप thermal throttle को spot करते हैं जो benchmark run नहीं report करता है।
जहाँ यह कम पड़ता है: free tier पर long retention सीमित है। Prometheus में historical metrics store करें यदि एक साल का GPU history matter करता है।
मूल्य निर्धारण: small number of nodes के लिए मुक्त tier। सशुल्क cloud plans retention जोड़ते हैं।
प्लेटफॉर्म: Linux (agent), कोई भी browser (dashboard)।
डाउनलोड: Netdata
निचली पंक्ति: समय के साथ GPU misbehavior को spot करने का fastest तरीका।
कैसे चुनें
हर home lab GPU को Proxmox VE (driver changes से पहले snapshot), DKMS के साथ NVIDIA CUDA repository, और first-check tool के रूप में nvidia-smi से शुरू करना चाहिए। friendly LLM setup के लिए Ollama plus Open WebUI जोड़ें, या vLLM यदि throughput matter करता है। phone-side control के लिए Aprox install करें और continuous GPU visibility के लिए Netdata। जब एक kernel अपडेट आता है, पहले snapshot लें, दूसरे update करें, तीसरे nvidia-smi चलाएं, चौथे Netdata GPU panel check करें। यदि कोई भी विफल हो, तो Aprox client rollback के लिए browser खोलने से faster है।
FAQ
Proxmox 9.2 ने मेरे स्थानीय LLM को क्यों तोड़ा?
Kernel bump उस के लिए NVIDIA driver support से ahead था। NVIDIA ने लगभग एक सप्ताह बाद एक patched driver जारी किया; वह driver install करके, फिर dkms status चलाकर और reboot करके, nvidia-smi और Ollama restore हुए।
क्या मुझे Proxmox पर open या proprietary NVIDIA modules का उपयोग करना चाहिए?
हाल की Ampere और newer cards के लिए open kernel modules 2026 में अनुशंसित path हैं और जो NVIDIA forward support कर रहा है। पुरानी Turing और Pascal cards अभी भी proprietary modules पर निर्भर हैं।
क्या मुझे Proxmox पर Ollama के लिए GPU passthrough की आवश्यकता है?
यदि GPU compute box पर है और आप host पर Ollama चलाते हैं, तो नहीं। यदि आप VM के अंदर Ollama चलाते हैं, तो हाँ। LXC containers सही cgroup और udev rules के साथ passthrough के बिना host की GPU share कर सकते हैं।
Proxmox पर best local LLM runner क्या है?
setup ease के लिए Ollama, concurrency के लिए vLLM। दोनों guest पर installed NVIDIA driver consume करते हैं।
मैं Proxmox पर समय के साथ GPU temperature को कैसे monitor करूं?
GPU को own करने वाले guest पर Netdata install करें। यह automatically NVIDIA metrics pick करता है। long retention के लिए, Prometheus को metrics भेजें और Grafana में view करें।
