XDA ने इस महीने एक लेख प्रकाशित किया जिसमें तर्क दिया गया कि Docker ने एक स्थानीय AI सेटअप को ऐसी चीज में बदल दिया जिसे वह चार मिनट में फिर से बना सकते हैं। यह एक डेस्कटॉप पर कंटेनरीकृत AI स्टैक का असली बिंदु है: मॉडल वेट और चैट इतिहास एक माउंट किए गए वॉल्यूम में रहते हैं, और बाकी स्टैक (UI, अनुमान इंजन, रिवर्स प्रॉक्सी) डिस्पोजेबल हैं। इसे हटाएं, एक compose फाइल संपादित करें, इसे वापस चालू करें।
हमने Windows, macOS और Linux पर उस लक्ष्य के विरुद्ध सात डेस्कटॉप AI ऐप्स का परीक्षण किया। सभी सात या तो आधिकारिक Docker इमेजेस देते हैं या एक-पंक्ति docker run कमांड के साथ आते हैं, और सभी सात राज्य को रनटाइम से अलग करते हैं ताकि पुनर्निर्माण आपका इतिहास न खोए।
Docker-मैत्रीपूर्ण AI ऐप में क्या देखना चाहिए
- आधिकारिक Docker इमेज। तृतीय-पक्ष इमेजेस धीरे-धीरे चलती हैं और कभी-कभी सुरक्षा पैच में पिछड़ जाती हैं।
- वॉल्यूम-माउंट किया गया राज्य। चैट इतिहास, कस्टम प्रॉम्प्ट्स और मॉडल वेट एक होस्ट पाथ पर रहना चाहिए।
- GPU पास-थ्रू। Linux पर NVIDIA रनटाइम समर्थन, Windows पर WSL2, macOS पर Metal-on-host।
- OpenAI-संगत API। आपको क्लाइंट कोड को फिर से लिखे बिना ऐप को स्वैप करने देता है।
- नेटवर्क पर वेब UI। एक डेस्कटॉप ऐप जो एक ब्राउजर भी प्रदान करता है आपको अन्य कमरों से इसका उपयोग करने देता है।
- अपना मॉडल लाएं। GGUF और safetensors लोडर आपको उन मॉडलों का उपयोग करने देते हैं जो आपने पहले से डाउनलोड किए हैं।
त्वरित तुलना
| ऐप | के लिए सर्वश्रेष्ठ | मुक्त योजना | शुरुआती कीमत | रेटिंग |
|---|---|---|---|---|
| Open WebUI | स्थानीय LLM के लिए वेब UI | पूर्ण | मुक्त | 4.8/5 |
| Ollama | एक-पंक्ति मॉडल रनटाइम | पूर्ण | मुक्त | 4.8/5 |
| LocalAI | OpenAI-संगत ड्रॉप-इन | पूर्ण | मुक्त | 4.7/5 |
| LM Studio | मॉडल ब्राउज़र के साथ GUI | पूर्ण | मुक्त (टीमों के लिए भुगतान किया गया स्तर) | 4.7/5 |
| Jan | मूल डेस्कटॉप क्लाइंट | पूर्ण | मुक्त | 4.6/5 |
| LiteLLM | बहु-प्रदाता प्रॉक्सी | पूर्ण | Enterprise अनुबंध | 4.7/5 |
| Msty | पॉलिश्ड क्रॉस-मॉडल क्लाइंट | हाँ | $49/वर्ष Pro | 4.6/5 |
ऐप्स
1. Open WebUI – स्थानीय LLM के लिए सर्वश्रेष्ठ वेब UI
Open WebUI वह इंटरफेस है जिसका ज्यादातर लोग मतलब रखते हैं जब वे “स्थानीय ChatGPT” कहते हैं। यह एक आधिकारिक Docker इमेज के साथ आता है, सब कुछ माउंट करता है (सेटिंग्स, उपयोगकर्ता, RAG दस्तावेज़) एक एकल वॉल्यूम में, और बॉक्स से बाहर Ollama या किसी भी OpenAI-संगत एंडपॉइंट से जुड़ता है। एक चार मिनट का पुनर्निर्माण यथार्थवादी है: docker compose down, टैग संपादित करें, docker compose up, और चैट बिल्कुल वहां हैं जहां आप उन्हें छोड़ गए थे।
जहां यह कम पड़ता है: UI की फीचर सीमा अधिक है और सेटिंग्स सतह घनी है। नए उपयोगकर्ताओं को डॉक्स के साथ एक घंटे की जरूरत है।
मूल्य निर्धारण:
- मुक्त, MIT लाइसेंस प्राप्त।
- Enterprise समर्थन अलग से प्रदान किया जाता है।
प्लेटफॉर्म: जहां भी Docker चलता है — Windows (WSL2 या Docker Desktop), macOS, Linux।
डाउनलोड करें: वेबसाइट · GitHub
निचला पंक्ति: पहले Open WebUI स्थापित करें। यह एक Docker AI स्टैक के लिए समझदारीपूर्ण सामने का दरवाजा है।
2. Ollama – सर्वश्रेष्ठ मॉडल रनटाइम
Ollama कारण है कि मौजूदा स्थानीय-LLM बूम संभव है। एक CLI, GGUF मॉडलों की एक लाइब्रेरी, और पोर्ट 11434 पर एक REST API जो एक दर्जन फ्रंट-एंड (Open WebUI, Jan और Msty सहित) पहले से ही बोलते हैं। Docker इमेज Linux पर NVIDIA GPU पास-थ्रू का समर्थन करता है; macOS नेटिव बिल्ड होस्ट पर सीधे Metal का उपयोग करता है।
जहां यह कम पड़ता है: Ollama मॉडल नामकरण सम्मेलन Hugging Face से विचलित होता है, जो जब आप एक स्निपेट कॉपी करते हैं तो भ्रामक है।
मूल्य निर्धारण:
- मुक्त, MIT लाइसेंस प्राप्त।
प्लेटफॉर्म: मूल Windows, macOS, Linux; सभी तीनों के लिए Docker इमेज उपलब्ध।
डाउनलोड करें: वेबसाइट · GitHub
निचला पंक्ति: एक कार्यशील स्थानीय मॉडल के लिए सबसे छोटे रास्ते के लिए Open WebUI के साथ Ollama को जोड़ी।
3. LocalAI – सर्वश्रेष्ठ OpenAI-संगत ड्रॉप-इन
LocalAI एक आत्म-होस्ट किया गया API है जो OpenAI प्रोटोकॉल को बाइट-दर-बाइट बोलता है, इसलिए ChatGPT के खिलाफ जो कुछ भी आप बनाते हैं वह इसके खिलाफ काम करता है। इसमें CrewAI, LangChain, LlamaIndex और OpenAI Python क्लाइंट शामिल हैं। आधिकारिक Docker इमेज GGUF, safetensors, whisper, stable-diffusion और text-to-speech मॉडलों को एक ही एंडपॉइंट के तहत समर्थन करता है।
जहां यह कम पड़ता है: कोई पहली-पक्ष चैट UI नहीं; इसे Open WebUI के साथ जोड़ी।
मूल्य निर्धारण:
- मुक्त, MIT लाइसेंस प्राप्त।
प्लेटफॉर्म: Windows, macOS, Linux पर Docker।
डाउनलोड करें: वेबसाइट · GitHub
निचला पंक्ति: अगर आप जो कोड चलाना चाहते हैं वह पहले से ही OpenAI API बोलता है तो LocalAI चुनें।
4. LM Studio – मॉडल ब्राउजर के साथ सर्वश्रेष्ठ GUI
LM Studio एक मूल डेस्कटॉप ऐप है जिसमें Hugging Face-शैली मॉडल ब्राउजर और एक-क्लिक लोड है। यह localhost:1234 पर एक OpenAI-संगत सर्वर को उजागर करता है और Linux पर GPU समर्थन के साथ एक Docker कंटेनर के अंदर चल सकता है। पुनर्निर्माण की मैत्रीपूर्णता एक सीधी कॉन्फ़िगरेशन निर्देशिका से आती है जो cleanly माउंट करती है।
जहां यह कम पड़ता है: डेस्कटॉप UI macOS की तरह Linux पर पॉलिश नहीं है। भुगतान किया गया स्तर व्यक्तियों के नहीं, टीमों को लक्षित करता है।
मूल्य निर्धारण:
- व्यक्तिगत उपयोग के लिए मुक्त।
- LM Studio for Work टीमों के लिए भुगतान किया गया स्तर।
प्लेटफॉर्म: Windows, macOS, Linux (Docker या मूल)।
डाउनलोड करें: वेबसाइट · GitHub
निचला पंक्ति: यदि आप मॉडलों को दृष्टि से ब्राउज़ और स्वैप करना चाहते हैं तो LM Studio का उपयोग करें।
5. Jan – सर्वश्रेष्ठ मूल डेस्कटॉप क्लाइंट
Jan सबसे साफ पूरी तरह से मूल स्थानीय AI डेस्कटॉप ऐप है। Electron क्लाइंट सभी तीन OS पर चलता है, एक OpenAI-संगत स्थानीय API के साथ आता है, और Ollama, LocalAI और रिमोट मॉडलों के साथ एकीकृत होता है। Jan एक घर बॉक्स पर एक headless सर्वर के रूप में एक Docker कंटेनर में भी चल सकता है।
जहां यह कम पड़ता है: एक्सटेंशन इकोसिस्टम Open WebUI के मुकाबले छोटा है।
मूल्य निर्धारण:
- मुक्त, AGPL लाइसेंस प्राप्त।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड करें: वेबसाइट · GitHub
निचला पंक्ति: यदि आप ब्राउजर टैब के बजाय एक मूल ऐप चाहते हैं तो Jan चुनें।
6. LiteLLM – सर्वश्रेष्ठ बहु-प्रदाता प्रॉक्सी
LiteLLM एक प्रॉक्सी है जो आपके ऐप के लिए OpenAI API बोलता है और किसी भी प्रदाता (OpenAI, Anthropic, Ollama, Bedrock, Vertex, Groq) को अग्रेषित करता है। इसे अपने Docker AI स्टैक के सामने रखें और प्रदाता स्विच करना कोड परिवर्तन नहीं, कॉन्फ़िगरेशन परिवर्तन है। आधिकारिक Docker इमेज प्रमाणीकरण, दर सीमा और प्रति-उपयोगकर्ता बजट को संभालता है।
जहां यह कम पड़ता है: कोई अपना चैट UI नहीं; यह बुनियादी ढांचा है।
मूल्य निर्धारण:
- मुक्त, MIT लाइसेंस प्राप्त।
- LiteLLM Enterprise अलग से बेचा जाता है।
प्लेटफॉर्म: Windows, macOS, Linux पर Docker।
डाउनलोड करें: वेबसाइट · GitHub
निचला पंक्ति: यदि आप भुगतान की गई API प्रदाताओं का भी उपयोग करते हैं तो Ollama और Open WebUI के सामने LiteLLM जोड़ें।
7. Msty – सर्वश्रेष्ठ पॉलिश्ड क्रॉस-मॉडल क्लाइंट
Msty डेस्कटॉप क्लाइंट में सबसे पॉलिश किया गया है। यह साइड-बाय-साइड मॉडल रिस्पांस, आउटपुट की तुलना के लिए विभाजित दृश्य और एक स्वच्छ प्रॉम्प्ट लाइब्रेरी का समर्थन करता है। यह Ollama के माध्यम से स्थानीय मॉडल और API के ऊपर रिमोट मॉडलों को चलाता है। Msty आधिकारिक रूप से एक Docker इमेज नहीं देता है, लेकिन नेटिव ऐप Docker बैकएंड के साथ अच्छी तरह से खेलता है।
जहां यह कम पड़ता है: बंद स्रोत; Pro सुविधाओं को सदस्यता के पीछे लॉक किया गया।
मूल्य निर्धारण:
- व्यक्तिगत उपयोग के लिए मुक्त स्तर।
- Msty Pro लगभग $49/वर्ष।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड करें: वेबसाइट
निचला पंक्ति: सबसे अच्छी दिख वाली क्लाइंट के लिए Msty चुनें, विशेषकर साइड-बाय-साइड मॉडल तुलना के लिए।
सही चुनना कैसे चुनें
- यदि आप सबसे सरल विकल्प चाहते हैं: एक docker compose फाइल में Ollama प्लस Open WebUI।
- यदि आपको एक OpenAI-संगत ड्रॉप-इन की आवश्यकता है: सामने LocalAI या LiteLLM।
- यदि आप मॉडलों को दृष्टि से ब्राउज़ करना चाहते हैं: LM Studio।
- यदि आप एक मूल ऐप पसंद करते हैं: Jan या Msty।
- यदि आप OpenAI, Anthropic और स्थानीय के बीच मार्ग देते हैं: LiteLLM।
- यदि आप साइड-बाय-साइड मॉडल तुलना चाहते हैं: Msty।
- यदि आपने एक होमग्रोन Python स्क्रिप्ट को आजमाया और अपना इतिहास खो दिया: Open WebUI, क्योंकि इतिहास एक Docker वॉल्यूम में रहता है जो प्रत्येक पुनर्निर्माण को जीवित रखता है।
FAQ
Docker के साथ डेस्कटॉप पर स्थानीय LLM चलाने का सबसे तेज़ तरीका क्या है?
docker run ollama/ollama, फिर docker run open-webui/open-webui Ollama की ओर इशारा करते हुए नेटवर्क फ्लैग के साथ। दोनों आधिकारिक इमेजेस हैं। इस सूची को प्रेरित करने वाले XDA टुकड़े ने मोटे तौर पर यह किया है।
क्या मुझे GPU की जरूरत है?
नहीं, लेकिन CPU अनुमान धीमा है। एक मामूली NVIDIA कार्ड, Apple Silicon Mac या iGPU offload के साथ AMD Ryzen सभी काम करते हैं। Ollama और LM Studio स्वचालित रूप से उपलब्ध सर्वश्रेष्ठ बैकएंड का उपयोग करते हैं।
क्या ये ऐप्स रिमोट API से भी बात कर सकते हैं?
हाँ। Open WebUI, LiteLLM, LM Studio, Jan और Msty सभी स्थानीय मॉडलों के साथ OpenAI, Anthropic और अन्य रिमोट प्रदाताओं का समर्थन करते हैं।
कौन सी सर्वश्रेष्ठ मुक्त डेस्कटॉप AI ऐप है?
Open WebUI प्लस Ollama मुक्त स्टैक है जिसमें अधिकांश लोग अभिसरण करते हैं। Jan और LM Studio मजबूत मूल विकल्प हैं।
मैं कंटेनर पुनर्निर्माण पर चैट इतिहास कैसे रखता हूँ?
राज्य निर्देशिका को Docker वॉल्यूम के रूप में माउंट करें। Open WebUI /app/backend/data के अंतर्गत सब कुछ संग्रहीत करता है; LocalAI /build/models के अंतर्गत; Jan अपनी कॉन्फ़िगरेशन निर्देशिका के अंतर्गत। उस वॉल्यूम को होस्ट पर बनाए रखें और पुनर्निर्माण इतिहास नहीं खोएंगे।
