XDA-Developers ने इस साल स्पष्ट किया: “Gemma 4 E4B कहीं भी चलाने के लिए काफी छोटा है, लेकिन सामान्य LLM कार्यभार को संभालने के लिए काफी शक्तिशाली है।” एक ही वाक्य यह बताता है कि 3-5B पैरामीटर स्तर अपना समय क्यों जी रहा है। Gemma 4 E4B, Phi-4, Qwen 3 4B और Llama 3.2 3B अब ऐसे उत्तर देते हैं जो एक साल पहले असंभव लगते थे, एक ऐसे लैपटॉप पर जो फोन से कम खर्चीला है।
मुश्किल सही होस्ट ऐप चुनना है। कुछ एक लाइन की स्थापना हैं। कुछ के साथ चैट विंडो है जिसे आपके माता-पिता भी उपयोग कर सकते हैं। कुछ OpenAI-संगत सर्वर को बाहर निकालते हैं ताकि आपका मौजूदा कोड काम करता रहे। हमने एक सप्ताह एक ही चार छोटे मॉडल को आठ सबसे लोकप्रिय डेस्कटॉप ऐप्स पर चलाया, एक 8GB M1 Air और 16GB Windows बॉक्स पर, फिर उन्हें यह देखने के लिए क्रमबद्ध किया कि एक नौसिखिया कितनी जल्दी काम करने वाला उत्तर पा सकता है। ये 2026 में tiny local models के लिए सर्वश्रेष्ठ ऐप्स हैं।
क्या देखें
नीचे दी गई सभी ऐप्स GGUF quants (Q4_K_M, Q5, Q8) चलाती हैं, जो वह प्रारूप है जो 3-5B मॉडल को 4-6GB RAM में आराम से फिट करने देता है। उसके अलावा, अंतर व्यावहारिक चीजों की एक छोटी सूची तक आता है।
हमने छः मानदंडों को तौला: 8GB मशीनों पर RAM हेडरूम, quant कवरेज (Q4 से Q8 और imatrix वेरिएंट्स), क्या ऐप के पास एकीकृत मॉडल कैटलॉग है या आपको GGUF की खोज करनी है, API एक्सेस बनाम चैट UI पॉलिश, क्या अपडेट और डाउनलोड स्थापित होने के बाद पूरी तरह ऑफ़लाइन काम करते हैं, और Windows, macOS और Linux पर अनुभव कितना सुसंगत है। गति महत्वपूर्ण है, लेकिन छोटे मॉडल पर यहां हर एप्लिकेशन आधुनिक हार्डवेयर पर पढ़ने की गति तक पहुंचता है, इसलिए हमने प्रति सेकंड टोकन को गेट के बजाय टाई-ब्रेकर के रूप में माना।
तुलना
| ऐप | चैट UI | मॉडल कैटलॉग | स्थानीय सर्वर | ऑफ़लाइन स्थापना | सबसे अच्छा |
|---|---|---|---|---|---|
| Ollama | केवल टर्मिनल | हां | हां (11434) | हां | चलते मॉडल तक तेजी से पहुंचना |
| LM Studio | पूर्ण GUI | हां (HF) | हां (OpenAI compat) | हां | पॉलिश किया हुआ सब कुछ-एक-ऐप |
| Jan | पूर्ण GUI | हां | हां | हां | LM Studio का खुला स्रोत विकल्प |
| GPT4All | पूर्ण GUI | हां | वैकल्पिक | हां | विनम्र हार्डवेयर, सबसे आसान शुरुआत |
| Msty | पूर्ण GUI | Ollama के माध्यम से | Ollama के माध्यम से | हां | अधिक अच्छी चेहरे वाला Ollama |
| Cortex.cpp | CLI | हां | हां | हां | लिपि योग्य Ollama विकल्प |
| llama.cpp | CLI | नहीं | हां (llama-server) | हां | अधिकतम नियंत्रण |
| Open WebUI + Ollama | Web UI | Ollama के माध्यम से | हां | हां | आत्म-होस्ट किया गया टीम चैट |
1. Ollama
Ollama वह जगह है जहां से अधिकांश लोगों को शुरुआत करनी चाहिए। इसे स्थापित करें, टर्मिनल में ollama run gemma3:4b चलाएं, और आपके पास एक मिनट से भी कम समय में एक काम करने वाली चैट लूप है। मॉडल पुलें फिर से शुरू होते हैं, quants आपके लिए चुने जाते हैं, और पोर्ट 11434 पर अंतर्निहित REST सर्वर का मतलब है कि कुछ भी जो Ollama या OpenAI API बोलता है, बिना कॉन्फ़िगरेशन के प्लग इन हो सकता है।
व्यापार बंद इंटरफेस है। बॉक्स से बाहर, Ollama एक टर्मिनल है। यह ठीक है यदि आप इसे Open WebUI या Msty के साथ जोड़ने की योजना बनाते हैं, और ईमानदारी से एक बार जब आप आदी हो जाते हैं तो यह अपने आप में ठीक है, लेकिन गैर-तकनीकी उपयोगकर्ता काले विंडो से जल्दी दूर चले जाते हैं। छोटे मॉडल पर मेमोरी फुटप्रिंट बहुत अच्छा है। Gemma 3 4B Q4 हमारे परीक्षणों में लगभग 3.4GB RAM पर बैठता है, एक 8GB मशीन पर ब्राउज़र के लिए जगह छोड़ता है।
डाउनलोड करें: Site · GitHub · Homebrew
2. LM Studio
LM Studio इस सूची में सबसे पॉलिश किया गया सब कुछ-एक-ऐप है। एक खोज योग्य Hugging Face कैटलॉग, RAM चेतावनियों के साथ प्रति-quant डाउनलोड चुन, एक चैट विंडो जो अनुलग्नक और सिस्टम प्रॉम्प्ट का समर्थन करता है, और एक OpenAI-संगत स्थानीय सर्वर सब एक ही इंस्टॉलर के अंदर रहते हैं। ऑनबोर्डिंग विज़ार्ड आपके हार्डवेयर के लिए एक समझदारी भरा डिफ़ॉल्ट चुनता है, जब मॉडल शेल्फ पर एक ही वजन के चालीस वेरिएंट होते हैं तो यह बहुत मायने रखता है।
यह मुफ्त लेकिन मालिकाना है, जो कुछ पाठकों के लिए महत्वपूर्ण है और कुछ के लिए नहीं। Windows और Mac दोनों बिल्ड समान रूप से मजबूत हैं। Linux बिल्ड काम करता है लेकिन एक या दो संस्करण पिछड़ता है। एक पारिवारिक लैपटॉप पर पहले स्थानीय मॉडल के लिए, यह वह ऐप है जो हम किसी को देते हैं जिसने कभी टर्मिनल नहीं खोला है।
डाउनलोड करें: Site · Windows · macOS · Linux
3. Jan
Jan LM Studio का खुला स्रोत उत्तर है, और अंतराल पिछले साल में खेद व्यक्त करते हुए बंद हो गया है। चैट UI स्वच्छ है, मॉडल खोज Hugging Face कैटलॉग और Jan के अपने क्यूरेट किए गए सेट को कवर करता है, और एक बार जब वजन डिस्क पर होते हैं तो सब कुछ ऑफ़लाइन चलता है। Jan के पीछे की टीम Cortex.cpp को भी बनाए रखती है (नीचे), इसलिए अंतर्निहित रनटाइम उनका है, न कि एक रैपर।
हमने देखा कि Jan LM Studio की तुलना में अधिक सुंदरता से मॉडल स्वैप को संभालता है। Gemma 3 4B के ऊपर Phi-4 लोड करने में दो क्लिक और कोई पुनः आरंभ नहीं लगे। एक्सटेंशन सिस्टम आपको चैट इंजन को स्वैप करने, RAG जोड़ने या दूरस्थ मॉडल को रूट करने देता है जब आपको कुछ बड़े की जरूरत हो। Linux पर, यह हमारी पहली पसंद है।
4. GPT4All
GPT4All Nomic AI से सीधे 8GB लैपटॉप पर निशाना लगाता है जिसने कभी स्थानीय मॉडल नहीं चलाया। इंस्टॉलर छोटा है, मॉडल सूची व्यापक के बजाय क्यूरेट की गई है, और हर प्रविष्टि सादे अंग्रेजी हार्डवेयर नोट के साथ आती है (“अधिकांश कंप्यूटरों पर तेजी से चलता है”, “16GB RAM की आवश्यकता”)। किसी के लिए जिसका मुख्य प्रश्न “क्या यह मेरी मशीन पर काम करेगा”, GPT4All डाउनलोड शुरू होने से पहले ईमानदारी से जवाब देता है।
स्थानीय दस्तावेजों के साथ चैट बनाया जाता है, जो इस स्तर पर दुर्लभ है और पहले RAG डेमो के लिए उपयोगी है। व्यापार बंद यह है कि मॉडल चयन LM Studio या Jan से छोटा है, और अत्याधुनिक वजन कभी-कभी दिखाई देने में एक सप्ताह लगता है। यदि आपका लक्ष्य एक पारिवारिक सदस्य को आज रात स्थानीय मॉडल का उपयोग करना है, तो यह सबसे छोटा रास्ता है।
5. Msty
Msty एक चैट ऐप है जो Ollama के शीर्ष पर बैठता है और इसे वह इंटरफेस देता है जो Ollama बनाने से इनकार करता है। विभाजन-दृश्य चैट, प्रॉम्प्ट लाइब्रेरी, कार्यक्षेत्र, और स्थानीय फाइलों के लिए एक ज्ञान स्टैक सब कुछ बॉक्स से बाहर काम करता है। फ्री टियर आवश्यकताओं को कवर करता है, और Msty Pro सिंक और टीम सुविधाएं जोड़ता है जो अधिकांश एकल उपयोगकर्ता छोड़ सकते हैं।
यदि आपके पास पहले से Ollama स्थापित है, तो Msty पहली लॉन्च पर कनेक्ट हो जाता है और आप सेकंड में चैटिंग कर रहे हैं। टर्मिनल से आपके द्वारा खींचे गए Ollama मॉडल साइडबार में स्वचालित रूप से दिखाई देते हैं। यह संयोजन (रनटाइम के लिए Ollama, चैट के लिए Msty) वह है जो हमने परीक्षण सप्ताह के बाद दिन-प्रतिदिन उपयोग किया।
डाउनलोड करें: Site · Windows · macOS · Linux
6. Cortex.cpp
Cortex.cpp Jan टीम से आता है और एक लिपि योग्य Ollama की तरह व्यवहार करता है। आप एक CLI, एक OpenAI-संगत सर्वर और एक मॉडल रजिस्ट्री प्राप्त करते हैं, लेकिन अपना चैट UI नहीं। यह एक नुकसान की तरह लगता है जब तक आप इस पर निर्माण शुरू नहीं करते, बिंदु पर जहां छोटी सतह क्षेत्र और Apache-2.0 लाइसेंस इसे चुनने का कारण बन जाते हैं।
मॉडल पुल परिचित cortex pull gemma3:4b सिंटैक्स का उपयोग करते हैं, और सर्वर उन्हीं समापन बिंदुओं को बाहर निकालता है जो आपका OpenAI क्लाइंट पहले से बोलता है। छोटे मॉडल पर यह गति में Ollama से मेल खाता है और ठंडे-स्टार्ट मेमोरी में इसे हराता है। डेवलपर्स जो एक कस्टम UI के तहत एक स्वच्छ रनटाइम चाहते हैं, यहां सबसे पहले देखना चाहिए।
7. llama.cpp
llama.cpp वह रनटाइम है जिस पर इस सूची में लगभग हर ऐप बनाया गया है। इसे सीधे उपयोग करना संकलन (या एक रिलीज़ बाइनरी डाउनलोड करना), टर्मिनल से llama-cli या llama-server चलाना, और हर बटन को स्वयं कॉन्फ़िगर करना मतलब है। यह अन्य विकल्पों की तुलना में अधिक काम है, और यह भी है जहां हर नई quant प्रारूप, सैंपलर और हार्डवेयर बैकएंड पहले आता है।
अधिकांश पाठकों के लिए, निष्कर्ष यह है कि llama.cpp पहले से ही उनके पसंदीदा ऐप के अंदर रहता है। पावर उपयोगकर्ताओं के लिए, इसे सीधे चलाना Metal, CUDA, ROCm, Vulkan और CPU-only बिल्ड्स को संबंधित फ्लैग्स के साथ अनलॉक करता है, साथ ही imatrix quants जो मेमोरी उपयोग का 10-15% और अधिक कतरता है। यदि आप जानना चाहते हैं कि आपका हार्डवेयर Gemma 4 E4B के साथ क्या कर सकता है, यह उपकरण है।
डाउनलोड करें: GitHub · Homebrew · Releases
8. Open WebUI + Ollama
Open WebUI Ollama के साथ युग्मित वह सेटअप है जो हम एक छोटी टीम या होम लैब के लिए सुझाते हैं। Ollama मॉडल चलाता है, Open WebUI खातों, मॉडल रूटिंग, प्रॉम्प्ट शेयरिंग और वेब सर्च प्लग-इन के साथ एक आत्म-होस्ट ChatGPT-शैली इंटरफेस चलाता है। Docker Compose Docker चलाने वाली किसी भी मशीन पर लगभग दस मिनट में जोड़ी लाता है।
एक बार जब यह चल रहा हो, उपयोगकर्ता नेटवर्क पर किसी भी ब्राउज़र से लॉगिन करते हैं। उनके पक्ष में कोई क्लाइंट स्थापित नहीं है, अपडेट एक जगह होते हैं, और पूरी स्टैक आपकी दीवारों के अंदर रहती है। एक परिवार के लिए जो “एक निजी ChatGPT जो कार्यालय मिनी पीसी पर चलता है” चाहता है, यह उत्तर है।
डाउनलोड करें: Site · GitHub · Docker Hub
कैसे चुनें
चार मार्ग लगभग सभी को कवर करते हैं। यदि आप शून्य से चलते हुए मॉडल तक तेजी से पहुंचना चाहते हैं, तो Ollama स्थापित करें, फिर जब आप चैट विंडो चाहते हैं तो Msty जोड़ें। यह संयोजन दस मिनट लगता है और एक एकल उपयोगकर्ता के 80% को कवर करता है।
यदि पॉलिश खुला स्रोत शुद्धता से अधिक महत्वपूर्ण है, तो LM Studio स्थापित करें और टर्मिनल को पूरी तरह से छोड़ दें। ऑनबोर्डिंग विज़ार्ड एक quant चुनता है जो आपके RAM में फिट बैठता है, कैटलॉग 3-5B में चलने के लिए हर मॉडल को कवर करता है, और स्थानीय सर्वर का मतलब है कि आप इसे बाद में VS Code, Raycast या अपनी स्क्रिप्ट में कनेक्ट कर सकते हैं। GPT4All वह पसंद है जब मशीन वास्तव में विनम्र हो (8GB RAM, कोई GPU नहीं) और उपयोगकर्ता ने पहले कभी स्थानीय मॉडल को नहीं छुआ है।
डेवलपर्स जो GUI के रास्ते में OpenAI-संगत समापन बिंदु चाहते हैं, Cortex.cpp या llama.cpp के अंतर्निहित सर्वर को देखना चाहिए। दोनों आपको स्वच्छ प्रक्रिया नियंत्रण, सरल लॉग और आसान स्क्रिप्टिंग देते हैं।
एक छोटी टीम या परिवार के लिए जो एक निजी सहायक तक साझा पहुंच चाहता है, Ollama के शीर्ष पर Open WebUI, Docker के माध्यम से तैनात, उत्तर है। एक स्थापना, सभी के लिए ब्राउज़र पहुंच, और कोई डेटा घर नहीं छोड़ता।
FAQ
मैं सबसे छोटा स्थानीय LLM चला सकता हूं? 4GB फ्री RAM वाली मशीन पर, 1-2B मॉडल Q4_K_M पर आराम से चलता है। Gemma 3 1B और Llama 3.2 1B दोनों सारांश और सरल प्रश्न और उत्तर के लिए अच्छी तरह काम करते हैं। एक वास्तव में उपयोगी सहायक के लिए, 3-4B मॉडल को Q4 या Q5 पर लक्ष्य करें, जिसे लगभग 4-6GB RAM की आवश्यकता है।
क्या मुझे Gemma 4 E4B के लिए GPU की आवश्यकता है? नहीं। Gemma 4 E4B Q4 पर CPU-केवल लैपटॉप पर पढ़ने की गति पर चलता है (आधुनिक Apple Silicon पर लगभग 8-15 टोकन प्रति सेकंड, मुख्यधारा Intel या AMD लैपटॉप पर 4-10)। GPU चीजों को काफी गति देता है, विशेषकर CUDA या Vulkan के साथ Windows और Linux पर, लेकिन यह आवश्यक नहीं है।
क्या Ollama मुफ्त है? हां। Ollama MIT लाइसेंस के तहत खुला स्रोत है और व्यक्तिगत और वाणिज्यिक परियोजनाओं के लिए मुफ्त है। मॉडल वजन अपने स्वयं के लाइसेंस (Gemma, Llama, Phi और Qwen प्रत्येक के अपने शब्द हैं) को ले जाते हैं, और अधिकांश व्यक्तिगत और आंतरिक व्यावसायिक उपयोग के लिए काफी अनुमति देते हैं।
Mac के लिए सबसे तेज़ स्थानीय LLM ऐप कौन सा है? Apple Silicon पर कच्चे पारगमन के लिए, Metal सक्षम के साथ llama.cpp सबसे तेजी है, इसके बाद Ollama (जो डिफ़ॉल्ट से ज्ञानी के साथ हुड के अंदर llama.cpp का उपयोग करता है)। ठंडे स्थापना से पहली प्रतिक्रिया के लिए सबसे तेजी से समय, Ollama या LM Studio जीत। M1 Air पर, Gemma 3 4B Q4 Ollama में लगभग 25-30 टोकन प्रति सेकंड चलता है।
8GB RAM स्थानीय LLM सेटअप के लिए सबसे अच्छा क्या है? Ollama स्थापित करें और Q4_K_M पर 3-4B मॉडल खींचें (Gemma 3 4B या Llama 3.2 3B हमारी पसंद हैं)। यह ब्राउज़र और चैट क्लाइंट के लिए पर्याप्त जगह छोड़ता है। उचित चैट विंडो के लिए Msty या Open WebUI जोड़ें। यदि आप एक ऐप चाहते हैं जो सब कुछ करता है, तो GPT4All इस RAM स्तर पर अधिक मित्रवत है।
कौन सी ऐप सबसे अधिक quant प्रारूप का समर्थन करती है? LM Studio और Jan अपने कैटलॉग में व्यापक GGUF quants की रेंज को बाहर निकालते हैं (Q2 से Q8, साथ ही imatrix वेरिएंट्स)। llama.cpp प्रारूप को परिभाषित करने वाले हर quant का समर्थन करता है, क्योंकि यह जहां नई प्रारूप पहले आती है। Ollama डिफ़ॉल्ट रूप से मॉडल टैग प्रति एक quant चुनता है, जो सरल है लेकिन कम लचकदार है।
