llama.cpp का नया WebUI कई लोगों के लिए Ollama के साथ अंतिम बड़े अंतर को बंद करता है, लेकिन अंतर्निहित इंजन अभी भी एक C++ प्रोजेक्ट है जिसे आप Git से खींचते हैं, अपने एक्सीलेरेटर के विरुद्ध संकलित करते हैं, और मैन्युअल रूप से चुनी हुई GGUF फ़ाइलों को फ़ीड करते हैं। यह वर्कफ़्लो डेवलपर्स के लिए एक सुविधा है और बाकी के लिए एक दीवार है। यदि WebUI ने आपको अपने स्वयं के हार्डवेयर पर मॉडल चलाने के लिए उत्सुक बना दिया है लेकिन सेटअप चरणों ने आपको थका दिया है, तो इन सात llama.cpp विकल्पों में से एक शायद अगले महीने के लिए बेहतर फिट होगा।
हमने देखा कि लोग अपने पहले मॉडल को चलाने के बाद वास्तव में क्या करते हैं: मात्रीकरण स्वैप करना, दस्तावेज़ संलग्न करना, किसी अन्य ऐप के लिए OpenAI-संगत एंडपॉइंट को उजागर करना, किसी सहकर्मी के साथ मशीन साझा करना। नीचे दिया गया प्रत्येक विकल्प बिना किसी नए git pull के इसमें से कम से कम दो को कवर करता है।
त्वरित तुलना
| ऐप्लीकेशन | सर्वश्रेष्ठ है | मुफ्त योजना | शुरुआती कीमत | विशेष सुविधा |
|---|---|---|---|---|
| Ollama | CLI उपयोगकर्ता जो डेमन चाहते हैं | पूरी तरह मुफ्त, ओपन-सोर्स | मुफ्त | एक-लाइन मॉडल पुल, लगभग हर तीसरे पक्ष के क्लाइंट के साथ काम करता है |
| LM Studio | किसी भी OS पर GUI-पहले उपयोगकर्ता | व्यक्तिगत उपयोग के लिए मुफ्त | टीम लाइसेंस प्रति सीट के रूप में उद्धृत | Apple Silicon पर MLX बैकएंड, ऐप में Hugging Face ब्राउज़र |
| Jan | पूरी तरह ओपन-सोर्स ChatGPT प्रतिस्थापन | पूरी तरह मुफ्त, Apache 2.0 | मुफ्त | localhost पर OpenAI-संगत सर्वर, MCP समर्थन |
| KoboldCpp | एकल-फ़ाइल, पोर्टेबल रनटाइम | पूरी तरह मुफ्त, ओपन-सोर्स | मुफ्त | एक निष्पादन योग्य में चैट, छवि जनरेशन, TTS और बहुत कुछ शामिल है |
| GPT4All | मामूली हार्डवेयर पर शुरुआती | मुफ्त डेस्कटॉप ऐप | मुफ्त | स्थानीय दस्तावेज़ सुविधा केवल-CPU मशीनों पर काम करती है |
| Text Generation WebUI | उन्नत उपयोगकर्ता जो छेड़छाड़ करना चाहते हैं | मुफ्त, ओपन-सोर्स | मुफ्त | कई बैकएंड, LoRA और QLoRA ठीक-ट्यूनिंग, विस्तार प्रणाली |
| vLLM | एक बॉक्स से कई उपयोगकर्ताओं को सेवा प्रदान करना | मुफ्त, ओपन-सोर्स | मुफ्त | उच्च-थ्रूपुट बैच प्रोसेसिंग, टेंसर समानता, OpenAI-संगत API |
लोग llama.cpp को क्यों छोड़ते हैं
इस सूची में कुछ भी llama.cpp को बुरा नहीं मानता है। यह अभी भी संदर्भ अनुमान इंजन है जिसे अधिकांश अन्य परियोजनाएँ लपेटती हैं। घर्षण इसके चारों ओर दिखाई देता है, अंदर नहीं।
- बिल्ड ट्री ऑन-रैंप है। एक ताज़ा क्लोन मानता है कि आप अपना CUDA संस्करण, अपना Metal टार्गेट, या अपनी ROCm शाखा जानते हैं। यह छठी मशीन पर ठीक है। यह पहले दिन एक कठिन दिन है।
- मॉडल क्यूरेशन मैनुअल है। llama.cpp एक रजिस्ट्री के साथ शिप नहीं करता है। सही संदर्भ लंबाई के लिए सही GGUF क्वांट डाउनलोड करना हर बार Hugging Face सफारी है।
- कोई प्रथम-पक्ष वर्कस्पेस नहीं। दस्तावेज़, व्यक्तित्व, और लंबी बातचीत जो भी फ्रंट-एंड आप प्लग करते हैं उसमें रहते हैं। जब दोनों एक ही पोर्ट के लिए लड़ते हैं, शांत शाम समाप्त होता है।
- डिफ़ॉल्ट रूप से एकल उपयोगकर्ता। सर्वर उदाहरण एकल-किरायेदार है। एक से अधिक सक्रिय उपयोगकर्ता के साथ एक मशीन साझा करना शिम कोड लिखने या किसी परियोजना में जाने का मतलब है जो समवर्ती को प्रथम-श्रेणी चिंता के रूप में मानता है।
- रिलीज़ नोट्स एक सिस्टम पेपर की तरह पढ़ें। रक्षकों के लिए बहुत अच्छा। यदि एक नया क्वांट फ़ॉर्मेट चुपचाप आपके सर्वश्रेष्ठ सैंपलर डिफ़ॉल्ट को बदलता है तो कठोर।
सात विकल्प
Ollama — CLI उपयोगकर्ताओं के लिए सर्वश्रेष्ठ
Ollama एक स्वच्छ इंस्टॉल से एक चलने वाले 7B मॉडल तक सबसे छोटा रास्ता है। ollama pull और ollama run डाउनलोड, क्वांट चयन और मॉडल प्रबंधन को संभालते हैं, और स्थानीय API काफी स्थिर है कि लगभग हर डेस्कटॉप AI क्लाइंट इसे सीधे बॉक्स से बाहर निकाले।
कहां यह विफल होता है: रजिस्ट्री Hugging Face से कम क्षेत्र और ताज़ा-मात्रा वाले मॉडल के लिए पिछड़ जाती है। मनमाने ढंग से GGUF को आयात करना अभी भी हाथ से Modelfile लिखने का मतलब है।
मूल्य निर्धारण:
- मुफ्त: सब कुछ। ओपन-सोर्स एक उदार लाइसेंस के तहत
- भुगतान किया गया: कोई नहीं
- llama.cpp बनाम: समान इंजन नीचे, कहीं अधिक मित्रवत सतह
llama.cpp से माइग्रेट करना: Ollama Modelfile के माध्यम से मौजूदा GGUF की ओर इशारा कर सकता है, इसलिए आप अपना डाउनलोड फ़ोल्डर रखते हैं। कोई भी क्लाइंट पहले से ही llama.cpp के OpenAI एंडपॉइंट से बात कर रहा है, इसके बजाय Ollama से बात करने के लिए केवल एक URL परिवर्तन की आवश्यकता है।
डाउनलोड करें: ollama.com · GitHub
निचली पंक्ति: जो भी llama.cpp CLI को पसंद करता था लेकिन हर मॉडल स्वैप में कम समारोह चाहता था उसके लिए स्पष्ट विकल्प।
LM Studio — सर्वश्रेष्ठ GUI-first विकल्प
LM Studio Hugging Face मॉडल ब्राउज़र को ऐप के अंदर रखता है, दस्तावेज़ संलग्नक के साथ चैट को वायर करता है, और एक निश्चित स्थानीय पोर्ट पर OpenAI-संगत सर्वर को उजागर करता है। Apple Silicon पर MLX बैकएंड llama.cpp के Metal बिल्ड के लिए अधिकांश सामान्य Llama, Qwen, Gemma और Mistral वेरिएंट के लिए गणनीय रूप से तेजी से है।
कहां यह विफल होता है: क्लाइंट ही ओपन-सोर्स नहीं है। वाणिज्यिक उपयोग के लिए एक फॉर्म के पीछे एक टीम लाइसेंस की आवश्यकता होती है।
मूल्य निर्धारण:
- मुफ्त: व्यक्तिगत उपयोग, असीमित स्थानीय मॉडल
- भुगतान किया गया: वाणिज्यिक परिनियोजन के लिए टीम लाइसेंस, प्रति सीट उद्धृत
- llama.cpp बनाम: GUI सुविधाओं के लिए उच्च फर्श, Apple हार्डवेयर पर समान या बेहतर अनुमान गति
llama.cpp से माइग्रेट करना: LM Studio किसी भी क्लाइंट के लिए llama.cpp OpenAI सर्वर को बदल सकता है जो OpenAI स्कीमा की अपेक्षा करता है। मौजूदा GGUF को ऐप में ब्राउज़र के माध्यम से पुनः डाउनलोड किया जाना चाहिए या LM Studio के मॉडल फ़ोल्डर में मैन्युअल रूप से स्थानांतरित किया जाना चाहिए।
डाउनलोड करें: lmstudio.ai
निचली पंक्ति: एकल डेवलपर के लिए सही विकल्प जो एक वास्तविक GUI के पीछे llama.cpp-वर्ग इंजन चाहता है और क्लाइंट को ओपन-सोर्स होने की आवश्यकता नहीं है।
Jan — सर्वश्रेष्ठ पूरी तरह ओपन-सोर्स विकल्प
Jan यह है कि LM Studio अगर क्लाइंट Apache 2.0 था तो कैसा दिखेगा। Windows, macOS और Linux पर चलता है, प्रथम-पक्ष मॉडल कैटलॉग के साथ शिप करता है, और localhost:1337 पर OpenAI-संगत एंडपॉइंट को उजागर करता है। Model Context Protocol समर्थन का मतलब है कि Claude Desktop जैसे उपकरण कस्टम shim के बजाय MCP सर्वर के माध्यम से Jan-होस्टेड मॉडल के साथ बात कर सकते हैं।
कहां यह विफल होता है: LM Studio से छोटा; मॉडल कैटलॉग छोटा है और कुछ Hugging Face quantizations बाद में आते हैं। गैर-CUDA हार्डवेयर पर Windows GPU त्वरण अभी भी पीछे है।
मूल्य निर्धारण:
- मुफ्त: सब कुछ। कोई सदस्यता नहीं, कोई सीट कैप नहीं
- भुगतान किया गया: कोई नहीं
- llama.cpp बनाम: ओपन-सोर्स रुख को छोड़े बिना GUI, एक रजिस्ट्री, और MCP जोड़ता है
llama.cpp से माइग्रेट करना: Jan एक कॉन्फ़िगर करने योग्य फ़ोल्डर से मानक GGUF पढ़ता है। इसे अपने मौजूदा मॉडल निर्देशिका पर इंगित करें और यह लॉन्च पर उन्हें सूचीबद्ध करेगा।
निचली पंक्ति: डेवलपर्स के लिए विकल्प जो एक ओपन-सोर्स क्लाइंट चाहते हैं जो रास्ते से बाहर रहता है और अभी भी OpenAI बोलता है।
KoboldCpp — सर्वश्रेष्ठ सिंगल-फ़ाइल रनटाइम
KoboldCpp एक निष्पादन योग्य के रूप में शिप करता है जो llama.cpp, एक छवि-जनरेशन बैकएंड, पाठ-से-भाषण, और ब्राउज़र UI को बंडल करता है। कोई इंस्टॉलर और कोई बिल्ड चरण नहीं। GGUF के बगल में बाइनरी को छोड़ें, डबल-क्लिक करें, और ब्राउज़र टैब दिखाई देता है।
कहां यह विफल होता है: UI घना है और लेखकों और रोल-प्ले उपयोगकर्ताओं की ओर लक्षित है। टीम सुविधाएं डिज़ाइन द्वारा अनुपस्थित हैं।
मूल्य निर्धारण:
- मुफ्त: सब कुछ, ओपन-सोर्स
- भुगतान किया गया: कोई नहीं
- llama.cpp बनाम: समान इंजन, लेकिन डाउनलोड IS सेटअप
llama.cpp से माइग्रेट करना: वही GGUF जैसा है वैसे ही काम करते हैं। यदि llama.cpp लॉन्च कमांड एक स्क्रिप्ट में लिखा है, KoboldCpp अधिकांश समान ध्वज स्वीकार करता है।
डाउनलोड करें: GitHub
निचली पंक्ति: एक USB स्टिक पर, ऑफलाइन लैपटॉप पर, या किसी और की मशीन पर त्वरित डेमो के लिए एक पोर्टेबल मॉडल सर्वर के लिए विकल्प।
GPT4All — मामूली हार्डवेयर के लिए सर्वश्रेष्ठ
GPT4All एक अलग GPU के बिना डेस्कटॉप को लक्षित करता है। डिफ़ॉल्ट मॉडल सूची CPU अनुमान के लिए ट्यून की जाती है, और LocalDocs सुविधा फ़ोल्डर को एक पुनः प्राप्ति स्टोर में अनुक्रमित करती है जो चैट क्लाउड कॉल के बिना खोज सकता है।
कहां यह विफल होता है: मॉडल सूची Hugging Face से छोटी है और बहुत curated। नवीनतम फाइन-ट्यून का पीछा करने वाले उपयोगकर्ताओं को GGUF को मैन्युअल रूप से आयात करने की आवश्यकता होगी।
मूल्य निर्धारण:
- मुफ्त: पूर्ण डेस्कटॉप ऐप, वाणिज्यिक-उपयोग लाइसेंस शामिल
- भुगतान किया गया: कोई नहीं
- llama.cpp बनाम: उच्च-अंत GPU पर धीमा, उन पर कभी नहीं आने वाली मशीनों पर आसान
llama.cpp से माइग्रेट करना: GPT4All मैनुअल ऐड-मॉडल प्रवाह के माध्यम से मनमाने ढंग से GGUF पढ़ सकता है। चैट इतिहास प्रारूप मालिकाना है, इसलिए लंबी बातचीत स्विच के बाद बेहतर रीसेट की जाती है।
डाउनलोड करें: nomic.ai/gpt4all
निचली पंक्ति: एकीकृत ग्राफिक्स और 16 GB RAM के साथ एक व्यक्तिगत मशीन के लिए विकल्प।
Text Generation WebUI — छेड़छाड़ करने वालों के लिए सर्वश्रेष्ठ
Text Generation WebUI, अक्सर “oobabooga” कहा जाता है, llama.cpp, ExLlamaV2 और transformers सहित कई अनुमान backends पर एक ब्राउज़र UI चलाता है। एक्सटेंशन LoRA प्रशिक्षण, वर्ण कार्ड, RAG प्लग-इन, और वॉयस इनपुट को कवर करते हैं।
कहां यह विफल होता है: इंस्टॉलेशन अभी भी एक Python पर्यावरण और चालक जांच के लिए पूछ सकता है। पहली बार सेटअप कई उपयोगकर्ताओं के अंत में Ollama या LM Studio पर जाने का कारण है।
मूल्य निर्धारण:
- मुफ्त: सब कुछ, ओपन-सोर्स
- भुगतान किया गया: कोई नहीं
- llama.cpp बनाम: समान अंतर्निहित इंजन प्लस शीर्ष पर विस्तार की एक कार्यशाला
llama.cpp से माइग्रेट करना: “मॉडल” फ़ोल्डर को अपनी मौजूदा निर्देशिका पर इंगित करें और लॉन्च पर llama.cpp बैकएंड चुनें। कमांड-लाइन ध्वज वैकल्पिक backends के साथ दस्तावेज हैं।
डाउनलोड करें: GitHub
निचली पंक्ति: जब लक्ष्य सिर्फ मॉडल चलाना नहीं है बल्कि उन्हें मोड़ना है, एक ही मशीन पर ठीक-ट्यूनिंग और extensions के साथ।
vLLM — कई समवर्ती उपयोगकर्ताओं के लिए सर्वश्रेष्ठ
vLLM एक सेवा इंजन है, चैट ऐप नहीं। इसके PagedAttention और निरंतर बैच प्रोसेसिंग एक ही हार्डवेयर पर एक सरल llama.cpp सर्वर से बहुत आगे throughput को धक्का देते हैं, और OpenAI-संगत API इसे किसी भी क्लाइंट के लिए एक सीधे प्रतिस्थापन बनाता है जो पहले से ही OpenAI से बात कर रहा है।
कहां यह विफल होता है: कोई GUI नहीं। GGUF समर्थन safetensors की तुलना में सीमित है, और सिंगल-यूजर लेटेंसी बहुत छोटे संकेतों के लिए llama.cpp से भी बदतर हो सकता है।
मूल्य निर्धारण:
- मुफ्त: सब कुछ, ओपन-सोर्स
- भुगतान किया गया: कोई नहीं
- llama.cpp बनाम: लोड के तहत बेहतर, सेटअप के लिए अधिक बुनियादी ढांचा
llama.cpp से माइग्रेट करना: चैट क्लाइंट समान रहते हैं; केवल आधार URL बदलता है। मॉडल Hugging Face से सीधे खींचे जाते हैं, इसलिए llama.cpp का कोई भी GGUF संग्रह समकक्ष safetensors डाउनलोड की आवश्यकता होती है।
डाउनलोड करें: vllm.ai · GitHub
निचली पंक्ति: जब “डेस्कटॉप” वास्तव में एक टीम के साथ साझा किया जाने वाला वर्कस्टेशन या तीन या चार सक्रिय क्लाइंट को सेवा प्रदान करने वाली एक होम लैब हो।
सही का चयन कैसे करें
Ollama चुनें यदि llama.cpp CLI लगभग सही था और एकमात्र अनुरोध प्रति सेशन कम ध्वज है। यह किसी के लिए भी सबसे सुरक्षित कूद है जिसकी स्क्रिप्ट पहले से ही स्थानीय मॉडल से बात करती है।
LM Studio चुनें यदि लक्ष्य एक MacBook या Windows लैपटॉप पर एक पॉलिश की खिड़की है और ओपन-सोर्स कठोर आवश्यकता नहीं है। Apple Silicon पर MLX त्वरण वास्तविक है।
Jan चुनें यदि क्लाइंट को ही ओपन-सोर्स होना चाहिए या यदि MCP उन उपकरणों के लिए महत्वपूर्ण होगा जो आप दैनिक उपयोग करते हैं।
KoboldCpp पोर्टेबिलिटी के लिए चुनें। बाइनरी और एक GGUF के साथ एक USB स्टिक किसी भी Windows या Linux मशीन पर काम करता है जिसे आप प्लग करते हैं।
GPT4All चुनें यदि मशीन के पास एकीकृत GPU, 8-16 GB RAM है, और एक 7B मॉडल को बातचीत की गति पर चलाना अभी भी महत्वाकांक्षी लगता है।
Text Generation WebUI चुनें यदि आप सेटअप का आनंद लेते हैं, या यदि योजना समान मशीन पर ठीक-ट्यूनिंग और extensions को शामिल करती है जो अनुमान चलाता है।
vLLM चुनें यदि दो से अधिक लोग एक ही समय में मॉडल से बात करेंगे। एक एकल GPU पर एक साझा टीम के साथ, बैच प्रोसेसिंग बिंदु है।
llama.cpp पर रहें यदि वर्कफ़्लो स्क्रिप्टेड है, कंपाइल ध्वज दस्तावेज़ीकृत हैं, और मशीन एक निर्माण बॉक्स है जो कभी नहीं बदलता है। प्रत्येक wrapper ऊपर दिन आप सीधे इंजन में पोक करने की आवश्यकता घर्षण जोड़ता है।
अक्सर पूछे जाने वाले प्रश्न
क्या Ollama वास्तव में llama.cpp पर बनाया गया है? Ollama अपने स्वयं के रनटाइम के साथ शिप करता है, llama.cpp से bifurcated और समय के साथ diverged। दोनों परियोजनाएं कई samplers और quant प्रारूप साझा करती हैं, लेकिन Ollama अपने स्वयं के रिलीज़ निर्णय लेता है।
क्या मैं इन विकल्पों के साथ अपनी मौजूदा GGUF फ़ाइलों का उपयोग कर सकता हूँ? उनमें से अधिकांश स्टॉक GGUF पढ़ते हैं। Ollama को एक छोटे Modelfile wrapper की आवश्यकता है, LM Studio और Jan फ़ाइलों को अपने स्वयं के फ़ोल्डर में सीधे पढ़ने की उम्मीद करते हैं, और KoboldCpp सीधे पढ़ता है। vLLM Hugging Face से safetensors पसंद करता है।
Apple Silicon पर llama.cpp का सर्वश्रेष्ठ विकल्प क्या है? LM Studio और Jan दोनों Apple Silicon पर MLX का उपयोग करते हैं और 7B और 13B आकारों पर llama.cpp के Metal बिल्ड को सामान्य Llama, Qwen, और Gemma वेरिएंट के लिए अधिक perform करते हैं।
क्या कोई ऑफ़लाइन चलता है? सभी। Ollama, Jan, KoboldCpp, LM Studio, GPT4All, Text Generation WebUI, और vLLM सभी मॉडल डिस्क पर होने के बाद पूरी तरह से स्थानीय मशीन पर चलते हैं।
सबसे छोटी इंस्टॉल फुटप्रिंट किसके पास है? KoboldCpp। एक निष्पादन योग्य, कोई निर्भरता नहीं, कोई Python पर्यावरण नहीं। बाइनरी और एक GGUF काफी है।
क्या टीमों के लिए llama.cpp का विकल्प है? vLLM। यह कई समवर्ती अनुरोधों के बीच throughput के लिए बनाया गया है, और OpenAI-संगत एंडपॉइंट किसी भी टीम-स्केल चैट क्लाइंट से जुड़ता है।
