AMD Lemonade को चुप-चाप Nvidia का समर्थन मिलना वह प्रकार की छोटी रिलीज़ है जो एक बड़ी वास्तविक दुनिया की समस्या को हल करती है। कोई भी जो एक से अधिक मशीनों पर स्थानीय LLM चलाता है, उसे अपने मॉडल स्टोर को डुप्लिकेट करना पड़ा है, अपने क्वांटिफिकेशन को फिर से ट्यून करना पड़ा है, और अपने स्टैक को घर के डेस्कटॉप और काम के लैपटॉप में काम करने योग्य रखने के लिए दो विभिन्न रनटाइम से जूझना पड़ा है। पोर्टेबिलिटी स्थानीय AI का संपूर्ण पिच है, और इस साल तक अधिकांश रनटाइम एक एकल हार्डवेयर परिवार के लिए लॉक किए गए थे।
हमने आठ डेस्कटॉप स्थानीय AI रनटाइम का परीक्षण किया जो हार्डवेयर पोर्टेबिलिटी को एक प्रथम श्रेणी की सुविधा बनाते हैं। सूची विशेष उद्देश्य-निर्मित क्रॉस-वेंडर उपकरणों को पुराने रनटाइम के साथ मिश्रित करती है जो बहु-बैकएंड पक्ष पर पकड़े गए हैं। प्रत्येक पिक कम से कम Windows और Linux पर चलता है, छह Apple Silicon त्वरण के साथ macOS पर चलते हैं, और सभी आठ एक GGUF मॉडल फ़ाइल को एक मशीन से दूसरे में बिना किसी पुनरावृत्ति के स्थानांतरित कर सकते हैं।
एक पोर्टेबल स्थानीय AI रनटाइम में क्या देखना है
पोर्टेबिलिटी वह है जो एक रनटाइम को सूची में एक स्थान देता है, लेकिन कुछ चीजें उन पिक को अलग करती हैं जो वास्तव में अच्छी तरह से स्थानांतरित होते हैं।
- क्रॉस-वेंडर GPU समर्थन। Nvidia CUDA, AMD ROCm या Vulkan, Apple Metal, Intel Arc। दो विक्रेता न्यूनतम है, तीन पोर्टेबल है
- मॉडल प्रारूप तटस्थता। GGUF वर्तमान lingua franca है। कुछ भी जो केवल अपने स्वयं के प्रारूप को पढ़ता है बिंदु खो देता है
- OpenAI-संगत API। यदि एक रनटाइम एक को प्रकट नहीं करता है, तो आपका मौजूदा क्लाइंट कोड चाल पर टूट जाता है
- कॉन्फ़िगरेशन पोर्टेबिलिटी। एक मॉडल कार्ड जो रनटाइम में आता है वह बेहतर है जो आप लक्ष्य मशीन पर खरोंच से बनाते हैं
- स्थापना पदचिह्न। एक एकल निष्पादन योग्य पांच सेवा Docker स्टैक की तुलना में अधिक आसानी से चलता है
- मॉडल स्टोर। रनटाइम को उस मॉडल के डाउनलोड को फिर से करने के लिए बाध्य नहीं करना चाहिए जो आप पहले से ही डिस्क पर है
त्वरित तुलना
| रनटाइम | सर्वश्रेष्ठ के लिए | GPU विक्रेता | OS | उल्लेखनीय |
|---|---|---|---|---|
| Ollama | सबसे तेज़ शून्य-से-पहला-टोकन | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | मॉडल स्टोर जिसे आप मशीनों के बीच इंगित कर सकते हैं |
| LM Studio | GUI-पहला क्रॉस-वेंडर परीक्षण | Nvidia, AMD, Apple, Intel | Windows, macOS, Linux | Apple Silicon पर MLX बैकएंड |
| llama.cpp | रनटाइम जिसे अन्य सभी फोर्क करते हैं | Nvidia, AMD (Vulkan), Apple | Windows, macOS, Linux | एकल-बाइनरी रिलीज़ |
| Jan | खुला स्रोत ChatGPT प्रतिस्थापन | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | पोर्ट 1337 पर स्थानीय OpenAI-संगत सर्वर |
| GPT4All | विनम्र हार्डवेयर पर शुरुआती | CPU, Nvidia, AMD | Windows, macOS, Linux | Snapdragon X ARM पर स्वच्छता से चलता है |
| AMD Lemonade | AMD-पहला Nvidia समर्थन के साथ | AMD NPU, AMD GPU, Nvidia GPU | Windows, Linux | Ryzen AI 300 के लिए NPU-जागरूक शेड्यूलिंग |
| KoboldCpp | एकल-फ़ाइल लंबी-प्रसंग रनटाइम | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | समान बाइनरी में छवि जनन और TTS को भेजता है |
| Text Generation WebUI | बिजली उपयोगकर्ता जो हर नॉब चाहते हैं | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | एक UI में हर लोडर और हर quant प्रकार |
1. Ollama - सबसे तेज़ शून्य-से-पहला-टोकन के लिए सर्वश्रेष्ठ
Ollama ollama pull से चलने वाले मॉडल तक सबसे छोटा रास्ता है, और Ollama मॉडल स्टोर स्थानीय AI के पास पैकेज मैनेजर के सबसे करीब है। पोर्टेबिलिटी की कहानी 2025 में मजबूत हुई जब Windows और Linux बिल्ड साझा मॉडल निर्देशिका प्रारूप में चले गए, इसलिए OLLAMA_MODELS को एक सिंक्रोनाइज़ किए गए फ़ोल्डर पर इंगित करना मतलब है कि समान मॉडल दोनों मशीनों पर दिखाई देते हैं।
जहां यह अल्पष्ठ आता है: डिफ़ॉल्ट पाँच मिनट का रखरखाव मॉडल को लगातार पुनः लोड करता है। किसी भी एकल-उपयोगकर्ता मशीन पर OLLAMA_KEEP_ALIVE को एक लंबे मान पर सेट करें।
कीमत: मुफ़्त, MIT लाइसेंस।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड: ollama.com
निचली पंक्ति: यदि आप सबसे तेज़ एर्गोनॉमिक्स चाहते हैं तो खरीदें। Ollama की पारिस्थितिकी तंत्र अब सभी अन्य रनटाइम से बड़ा है।
2. LM Studio - GUI-पहला क्रॉस-वेंडर परीक्षण के लिए सर्वश्रेष्ठ
LM Studio स्थानीय AI के लिए सर्वोत्तम GUI अनुभवों में से एक को भेजता है, और इसका बहु-बैकएंड समर्थन क्रॉस-वेंडर परीक्षण के लिए इसे एक कदम आगे रखता है। Apple Silicon पर MLX बैकएंड llama.cpp Metal पर एक ही मॉडल की तुलना में लगभग 30 से 50 प्रतिशत तेजी से पढ़ता है, जो Mac Studio और MacBook Pro भीड़ के लिए एक बड़ा मार्जिन है।
जहां यह अल्पष्ठ आता है: टीम वाणिज्यिक लाइसेंस 2025 में मूल्य निर्धारण बदल गया। व्यक्तिगत उपयोग अभी भी मुफ़्त है।
कीमत: व्यक्तिगत उपयोग के लिए मुफ़्त।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड: lmstudio.ai
निचली पंक्ति: पिक यदि आप एक उचित GUI चाहते हैं और आप Nvidia और Apple Silicon के बीच अपने काम को विभाजित करते हैं।
3. llama.cpp - रनटाइम सर्वश्रेष्ठ अन्य सभी फोर्क करते हैं
llama.cpp संदर्भ कार्यान्वयन है जिसे अधिकांश अन्य रनटाइम लपेटते हैं। 2024 से एकल-बाइनरी रिलीज़ पोर्टेबिलिटी को तुच्छ बनाता है, और Vulkan बैकएंड ROCm स्थापना पीड़ा के बिना प्रथम श्रेणी AMD समर्थन जोड़ा। Metal, CUDA, Vulkan, और CPU बिल्ड सभी एक ही GGUF फ़ाइलें पढ़ते हैं।
जहां यह अल्पष्ठ आता है: CLI इंटरफेस है। कोई डिफ़ॉल्ट GUI नहीं है।
कीमत: मुफ़्त, MIT लाइसेंस।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड: github.com/ggerganov/llama.cpp
निचली पंक्ति: पिक यदि आप सबसे दुबले बाइनरी चाहते हैं। सभी अन्य का रनटाइम इस पर बैठता है।
4. Jan - सर्वश्रेष्ठ OpenAI-संगत ChatGPT प्रतिस्थापन
Jan डेस्कटॉप पर सबसे मजबूत खुले स्रोत ChatGPT प्रतिस्थापन में से एक है। पोर्ट 1337 पर इसका OpenAI-संगत सर्वर मतलब है कि हर OpenAI क्लाइंट लाइब्रेरी बिना काम के साथ बात करती है, और 2024 से MCP समर्थन Jan को उपकरण-कॉल एजेंटों से जुड़ने दिया।
जहां यह अल्पष्ठ आता है: मॉडल स्टोर Ollama की तुलना में छोटा है।
कीमत: मुफ़्त, Apache 2.0।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड: jan.ai
निचली पंक्ति: यदि आप एक ChatGPT प्रतिस्थापन चाहते हैं जो आपके मौजूदा OpenAI क्लाइंट कोड को पोर्टेबल रखता है तो खरीदें।
5. GPT4All - विनम्र हार्डवेयर के लिए सर्वश्रेष्ठ
GPT4All हार्डवेयर पर चलता है कि अन्य रनटाइम बूट करने से इनकार करते हैं। Snapdragon X ARM समर्थन 2024 से प्रथम श्रेणी नागरिक रहा है, और CPU-only अनुमान एक लक्ष्य के रूप में माना जाता है, फ़ॉलबैक नहीं। Nomic का Local Docs सुविधा डिवाइस पर अनुक्रमित दस्तावेजों को रखती है।
जहां यह अल्पष्ठ आता है: मॉडल कैटलॉग Ollama या LM Studio की तुलना में छोटा है।
कीमत: मुफ़्त, MIT लाइसेंस, सहज व्यावसायिक उपयोग।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड: gpt4all.io
निचली पंक्ति: पिक यदि लक्ष्य मशीन समर्पित GPU के बिना एक काम का लैपटॉप है।
6. AMD Lemonade - AMD-पहला Nvidia समर्थन के साथ सर्वश्रेष्ठ
AMD Lemonade Ryzen AI 300 श्रृंखला NPU के लिए AMD का स्थानीय AI स्टैक शुरू हुआ, और 2026 Nvidia समर्थन इसे पोर्टेबिलिटी बातचीत में रखता है। Lemonade की NPU-जागरूक शेड्यूलिंग इसे एक Ryzen AI 300 लैपटॉप पर सबसे तेजी वाला स्थानीय रनटाइम बनाता है, और Nvidia समर्थन मतलब है कि आप एक काम AMD लैपटॉप और घर Nvidia डेस्कटॉप के बीच एक ही कॉन्फ़िग ले जा सकते हैं।
जहां यह अल्पष्ठ आता है: दस्तावेज़ Ollama और LM Studio के पीछे है। macOS समर्थित नहीं है।
कीमत: मुफ़्त, MIT लाइसेंस।
प्लेटफॉर्म: Windows, Linux।
डाउनलोड: lemonade-sdk.github.io
निचली पंक्ति: Ryzen AI मशीन पर किसी के लिए सर्वश्रेष्ठ रनटाइम। अब Nvidia के लिए पोर्टेबल यदि आप दोनों के बीच समय बाँटते हैं।
7. KoboldCpp - एकल-फ़ाइल लंबी-प्रसंग रनटाइम के लिए सर्वश्रेष्ठ
KoboldCpp एक निष्पादन योग्य, कोई इंस्टॉलर नहीं, कोई सेवा नहीं, और कोई निर्भरता नहीं के रूप में आता है। यह GGUF पढ़ता है, समान बाइनरी में छवि gen और TTS को भेजता है, और इसका संदर्भ प्रबंधन लंबे-रूप लेखन के लिए सबसे मजबूत है।
जहां यह अल्पष्ठ आता है: UI कार्यात्मक है, सुंदर नहीं।
कीमत: मुफ़्त, AGPL।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड: github.com/LostRuins/koboldcpp
निचली पंक्ति: एक USB स्टिक पर रखने के लिए रनटाइम।
8. Text Generation WebUI - बिजली उपयोगकर्ताओं के लिए सर्वश्रेष्ठ
Oobabooga का Text Generation WebUI वह रनटाइम है जो हर नॉब को प्रकट करता है। हर लोडर, हर quant प्रकार, हर चरित्र कार्ड प्रारूप, सभी एक Gradio इंटरफेस में। “यह बस काम करता है” चाहने वाले के लिए नहीं, लेकिन सही विकल्प उन पाठकों के लिए जो अपने सेटअप को ट्यून करते हैं।
जहां यह अल्पष्ठ आता है: पहली-चलाने वाली सेटअप सूची में किसी अन्य रनटाइम की तुलना में अधिक समय लेता है।
कीमत: मुफ़्त, AGPL।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड: github.com/oobabooga/text-generation-webui
निचली पंक्ति: पिक यदि आपका वर्कफ़्लो कॉन्फ़िग फ़ाइलों को संपादित किए बिना लोडर और क्वांटिफिकेशन स्विच करने पर निर्भर करता है।
सही एक चुनें कैसे
यदि आपकी प्राथमिकता किसी भी हार्डवेयर पर सबसे तेजी वाला प्रथम-टोकन समय है, तो Ollama पर खरीदें। इसका एर्गोनॉमिक्स अभी भी सब कुछ से आगे है, और इसका इकोसिस्टम गुणक वास्तविक है।
यदि आप एक Apple Silicon Mac और Windows Nvidia डेस्कटॉप के बीच समय बाँटते हैं, तो LM Studio पिक है। यदि आपके लक्ष्य हार्डवेयर में AMD Ryzen AI 300 शामिल है, तो Lemonade पिक है और इसका नया Nvidia समर्थन मतलब है कि जब आप किसी अलग मशीन में चले जाते हैं तो आपको रनटाइम स्विच करने की आवश्यकता नहीं है।
Jan ChatGPT प्रतिस्थापन है। GPT4All विनम्र हार्डवेयर के लिए पिक है। KoboldCpp एकल-फ़ाइल, USB-पोर्टेबल सेटअप के लिए पिक है। Text Generation WebUI यदि आप मॉडल प्रति लोडर स्वैप करना चाहते हैं तो पिक है। llama.cpp एक शेल स्क्रिप्ट और कुछ नहीं चाहते हैं तो पिक है।
स्वामित्व वाले रनटाइम को छोड़ें जो केवल एक विक्रेता के हार्डवेयर पर चलते हैं जब तक कि वह विक्रेता आपका पूरा स्टैक न हो।
FAQ
Apple Silicon पर सबसे तेजी वाला स्थानीय AI रनटाइम क्या है?
LM Studio MLX के साथ समान मॉडल पर llama.cpp Metal से लगभग 30 से 50 प्रतिशत तेजी से चलता है। Ollama अंतराल को बंद कर रहा है क्योंकि इसका MLX बैकएंड ऊतरा।
क्या मैं अपना Ollama मॉडल स्टोर दूसरी मशीन में स्थानांतरित कर सकता हूं?
हाँ। OLLAMA_MODELS को सिंक्रोनाइज़ किए गए फ़ोल्डर पर इंगित करें (iCloud, Syncthing, Dropbox) और समान मॉडल दोनों मशीनों पर दिखाई देते हैं। यदि आप OS सीमाओं को पार करते हैं तो Ollama बाइनरी संस्करण को लॉक करें।
क्या AMD Lemonade वास्तव में अभी Nvidia पर चलता है?
हाँ, 2026 रिलीज़ के रूप में। यह एक पूर्ण CUDA कार्यान्वयन नहीं है, लेकिन OpenAI-संगत समापन बिंदु क्रॉस-वेंडर काम करता है, और Nvidia अनुमान अधिकांश GGUF quants के लिए Ollama के Nvidia बैकएंड के अनुरूप है।
कौन सा स्थानीय AI रनटाइम सबसे कम VRAM का उपयोग करता है?
llama.cpp Q4_K_M क्वांटिफिकेशन के साथ। KoboldCpp इसके अनुरूप है क्योंकि यह एक ही इंजन को लपेटता है। LM Studio और Ollama एक ही गणित का उपयोग करते हैं लेकिन उच्चतर डिफ़ॉल्ट संदर्भ को भेजते हैं जो VRAM खाता है।
क्या कोई स्थानीय AI रनटाइम iOS या Android के लिए उपलब्ध है?
नहीं, आठ में से कोई भी मोबाइल पर नहीं चलता। Android पर, MLC LLM या Layla को देखें। iOS पर, Private LLM या Enclave को देखें।