XDA-Developers ने हाल ही में स्पष्ट कर दिया: आपका फोन प्लस एक छोटा स्थानीय मॉडल पहले से ही ज्यादातर काम कर सकता है जो लोग Claude Pro या ChatGPT Plus के लिए भुगतान करते हैं। लेखक अपने घर पर एक LLM सर्वर चलाते हैं, फोन क्लाइंट को इसकी ओर इशारा करते हैं, और महीनों से कोई भी भुगतान करने वाला चैटबॉट सदस्यता नहीं देखा है। यह वर्कफ़्लो Android के लिए सर्वश्रेष्ठ स्थानीय AI चैट ऐप्स की इस सूची के पीछे पूरी कहानी है, और अच्छी खबर यह है कि आपको शुरुआत के लिए घर सर्वर की आवश्यकता नहीं है। कुछ ऐप्स आपके फोन पर सीधे मॉडल चलाते हैं। दूसरे आपके डेस्क पर Ollama या LM Studio बॉक्स के लिए क्लाइंट के रूप में काम करते हैं। कोई भी पथ आपके द्वारा पहले से भुगतान किए गए बिजली को छोड़कर कुछ भी खर्च नहीं करता है।
एक स्थानीय AI चैट ऐप में क्या देखना है
Google Play पर “AI” लेबल वाले सभी ऐप्स वास्तव में आपके डिवाइस पर मॉडल नहीं चलाते हैं। किसी को चुनने से पहले, इन मानदंडों की जांच करें:
- डिवाइस पर बनाम दूरस्थ सर्वर। ऑन-डिवाइस ऐप्स GGUF या MLC मॉडल को RAM में लोड करते हैं और फोन के CPU या GPU पर अनुमान चलाते हैं। दूरस्थ क्लाइंट Wi-Fi या Tailscale पर अपने घर पर Ollama या llama.cpp सर्वर को प्रॉम्प्ट भेजते हैं।
- RAM बजट। 4-बिट परिमाणीकरण में 3B पैरामीटर मॉडल को लगभग 2 से 3 GB मुक्त RAM की आवश्यकता है। 7B मॉडल 5 से 6 GB चाहते हैं। 8 GB या अधिक RAM वाले फोन इसे आसानी से संभाल सकते हैं।
- मॉडल प्रारूप। GGUF llama.cpp आधारित ऐप्स के लिए मानक है। MLC अपने स्वयं के संकलित प्रारूप का उपयोग करता है। Ollama क्लाइंट HTTP पर काम करते हैं इसलिए कोई भी मॉडल जो आपका सर्वर समर्थन करता है वह उचित है।
- ऑफ़लाइन क्षमता। सच्चे ऑफ़लाइन ऐप्स फोन के हवाई जहाज मोड में रहने पर काम करते रहते हैं। क्लाइंट को सर्वर के लिए नेटवर्क पाथ की आवश्यकता है।
- चरित्र या सिस्टम प्रॉम्प्ट। यदि आप रोल प्ले, कोडिंग या विशिष्ट व्यक्तित्व चाहते हैं, तो जांचें कि ऐप सिस्टम प्रॉम्प्ट और प्रति-चैट प्रीसेट प्रदान करता है।
त्वरित तुलना
| ऐप | सर्वश्रेष्ठ के लिए | प्रकार | ऑफ़लाइन चलता है | मॉडल स्रोत | लाइसेंस |
|---|---|---|---|---|---|
| PocketPal AI | सबसे विस्तृत मॉडल विकल्प के साथ ऑन-डिवाइस | स्थानीय | हाँ | Hugging Face GGUF | Open source |
| MLC Chat | सबसे तेज़ फोन GPU अनुमान | स्थानीय | हाँ | MLC prebuilt | Open source |
| Layla | सबसे पॉलिश किए गए ऑन-डिवाइस रोल-प्ले और व्यक्तित्व | स्थानीय | हाँ | GGUF, curated list | Freemium |
| ChatterUI | स्थानीय फाइलें और दूरस्थ API के लिए एक क्लाइंट | हाइब्रिड | हाँ | GGUF plus HTTP endpoints | Open source |
| Ollama App | घर पर Ollama सर्वर से बात करना | दूरस्थ | नहीं | आपकी Ollama लाइब्रेरी | Open source |
| Enchanted for Ollama | Android पर सबसे पॉलिश किए गए Ollama क्लाइंट | दूरस्थ | नहीं | आपकी Ollama लाइब्रेरी | Open source |
| Maid | llama.cpp बाइंडिंग के साथ सरल GGUF चैट | स्थानीय | हाँ | GGUF, remote llama.cpp | Open source |
| SmolChat | छोटा पदचिह्न, केवल F-Droid | स्थानीय | हाँ | GGUF, small models | Open source |
ऐप्स
1. PocketPal AI, सर्वश्रेष्ठ ऑन-डिवाइस चैट
PocketPal AI वह ऐप है जिसे अधिकांश लोगों को पहले प्रयास करना चाहिए। इसमें एक निर्मित मॉडल ब्राउज़र है जो Hugging Face से सीधे GGUF परिमाणों को खींचता है, इसलिए आप Llama 3.2 3B या Qwen 2.5 3B को लगभग एक मिनट में डाउनलोड कर सकते हैं और चैट शुरू कर सकते हैं। जनरेशन लूप हुड के तहत llama.cpp है, और ऐप कॉन्टेक्स्ट लंबाई, तापमान, top-p, और प्रति-मॉडल सिस्टम प्रॉम्प्ट को प्रदर्शित करता है। 8 GB RAM वाले फोन पर, Q4_K_M पर 3B मॉडल पठनीय गति से चलता है।
कहाँ विफल होता है: बड़े 7B और 8B मॉडल सभी चिप्स पर धीमे होते हैं फ्लैगशिप के अलावा, और अभी तक कोई निर्मित RAG या फाइल अपलोड नहीं है।
मूल्य: मुक्त, open source (MIT).
प्लेटफॉर्म: Android और iOS.
निष्कर्ष: डिफ़ॉल्ट विकल्प यदि आप ऑन-डिवाइस चैट चाहते हैं और अभी तक कोई होम LLM सर्वर नहीं है।
2. MLC Chat, GPU त्वरित अनुमान के लिए सर्वश्रेष्ठ
MLC Chat CMU में MLC LLM प्रोजेक्ट से आता है और यह कुछ Android ऐप्स में से एक है जो वास्तव में OpenCL या Vulkan के माध्यम से फोन के GPU का उपयोग करता है। इसका मतलब है कि प्रारंभिक मॉडल डाउनलोड से गुजरने के बाद केवल-CPU ऐप्स की तुलना में प्रति सेकंड बहुत अधिक टोकन। समस्या यह है कि मॉडलों को MLC रनटाइम के लिए पूर्व-संकलित किया जाना चाहिए, इसलिए विकल्प Hugging Face की तुलना में संकीर्ण है। Llama 3, Phi-3, और Gemma वेरिएंट सभी वहां हैं।
कहाँ विफल होता है: पहली बार मॉडल डाउनलोड बड़े होते हैं, और मॉडल के बीच स्वैपिंग GGUF ऐप्स की तुलना में धीमी होती है क्योंकि प्रत्येक एक स्व-निहित पैकेज है।
मूल्य: मुक्त, open source (Apache 2.0).
प्लेटफॉर्म: Android और iOS.
निष्कर्ष: यदि आपके पास हाल के फ्लैगशिप Android फोन हैं और मॉडल विविधता पर गति को प्राथमिकता देते हैं तो यह चुनें।
3. Layla, चरित्र और रोल-प्ले के लिए सर्वश्रेष्ठ
Layla llama.cpp को किसी भी ऑन-डिवाइस Android चैट ऐप के सबसे पॉलिश किए गए यूजर इंटरफेस में लपेटता है। यह चरित्र व्यक्तित्व, स्मृति, और लंबे-रूप चैट पर जोर देता है सूखे सवाल-जवाब के बजाय। छोटे मॉडल की एक क्यूरेटेड लाइब्रेरी फोन हार्डवेयर के लिए पूर्व-चयनित होती है, जो आपको कच्चे Hugging Face ब्राउज़िंग की पसंद पक्षाघात से बचाती है। स्थानीय पाठ-से-वाणी और छवि पीढ़ी अतिरिक्त उपलब्ध हैं यदि आप चाहते हैं।
कहाँ विफल होता है: मुक्त स्तर कुछ मॉडलों और सुविधाओं को भुगतान किए गए अनलॉक के पीछे गेट करता है, इसलिए “कोई सदस्यता नहीं” कहानी केवल मुक्त बिल्ड पर पूरी तरह से लागू होती है।
मूल्य: ऐप-इन-ऐप विकल्पों के साथ मुक्त। एक आजीवन अनलॉक उपलब्ध है।
प्लेटफॉर्म: Android, अलग डेस्कटॉप बिल्ड के साथ।
निष्कर्ष: यदि आप प्रस्तुति, चरित्र, और घर्षण-रहित मॉडल चयन की परवाह करते हैं तो सर्वश्रेष्ठ पसंद।
4. ChatterUI, सर्वश्रेष्ठ हाइब्रिड क्लाइंट
ChatterUI एक Kotlin-मूल ऐप है जो स्थानीय GGUF फाइलों और दूरस्थ API को समान नागरिकों के रूप में मानता है। अपने फोन पर एक मॉडल फाइल की ओर इशारा करें और यह llama.cpp स्थानीय रूप से चलाता है। OpenAI-संगत समापन बिंदु की ओर इशारा करें जैसे Ollama, LM Studio, KoboldCpp, या होस्ट की गई API और यह इसके बजाय उपयोग करता है। चरित्र कार्ड, लोरबुक, सैंपलर पूर्वनिर्धारित, और निर्देश टेम्पलेट उन लोगों के लिए सभी हैं जो SillyTavern से आए।
कहाँ विफल होता है: इंटरफेस PocketPal या Layla की तुलना में सघन है, और सेटिंग्स पहली लॉन्च पर नए आने वालों को अभिभूत कर सकती है।
मूल्य: मुक्त, open source (AGPL-3.0).
प्लेटफॉर्म: Android.
निष्कर्ष: यदि आप आज ऑन-डिवाइस चैट और कल दूरस्थ सर्वर चैट के लिए एक ऐप चाहते हैं तो सर्वश्रेष्ठ पसंद।
5. Ollama App, होम-होस्ट सर्वर के लिए सर्वश्रेष्ठ
Ollama App वह स्वच्छ, फ्रिल-मुक्त Android क्लाइंट है जो आपके PC या NAS पर Ollama सर्वर के साथ जोड़ी गई है। सर्वर URL दर्ज करें, आपके होस्ट द्वारा पहले से खींचे गए सूची से एक मॉडल चुनें, और चैट करना शुरू करें। प्रतिक्रिया समय सभ्य घरेलू नेटवर्क पर एक होस्ट किए गए चैटबॉट के करीब महसूस करता है, और Llama 3.1 70B जैसे बड़े मॉडलों को एक वर्कस्टेशन पर चलाना आपके फोन पर कहीं अधिक सक्षम आउटपुट डालता है जो ऑन-डिवाइस चला सकता है।
कहाँ विफल होता है: कोई ऑफ़लाइन फॉलबैक नहीं, इसलिए Wi-Fi आउटेज या एक रोकी गई सर्वर आपको कुछ नहीं के साथ छोड़ देती है। आपको Ollama को स्वयं चलाने में भी सहज होने की आवश्यकता है।
मूल्य: मुक्त, open source (Apache 2.0).
प्लेटफॉर्म: Android, iOS.
निष्कर्ष: यदि आप पहले से घर पर Ollama चला रहे हैं और एक फोन क्लाइंट चाहते हैं जो बस काम करता है तो सर्वश्रेष्ठ पसंद।
6. Enchanted for Ollama, सबसे सुंदर Ollama क्लाइंट
Enchanted for Ollama लोकप्रिय iOS Enchanted क्लाइंट का Android सामुदायिक फोर्क है। दृश्य डिज़ाइन आधुनिक चैट ऐप्स से लोग क्या उम्मीद करते हैं के करीब है, मार्कडाउन रेंडरिंग, वाक्य रचना हाइलाइटिंग के साथ कोड ब्लॉक, और प्रति-बातचीत सेटिंग्स के साथ। यह स्थानीय नेटवर्क या Tailscale पर आप जो भी Ollama सर्वर की ओर इशारा करते हैं से बात करता है।
कहाँ विफल होता है: सामुदायिक फोर्क के रूप में, अपडेट iOS मूल से पिछड़ते हैं। कुछ उन्नत सुविधाएं पहुंचने के लिए कई रिलीज़ लेती हैं।
मूल्य: मुक्त, open source (Apache 2.0).
प्लेटफॉर्म: Android (फोर्क), iOS (मूल).
निष्कर्ष: यदि Ollama App बहुत उपयोगितावादी लगता है और आप एक ही सर्वर के लिए एक अधिक मैत्रीपूर्ण इंटरफेस चाहते हैं तो यह चुनें।
7. Maid, सबसे सरल स्थानीय चैट
Maid Mobile Artificial Intelligence Distribution के लिए खड़ा है और एक Flutter ऐप है जो स्थानीय अनुमान के लिए llama.cpp को बंडल करता है और दूरस्थ llama.cpp या Ollama समापन बिंदु से भी जुड़ सकता है। यह सतह क्षेत्र छोटा रखता है: एक चैट पाने, एक मॉडल चयनकर्ता, एक सेटिंग्स स्क्रीन। यह उन लोगों के लिए एक अच्छी पसंद है जिन्होंने अन्य ऐप्स की कोशिश की और उन्हें अव्यवस्थित पाया।
कहाँ विफल होता है: सुविधा वेग PocketPal या ChatterUI की तुलना में धीमा है, और कोई निर्मित मॉडल ब्राउज़र नहीं है, इसलिए आप GGUF फाइलें अन्य स्थानों से डाउनलोड करें और पूर्व-लोड करें।
मूल्य: मुक्त, open source (MIT).
प्लेटफॉर्म: Android, Linux, Windows.
निष्कर्ष: यदि आप स्थापना से काम करने वाली स्थानीय चैट तक सबसे छोटा पथ चाहते हैं तो यह चुनें।
8. SmolChat, छोटे फोन और छोटे मॉडल के लिए सर्वश्रेष्ठ
SmolChat एक F-Droid ऐप है जो सबसे छोटे उपयोग योग्य स्थानीय मॉडल पर केंद्रित है, जैसे SmolLM2 और TinyLlama वेरिएंट। इसका मतलब है कि यह 4 से 6 GB RAM वाले फोन पर चलता है जहां PocketPal या Layla संघर्ष करते हैं। प्रारंभ तेज़ है, स्मृति दबाव कम है, और गुणवत्ता तेज़ सारांश, पुनर्लेखन और सरल प्रश्न-उत्तर के लिए उचित है।
कहाँ विफल होता है: मॉडल जानबूझकर छोटे हैं, इसलिए बहु-चरण तर्क और लंबी संदर्भ कमजोर हैं। यह ऐप चुनने का नहीं है यदि आप एक सामान्य सहायक चाहते हैं।
मूल्य: मुक्त, open source (Apache 2.0).
प्लेटफॉर्म: Android.
निष्कर्ष: यदि आपके फोन में 6 GB RAM या उससे कम है, या आप मॉडल गुणवत्ता पर स्थापना आकार और गति को महत्व देते हैं तो यह चुनें।
सही एक कैसे चुनें
पसंद वास्तव में इस बात पर निर्भर करता है कि आपके पास पहले से घर पर LLM सर्वर है या फोन पर मॉडल चलाना चाहते हैं।
यदि आप सबसे सरल ऑन-डिवाइस अनुभव चाहते हैं, PocketPal AI स्थापित करें। यह आपके लिए मॉडल डाउनलोड करता है, महत्वपूर्ण सेटिंग्स को प्रकट करता है, और बॉक्स से ऑफ़लाइन कार्य करता है।
यदि आपके पास हाल का फ्लैगशिप फोन है और गति की परवाह करते हैं, तो MLC Chat सबसे तेज़ विकल्प है क्योंकि यह वास्तव में GPU का उपयोग करता है।
यदि आप चरित्र, व्यक्तित्व या अधिक मैत्रीपूर्ण इंटरफेस चाहते हैं, तो Layla पसंद है।
यदि आप एक ऐप चाहते हैं जो ऑन-डिवाइस और दूरस्थ सर्वर चैट दोनों को कवर करता है, तो ChatterUI लचीला विकल्प है।
यदि आप पहले से PC या NAS पर Ollama चला रहे हैं, तो Ollama App और Enchanted for Ollama आपको लगभग दो मिनट में बात कर रहे हैं। Enchanted एक अच्छे दिखने के साथ एक ही विचार है।
यदि आप न्यूनतम, कोई frills स्थानीय चैट चाहते हैं, तो Maid सबसे छोटा सतह क्षेत्र है।
यदि आपके फोन में 6 GB RAM या उससे कम है, या यदि आप केवल सबसे तेज़ बूट समय चाहते हैं, तो SmolChat उस बाधा के लिए बनाया गया है।
अक्सर पूछे जाने वाले प्रश्न
क्या मैं Android पर स्थानीय रूप से ChatGPT चला सकता हूं?
नहीं। ChatGPT की अंतर्निहित मॉडलें डाउनलोड करने योग्य वज़न के रूप में जारी नहीं की गई हैं। आप स्थानीय रूप से जो चला सकते हैं वह Llama 3, Qwen 2.5, Phi-3, Gemma, और Mistral जैसे खुले विकल्प हैं, PocketPal AI, MLC Chat, या Layla जैसे ऐप्स का उपयोग करके। स्थानीय 3B या 7B मॉडल पर गुणवत्ता GPT-4 वर्ग की तुलना में काफी कम है, लेकिन नोट-लेने, सारांश, ड्राफ्टिंग, और कोडिंग सहायता के लिए अक्सर पर्याप्त है।
Android के लिए सर्वश्रेष्ठ स्थानीय LLM ऐप क्या है?
अधिकांश लोगों के लिए, PocketPal AI सर्वश्रेष्ठ प्रारंभिक बिंदु है। यह अंतर्निहित Hugging Face मॉडल ब्राउज़र के साथ आता है, किसी भी आधुनिक Android फोन पर चलता है, और कोई सदस्यता के बिना पूरी तरह से open source है। यदि आपके पास पहले से घर पर LLM सर्वर है, तो Ollama App डिफ़ॉल्ट रूप से बेहतर है क्योंकि यह किसी भी फोन से बड़े मॉडल का उपयोग करने देता है जो RAM में फिट हो सकते हैं।
मुझे अपने फोन पर एक स्थानीय मॉडल चलाने के लिए कितने RAM की आवश्यकता है?
एक मोटा गाइड: 4 GB RAM 1B पैरामीटर मॉडल को साफ़ सुथरा संभालते हैं, 6 GB 4-बिट परिमाणीकरण में 3B मॉडलों को संभालते हैं, और 8 GB या अधिक 7B और 8B मॉडलों के लिए आरामदायक है। 4 GB से नीचे, SmolChat को SmolLM2 या TinyLlama के साथ रहें। 12 GB से ऊपर, आप फ्लैगशिप चिप पर 13B मॉडलों के साथ प्रयोग करना शुरू कर सकते हैं, हालांकि थ्रूपुट कम हो जाएगा।
क्या PocketPal मुक्त है?
हाँ। PocketPal AI MIT लाइसेंस के तहत मुक्त, open source है, और कोई विज्ञापन या सदस्यता स्तर नहीं है। यह Hugging Face से डाउनलोड करता है मॉडल भी मुक्त हैं। एकमात्र लागत भंडारण और बैटरी है।
मैं अपने Android को Ollama से कैसे जोड़ूं?
अपने PC, Mac, या NAS पर Ollama स्थापित करें और OLLAMA_HOST पर्यावरण चर को 0.0.0.0 पर सेट करके इसे स्थानीय नेटवर्क पर प्रकट करें। अपने फोन पर Ollama App या Enchanted for Ollama स्थापित करें, अपने सर्वर का स्थानीय IP और पोर्ट दर्ज करें (डिफ़ॉल्ट 11434), और एक मॉडल चुनें जो पहले से ही होस्ट पर निकाला गया है। अपने घर के नेटवर्क के बाहर एक्सेस के लिए, फोन और सर्वर के बीच Tailscale या WireGuard सुरंग रखें सीधे इंटरनेट पर Ollama को उजागर करने के बजाय।
