Best apps for Home Assistant AI camera vision on desktop

स्थानीय कैमरों को Home Assistant के AI के साथ जोड़ने पर XDA का लेख एक कारण से चिंता का विषय है। अधिकांश स्मार्ट कैमरों की डिफ़ॉल्ट सेटिंग अभी भी “विक्रेता पहले फुटेज देखता है”। Home Assistant प्लस Frigate प्लस एक स्थानीय Ollama में LLM इसे उल्टा कर देता है: कच्चा RTSP एक स्थानीय सर्वर को जाता है, ऑब्जेक्ट डिटेक्शन एक Coral या GPU पर चलता है, और LLM केवल उन फ्रेम को छूता है जो ऑब्जेक्ट डिटेक्टर पहले से चिन्हित कर चुका है। कुछ भी घर से बाहर नहीं जाता।

घटक खुले स्रोत हैं और तेजी से आगे बढ़ रहे हैं। Home Assistant AI कैमरा विजन को वास्तव में काम करने के लिए सात डेस्कटॉप ऐप्स, इस तरह से क्रमबद्ध कि पहला वह जगह है जहाँ हर इंस्टॉलेशन शुरू होता है और अंतिम वह जगह है जहाँ यह महत्वहीन हो जाता है।

स्थानीय कैमरा AI स्टैक में क्या देखें

पाइपलाइन चार कार्यों में विभाजित होती है:

नीचे सब कुछ पूरी तरह से आपके द्वारा मालिक हार्डवेयर पर Windows, macOS, या Linux डेस्कटॉप या होमलैब नोड पर चलता है।

त्वरित तुलना

ऐप सर्वश्रेष्ठ लाइसेंस हार्डवेयर आवश्यकता विशेषता
Home Assistant केंद्र जिसमें हर अन्य उपकरण कनेक्ट होता है Apache 2.0 2 GB RAM इस सूची में सर्वश्रेष्ठ स्वचालन राउटर
Frigate फ्रेम दर पर स्थानीय ऑब्जेक्ट डिटेक्शन MIT 4 GB RAM, Coral या GPU सबसे तेज़ स्थानीय NVR जो MQTT बोलता है
LLM Vision कैमरा इवेंट्स का प्राकृतिक-भाषा विवरण MIT आपके LLM का हार्डवेयर उपयोग करता है बाउंडिंग बॉक्स को पठनीय वाक्यों में बदलता है
Scrypted कैमरा इनजेशन और Apple HomeKit ब्रिजिंग MIT 2 GB RAM गैर-HomeKit कैमरों को HomeKit में उजागर करने का सर्वश्रेष्ठ तरीका
Blue Iris Windows-मूल NVR परिपक्व UI के साथ Proprietary Windows PC Windows भारी भरकम; ठोस रिकॉर्डिंग
MQTT Explorer Frigate → Home Assistant संदेशों के लिए डिबगिंग उपकरण MIT 200 MB RAM Frigate द्वारा उत्सर्जित कोई भी ट्रैफिक पढ़ता है
Ollama स्थानीय LLM जो LLM Vision से बात करता है MIT 8 GB RAM + GPU उपयोगी जहाँ बहु-मोडल मॉडल वास्तव में चलता है

ऐप्स

1. Home Assistant — सर्वश्रेष्ठ हब

Home Assistant केंद्र है जिसमें इस स्टैक में हर कैमरा एकीकरण इशारा करता है। यह इकाई मॉडल, Frigate इवेंट्स पर ट्रिगर होने वाली स्वचालन, अंतिम स्नैपशॉट दिखाने वाले डैशबोर्ड, फोन को सूचनाएं और LLM Vision के लिए सेटिंग्स UI को संभालता है। भले ही आप पहले से ही रिकॉर्डिंग पक्ष के लिए Blue Iris या Scrypted चला रहे हों, Home Assistant वह जगह है जहाँ “ट्रैश में रैकून → लाइट चालू → सूचना भेजें” तर्क रहता है।

कहाँ यह अल्पसक्षम है: HAOS अपनी होस्ट के मालिकाना होने के बारे में राय रखता है। Docker में आप पर्यवेक्षक ऐड-ऑन खो देते हैं। मूलभूत से परे पूर्ण सीखने की अवस्था।

मूल्य:

प्लेटफ़ॉर्म: Linux (HAOS या Docker), Windows या macOS VM/Docker Desktop के माध्यम से।

डाउनलोड: Home Assistant

निष्कर्ष: पहले स्थापित करें। इस सूची में हर अन्य ऐप मानता है कि यह वहाँ है।

2. Frigate — सर्वश्रेष्ठ स्थानीय NVR और ऑब्जेक्ट डिटेक्शन

Frigate वह टुकड़ा है जो कच्चे RTSP को “दरवाजे पर व्यक्ति”, “ड्राइववे में कार” या “पैकेज डिलीवर” में बदल देता है। यह आपके कैमरों से स्ट्रीम खींचता है, Coral Edge TPU या GPU पर डिटेक्शन चलाता है, Home Assistant को उपभोग करने के लिए MQTT पर घटनाओं को प्रकाशित करता है और केवल उन घटनाओं के लिए क्लिप रिकॉर्ड करता है जिनकी आप परवाह करते हैं। 2026 रिलीज़ ने एक मूल LLM प्लग जोड़ा जो स्नैपशॉट को सीधे एक बहु-मोडल मॉडल को सौंप देता है।

कहाँ यह अल्पसक्षम है: कैमरा गिनती के साथ RAM उपयोग बढ़ता है। Coral TPU आधिकारिक रूप से अनुशंसित है और हमेशा स्टॉक में नहीं है। YAML कॉन्फ़िगरेशन पहली बार लंबा है।

मूल्य:

प्लेटफ़ॉर्म: Linux (Docker), x86_64 पर सबसे अच्छा Coral USB त्वरक या nVidia GPU के साथ।

डाउनलोड: Frigate NVR

निष्कर्ष: दूसरा स्थापित करें। यह वह कारण है कि “क्लाउड के बिना AI कैमरे” वास्तविकता है।

3. LLM Vision — पठनीय इवेंट विवरण के लिए सर्वश्रेष्ठ

LLM Vision वह Home Assistant एकीकरण है जो कैमरा स्नैपशॉट और क्लिप को एक बहु-मोडल LLM को सौंपता है और प्राकृतिक-भाषा विवरण देता है। यह Ollama, OpenAI, Anthropic, Google Gemini और किसी भी OpenAI-संगत एंडपॉइंट के साथ काम करता है। व्यावहारिक रूप से: Frigate सामने के दरवाजे पर “व्यक्ति” को चिन्हित करता है, LLM Vision Ollama से पूछता है “यह व्यक्ति क्या कर रहा है इसका वर्णन करें”, और सारांश फोन सूचना के रूप में आता है।

कहाँ यह अल्पसक्षम है: विवरण केवल उनके पीछे के मॉडल जितने अच्छे होते हैं। छोटे विजन मॉडल कभी-कभी भ्रम में पड़ जाते हैं। घर के GPU पर विलंबता ध्यान देने योग्य है।

मूल्य:

प्लेटफ़ॉर्म: Home Assistant के अंदर चलता है; अंतर्निहित LLM जहाँ भी आप इसे होस्ट करते हैं (Linux पर Ollama, LM Studio, क्लाउड में OpenAI)।

डाउनलोड: GitHub पर LLM Vision

निष्कर्ष: Frigate के बाद स्थापित करें। यह वह है जो बाउंडिंग बॉक्स को “कोई दरवाजे पर एक बैग छोड़ गया” में बदल देता है।

4. Scrypted — सर्वश्रेष्ठ कैमरा इंजेशन और HomeKit ब्रिजिंग

Scrypted वह स्विस आर्मी चाकू है जो उन कैमरों के लिए है जो आप जो प्रोटोकॉल चाहते हैं उसे नहीं बोलते। यह RTSP, ONVIF, Ring, Nest, Reolink, Amcrest खींचता है और उन्हें HomeKit Secure Video, RTSP या WebRTC के रूप में फिर से उजागर करता है। “सस्ता कैमरा जो RTSP बोलता है” और “iPhone उपयोगकर्ता जो HomeKit चाहता है” के मिश्रण वाले घर में, Scrypted अनुवादक है।

कहाँ यह अल्पसक्षम है: स्वयं ऑब्जेक्ट डिटेक्टर Frigate के समान गुणवत्ता के साथ नहीं। समानांतर में चल रहे दो उपकरण आम है।

मूल्य:

प्लेटफ़ॉर्म: Linux (Docker), Windows, macOS।

डाउनलोड: Scrypted

निष्कर्ष: स्थापित करें जब घर कई पारिस्थितिकी तंत्र से कैमरे मिलाता है।

5. Blue Iris — सर्वश्रेष्ठ Windows-मूल NVR

Blue Iris दिग्गज है। Windows PC पर चलता है, स्थानीय डिस्क पर रिकॉर्ड करता है, MQTT पर Home Assistant के साथ एकीकृत होता है और इसका डैशबोर्ड इस स्थान में सबसे पॉलिश किया हुआ है। AI के लिए Frigate के साथ जोड़ी दीजिए या ऑब्जेक्ट डिटेक्शन के लिए अपने स्वयं के DeepStack/CodeProject.AI एकीकरण के साथ।

कहाँ यह अल्पसक्षम है: केवल Windows। मालिकाना। UI आत्मा में 2010s Windows है।

मूल्य:

प्लेटफ़ॉर्म: Windows।

डाउनलोड: Blue Iris

निष्कर्ष: सर्वश्रेष्ठ पिक जब Windows मशीन पहले से ही हमेशा-चालू घर सर्वर है।

6. MQTT Explorer — पाइपलाइन के लिए सर्वश्रेष्ठ डिबगिंग उपकरण

MQTT Explorer वह उपकरण है जो आप खोलते हैं जब Frigate घटनाएं उत्सर्जित कर रहा है, Home Assistant प्रतिक्रिया नहीं दे रहा है और आपको उनके बीच ट्रैफिक देखना है। यह किसी भी विषय वृक्ष को सदस्यता लेता है, लाइव फीड में इतिहास दिखाता है और आपको स्वचालन का परीक्षण करने के लिए संदेश को फिर से प्रकाशित करने देता है। एक बार पाइपलाइन स्थिर हो जाने के बाद आप इसे नहीं छूते; जब आप इसे स्थापित कर रहे हैं तो यह आवश्यक है।

कहाँ यह अल्पसक्षम है: वास्तव में कोई “ऐप” नहीं जो आप दैनिक चलाते हैं। पूरी तरह से खुला स्रोत के बजाय स्रोत-उपलब्ध।

मूल्य:

प्लेटफ़ॉर्म: Windows, macOS, Linux।

डाउनलोड: MQTT Explorer

निष्कर्ष: एक बार स्थापित करें, चीजों को वायर करते समय एक सप्ताह का उपयोग करें, भूल जाएं कि आपके पास यह है।

7. Ollama — LLM Vision को सपोर्ट करने के लिए सर्वश्रेष्ठ स्थानीय LLM

Ollama वह रनटाइम है जहाँ स्थानीय बहु-मोडल मॉडल वास्तव में रहता है। LLaVA और इसके वंशज, Qwen2.5-VL, moondream और अन्य छोटे विजन मॉडल कुछ कमांडों में खींचे जाते हैं और GPU या Apple Silicon पर खुशी से चलते हैं। LLM Vision Ollama एंडपॉइंट की ओर इशारा करता है और हर इवेंट स्नैपशॉट इसके माध्यम से आगे-पीछे यात्रा करता है।

कहाँ यह अल्पसक्षम है: गति के लिए GPU या Apple Silicon दृढ़तापूर्वक अनुशंसित। केवल CPU संभव है लेकिन धीमा। मॉडल की पसंद विवरण गुणवत्ता को प्रभावित करती है।

मूल्य:

प्लेटफ़ॉर्म: Linux, macOS, Windows।

डाउनलोड: Ollama

निष्कर्ष: LLM Vision के पीछे इंजन के रूप में स्थापित करें जब आप सब कुछ स्थानीय चाहते हैं।

सही एक को कैसे चुनें

यदि आप शुरुआत से शुरू कर रहे हैं: Home Assistant पहले, Frigate दूसरा, LLM Vision तीसरा Ollama पर एक छोटे विजन मॉडल के साथ। वह संदर्भ स्टैक है।

यदि Apple HomeKit महत्वपूर्ण है: गैर-HomeKit कैमरों को उजागर करने के लिए Scrypted जोड़ें।

यदि घर सर्वर पहले से ही Windows बॉक्स है: Blue Iris NVR भूमिका लेता है और Home Assistant को घटनाओं को सौंपता है।

जब Frigate अपेक्षित स्वचालन को ट्रिगर नहीं करता है: MQTT Explorer यह देखने के लिए कि क्या वास्तव में प्रकाशित किया जा रहा है।

यदि क्लाउड LLM स्वीकार्य हैं: Ollama छोड़ दें और LLM Vision को OpenAI या Gemini पर इशारा करें उच्च विवरण गुणवत्ता के लिए घर छोड़ने की कीमत पर।

FAQ

क्या Home Assistant Frigate के बिना कैमरा AI कर सकता है?

हल्के एकीकरण हैं (कैमरा एकीकरण के माध्यम से गति पहचान, DeepStack, CodeProject.AI)। Frigate वह जगह है जहाँ वर्तमान सर्वश्रेष्ठ-वर्ग स्थानीय ऑब्जेक्ट डिटेक्शन रहता है। अधिकांश लोग इस पर समाप्त होते हैं।

क्या मुझे Coral Edge TPU की आवश्यकता है?

दृढ़तापूर्वक अनुशंसित। Frigate CPU पर चलता है लेकिन फ्रेम दर का एक अंश पर। एक एकल Coral USB स्टिक 3 से 5 कैमरों को आराम से संभालता है। GPU भी काम करता है, उच्च शक्ति लागत पर।

LLM Vision के लिए कौन सी LLM सर्वश्रेष्ठ है?

स्थानीय के लिए, Qwen2.5-VL और moondream मामूली हार्डवेयर पर वर्तमान सामने-चलने वाले हैं। क्लाउड के लिए, GPT-5 या Gemini-2.5-Pro गोपनीयता की कीमत पर ध्यान देने योग्य रूप से बेहतर विवरण का उत्पादन करते हैं।

क्या मैं यह बिना क्लाउड के पूरी तरह से चला सकता हूँ?

हाँ। Home Assistant + Frigate + LLM Vision + Ollama पूरी पाइपलाइन को स्थानीय रूप से कवर करता है। केवल फोन सूचनाएं घर से बाहर जाती हैं, और यहाँ तक कि वह एक स्व-होस्ट किए गए Ntfy या Gotify सर्वर के माध्यम से रूट किया जा सकता है।

क्या यह वायरलेस कैमरों के साथ काम करता है?

कोई भी कैमरा जो RTSP उत्सर्जित करता है या ONVIF समर्थन करता है काम करता है। Wi-Fi कैमरे ठीक हैं; स्थिर नेटवर्क तार वाले कैमरे की तुलना में अधिक महत्वपूर्ण है।