सुरक्षा बॉट्स को हमले शुरू करने के लिए धोखा दिया जा सकता है यह सुर्खी कहीं से नहीं आई। यह एक वर्ष के अनुसंधान से आया है जो दिखाता है कि एजेंटिक AI सिस्टम, गलत दस्तावेज़ के साथ, ऐसे निर्णयों की ओर निर्देशित किया जा सकता है जो ऑपरेटर ने कभी मंजूरी नहीं दी। यदि आपकी टीम कुछ भी भेजती है जो एक भाषा मॉडल को कार्य करने देता है, तो इन AI red teaming ऐप्स में से एक को टूलचेन में होना चाहिए।
हमने सात ऐप्स का परीक्षण किया जो डेस्कटॉप वर्कस्टेशन पर चलते हैं उन इंजीनियरों के लिए जो अपने स्वयं के मॉडल और एजेंटों को तनाव-परीक्षण करना चाहते हैं इससे पहले कि कोई बाहरी विरोधी ऐसा करे। सूची कमांड-लाइन फ्रेमवर्क, GUI-आधारित स्कैनर और CI के अंदर चलाने के लिए डिज़ाइन किए गए लाइब्रेरीज को मिलाता है।
AI red teaming ऐप में क्या देखना चाहिए
यह श्रेणी नई है और उपकरण परस्पर विनिमय योग्य नहीं हैं। ये देखें:
- एक ठोस हमले का कैटलॉग। प्रॉम्प्ट इंजेक्शन, डेटा एक्सफिल्ट्रेशन, प्रॉम्प्ट लीकिंग, जेलब्रेक और मल्टी-टर्न मैनिपुलेशन सभी मौजूद होने चाहिए।
- अपने मॉडल में प्लग करने का एक तरीका। OpenAI-संगत एंडपॉइंट के माध्यम से स्थानीय मॉडल, होस्ट किए गए API और कस्टम Python कॉलेबल्स सभी महत्वपूर्ण हैं।
- पुनरुत्पादनीय रिपोर्टें। एक लिखित खोज जो एक सुरक्षा टीम काम कर सकती है।
- स्वचालन। उपकरण को CI में या रात की cron पर चलना चाहिए, केवल लैपटॉप कंसोल पर नहीं।
- लाइव गार्डरेल या सिर्फ परीक्षण। कुछ उपकरण स्कैन करते हैं; अन्य अनुमान समय पर ब्लॉक करते हैं। जानिए आपको कौन सा चाहिए।
त्वरित तुलना
| ऐप | सर्वश्रेष्ठ | प्लेटफॉर्म | मुफ्त योजना | उल्लेखनीय |
|---|---|---|---|---|
| Promptfoo | निरंतर मूल्यांकन और red teaming | Windows, macOS, Linux | पूरी तरह मुफ्त, open-source | CI-अनुकूल कॉन्फ़िगरेशन, बढ़ता हमला पैक |
| Garak | व्यापक कमजोरी स्कैनिंग | Windows, macOS, Linux | मुफ्त, open-source | NVIDIA-समर्थित, सोंधे की कैटलॉग |
| PyRIT | Microsoft की स्वचालित फ्रेमवर्क | Windows, macOS, Linux | मुफ्त, open-source | मल्टी-टर्न हमले ऑर्केस्ट्रेशन |
| NeMo Guardrails | लाइव गार्डरेल नीति | Windows, Linux | मुफ्त, open-source | वास्तविक समय नियमों के लिए Colang नीति भाषा |
| Lakera Guard | होस्ट किए गए गार्डरेल और स्कैनिंग | क्लाउड, साथ ही SDK | मुफ्त स्तर | प्रबंधित प्रॉम्प्ट-इंजेक्शन पहचान |
| Adversarial Robustness Toolbox | व्यापक ML हमले और बचाव | Windows, macOS, Linux | मुफ्त, open-source | केवल LLM नहीं, दृष्टि और सारणीबद्ध भी |
| Rebuff | LLM के लिए ट्यून की गई इंजेक्शन पहचान | Windows, macOS, Linux | मुफ्त स्तर | वेक्टर-स्टोर कैनरी पहचान |
ऐप्स
1. Promptfoo — निरंतर मूल्यांकन के लिए सर्वश्रेष्ठ
Promptfoo AI red teaming को एक CI कार्य में बदल देता है। कॉन्फ़िगरेशन एक एकल YAML फ़ाइल है जो प्रॉम्प्ट, प्रदाताओं और हमलों का वर्णन करती है, और CLI Ollama के माध्यम से स्थानीय मॉडल के विरुद्ध एक ही सूट चलाता है या API को होस्ट किया। red-teaming पैक जेलब्रेक, डेटा-एक्सफिल्ट्रेशन सोंधे और प्रॉम्प्ट-इंजेक्शन परीक्षण के साथ आता है जिसे आप विस्तारित कर सकते हैं।
जहां यह कम पड़ता है: मुफ्त स्तर पर रिपोर्टिंग UI कार्यात्मक है; टीम डैशबोर्ड एक सशुल्क ऐड-ऑन हैं।
मूल्य निर्धारण:
- मुफ्त: पूर्ण CLI और open-source लाइब्रेरी
- सशुल्क: साझा चलने और संगठन डैशबोर्ड के लिए प्रबंधित टीम स्तर
प्लेटफॉर्म: Windows, macOS, Linux (Node.js runtime)
डाउनलोड: promptfoo.dev
निष्कर्ष: एक टीम के लिए पसंद जो unit tests के साथ हर रात red teaming चलाना चाहती है।
2. Garak — सर्वश्रेष्ठ व्यापक कमजोरी स्कैनर
Garak NVIDIA का LLM कमजोरी स्कैनर है। यह सोंधे की एक कैटलॉग (प्रॉम्प्ट इंजेक्शन, डेटा रिसाव, मैलवेयर जेनरेशन, दबाव के तहत हेलुसिनेशन) के साथ आता है और एक परिचित सुरक्षा वर्कफ़्लो के साथ मैप करने वाले प्रारूप में निष्कर्षों की रिपोर्ट करता है।
जहां यह कम पड़ता है: आउटपुट पाठ-भारी है; इसे किसी व्यवसाय मालिक को प्रस्तुत करने के लिए दूसरे पास की सारांश की आवश्यकता है।
मूल्य निर्धारण:
- मुफ्त: पूर्ण open-source स्कैनर
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux (Python)
डाउनलोड: GitHub
निष्कर्ष: सुरक्षा इंजीनियरों के लिए पसंद एक नए मॉडल के विरुद्ध पहली पास चलाने के लिए देखने के लिए क्या खड़ा है।
3. PyRIT — सर्वश्रेष्ठ स्वचालित हमले ऑर्केस्ट्रेशन
PyRIT Microsoft की Python Risk Identification Toolkit है। यह मल्टी-टर्न हमलों को स्वचालित करता है, एक वार्तालाप में प्रॉम्प्ट्स को जंजीरित करता है एक तरह से एक असली विरोधी करेगा, और किसी भी मॉडल के पीछे एक callable में प्लग इन करता है।
जहां यह कम पड़ता है: खड़ी प्रारंभिक कॉन्फ़िगरेशन। Python को धाराप्रवाह पढ़ने वाले सुरक्षा इंजीनियर वाली टीमों द्वारा सबसे अच्छा उपयोग किया जाता है।
मूल्य निर्धारण:
- मुफ्त: पूर्ण open-source लाइब्रेरी
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: GitHub
निष्कर्ष: एक आंतरिक red team के लिए पसंद स्क्रिप्टेड, एस्केलेटिंग हमलों को लिखना एक-बार सोंधे के बजाय।
4. NeMo Guardrails — सर्वश्रेष्ठ लाइव गार्डरेल
NeMo Guardrails NVIDIA का runtime नीति इंजन है। Colang, इसकी नीति भाषा, वर्णन करती है कि एक मॉडल क्या है और क्या नहीं कह सकता या कर सकता है, और फ्रेमवर्क प्रॉम्प्ट और प्रतिक्रिया के बीच उन नियमों को वास्तविक समय में लागू करता है।
जहां यह कम पड़ता है: स्कैनर नहीं, एक runtime है। यह Promptfoo या Garak के लिए पूरक है एक विकल्प के बजाय।
मूल्य निर्धारण:
- मुफ्त: पूर्ण open-source लाइब्रेरी
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, Linux (Python)
डाउनलोड: GitHub
निष्कर्ष: production में वास्तव में एक बुरी प्रतिक्रिया को ब्लॉक करने के लिए पसंद, एक बार red teaming वेक्टर को सतह पर लाया है।
5. Lakera Guard — सर्वश्रेष्ठ होस्ट किया गया गार्डरेल
Lakera Guard मुख्य भाषाओं के लिए SDK के साथ एक होस्ट किया गया सेवा के रूप में भेज दिया जाता है। प्रॉम्प्ट-इंजेक्शन पहचान फ्लैगशिप है, और टीम नई खोजी गई प्रॉम्प्ट-इंजेक्शन पैटर्न के एक शोध फीड को प्रकाशित करती है जो detector में बहती है।
जहां यह कम पड़ता है: केवल प्रबंधित। सख्त डेटा निवास आवश्यकताओं वाला कोई भी आत्म-होस्ट किए गए deployment के लिए एक स्तर तक जाने की आवश्यकता है।
मूल्य निर्धारण:
- मुफ्त: मासिक request cap के साथ मुफ्त स्तर
- सशुल्क: टीम और enterprise स्तर, शीर्ष पर self-hosted विकल्प
प्लेटफॉर्म: क्लाउड, सभी मुख्य runtimes के लिए SDK
डाउनलोड: lakera.ai
निष्कर्ष: टीमों के लिए पसंद जो प्रॉम्प्ट-इंजेक्शन पहचान खरीदना पसंद करते हैं इसे बनाने के लिए।
6. Adversarial Robustness Toolbox — LLM से परे सर्वश्रेष्ठ
Adversarial Robustness Toolbox, Linux Foundation द्वारा बनाए रखा और मूल रूप से IBM Research द्वारा जारी, व्यापक मशीन-लर्निंग सतह के लिए हमलों और बचाव के साथ आता है: दृष्टि मॉडल, सारणीबद्ध क्लासिफायर और भाषण सिस्टम। LLM समर्थन मौजूद है लेकिन pitch नहीं है।
जहां यह कम पड़ता है: अधिकांश LLM-केंद्रित टीमों की आवश्यकता से व्यापक। सीखने का curve इस सूची में सबसे खड़ी है।
मूल्य निर्धारण:
- मुफ्त: पूर्ण open-source लाइब्रेरी
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux (Python)
डाउनलोड: GitHub
निष्कर्ष: एक टीम के लिए पसंद कई ML modalities को सुरक्षित करना, केवल एक LLM नहीं।
7. Rebuff — सर्वश्रेष्ठ इंजेक्शन-केंद्रित पहचान
Rebuff heuristic checks, LLM-आधारित checks और एक वेक्टर-स्टोर “कैनरी” के साथ एक केंद्रित प्रॉम्प्ट-इंजेक्शन पहचान लाइब्रेरी है जो लॉग करती है कि कब एक प्रॉम्प्ट एक डेटा स्टोर में लीक हो जाता है जहां इसे नहीं जाना चाहिए।
जहां यह कम पड़ता है: संकीर्ण फोकस। प्रॉम्प्ट इंजेक्शन पर महान, अन्य हमले वर्गों पर मूक।
मूल्य निर्धारण:
- मुफ्त: Open-source लाइब्रेरी
- सशुल्क: डैशबोर्ड के साथ होस्ट किया गया प्रबंधित स्तर
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: GitHub
निष्कर्ष: एक प्रकल्प के लिए पसंद जिसकी मुख्य threat surface एक chatbot है context में user-supplied documents के साथ।
सही चुनने के लिए कैसे करें
यदि आप CI में निरंतर red teaming चाहते हैं: Promptfoo। YAML में जाता है, निष्कर्ष बाहर, आपके unit tests के रूप में एक ही worker पर चलता है।
यदि आप एक व्यापक कमजोरी स्कैन चाहते हैं: Garak। यह वह है जो एक सुरक्षा इंजीनियर वर्कफ़्लो को सबसे अच्छी तरह दर्शाता है।
यदि आप स्क्रिप्टेड मल्टी-टर्न हमलों चाहते हैं: PyRIT। Microsoft की toolkit escalation को मानती है और इसे पहली-श्रेणी की चिंता के रूप में मानती है।
यदि आप production में ब्लॉक करना चाहते हैं: NeMo Guardrails या Lakera Guard। डेटा-निवास आवश्यकताओं के आधार पर self-hosted या प्रबंधित चुनें।
यदि आपकी सतह में दृष्टि और सारणीबद्ध मॉडल शामिल हैं: Adversarial Robustness Toolbox। व्यापक coverage, उच्च setup लागत।
यदि prompt injection विशेष चिंता है: Rebuff। केंद्रित, लक्ष्यित, मौजूदा stack में fit करने के लिए आसान।
FAQ
AI red teaming क्या है? एक AI system के विरुद्ध adversarial testing का अभ्यास ऐसे behaviors को सतह पर लाने के लिए जो ऑपरेटर नहीं चाहते, इससे पहले कि एक बाहरी हमलावर ऐसा करे। यह नेटवर्क सुरक्षा red-team engagements से शब्द उधार लेता है।
क्या मुझे AI red teaming की जरूरत है यदि मेरा मॉडल एक होस्ट किया गया API है? हाँ। Prompt injection, tools के माध्यम से डेटा exfiltration, और hallucinations जो दायित्व उत्पन्न करते हैं सभी API boundary को पार करते हैं। होस्ट किए गए मॉडल को अभी भी application-level परीक्षण की आवश्यकता है।
क्या ये उपकरण मुफ्त हैं? इस सूची में अधिकांश मुफ्त और open-source हैं। Lakera Guard और Promptfoo और Rebuff के प्रबंधित स्तरों के पास भुगतान विकल्प हैं।
कौन सा ऐप शुरू करना सबसे आसान है? Promptfoo। एक YAML फ़ाइल, एक प्रदाता, और एक कमांड एक घंटे के भीतर पहला परिणाम देता है।
क्या ये उपकरण मेरे स्वयं के स्थानीय मॉडल का परीक्षण कर सकते हैं? हाँ। इस सूची पर हर open-source उपकरण OpenAI-compatible endpoints को समर्थन करता है, तो एक स्थानीय Ollama या LM Studio सर्वर एक वैध लक्ष्य है।
क्या ये ऐप्स एक रिपोर्ट उत्पन्न करते हैं जो मैं एक सुरक्षा टीम के साथ साझा कर सकता हूं? Promptfoo, Garak, PyRIT और Rebuff सभी triage के लिए इच्छित रिपोर्ट उत्पन्न करते हैं। प्रारूप बदलते हैं। प्रबंधित स्तर dashboards और साझा चलने जोड़ता है।
