16GB लैपटॉप पर Gemma 4 चलाना रविवार की दोपहर का काम है। इसके प्रदर्शन को समझना एक लंबी बातचीत है। अगर आप तीसरी बार Ollama, LM Studio और llama.cpp के बीच स्विच कर चुके हैं और अभी भी यह नहीं जान सकते कि “कौन सा क्वांटाइजेशन मेरे हार्डवेयर के लिए वास्तव में बेहतर है?”, तो ये सात स्थानीय LLM बेंचमार्किंग ऐप्स में से कोई एक आपको अनुमान खेल से बाहर निकाल देगा।
हमने ऐसे ऐप्स चुने हैं जो एकल-उपयोगकर्ता स्थानीय LLM सेटअप के लिए डेस्कटॉप पर पुनरुत्पादित संख्याएं प्रदान करते हैं। गति बेंचमार्क (आपके हार्डवेयर पर प्रति सेकंड टोकन) गुणवत्ता बेंचमार्क (सार्वजनिक स्यूट पर सटीकता) के साथ चलते हैं, इसलिए आप एक ऐसा टूल चुन सकते हैं जो आपके प्रश्न से मेल खाता हो।
स्थानीय LLM बेंचमार्किंग ऐप में क्या देखना चाहिए
- आप वास्तव में क्या माप रहे हैं। थ्रूपुट, लेटेंसी, VRAM फुटप्रिंट, ज्ञात डेटासेट पर गुणवत्ता, और आपके स्वयं के डेटासेट पर प्रति-कार्य गुणवत्ता पाँच भिन्न प्रश्न हैं।
- एक स्थानीय रनर। टूल को मॉडल तक पहुँचना होगा जहाँ वह रहता है। इसका मतलब है Ollama, llama.cpp, LM Studio की OpenAI-संगत सर्वर, या सीधे Python कॉलेबल।
- एक ज्ञात डेटासेट। MMLU, TruthfulQA, HellaSwag और IFEval अक्सर उद्धृत नाम हैं। अगर ये टूल में नहीं हैं, तो यह बेंचमार्क नहीं है।
- दोहराए जा सकने वाले आउटपुट। मॉडल और कॉन्फ़िगरेशन के हैश के साथ JSON या CSV रिपोर्ट, सिर्फ स्क्रीनशॉट नहीं।
- लागत दृश्यमानता। यहाँ तक कि “स्थानीय” रन की भी वास्तविक समय लागत होती है। ऐसे टूल जो पहले टोकन तक का समय और स्थिर-अवस्था थ्रूपुट दिखाते हैं, ट्रेड-ऑफ को स्पष्ट करते हैं।
त्वरित तुलना
| ऐप | सर्वश्रेष्ठ | प्लेटफॉर्म | निःशुल्क | विशेषता |
|---|---|---|---|---|
| lm-evaluation-harness | प्रकाशित गुणवत्ता स्कोर को पुनः प्रस्तुत करना | Windows, macOS, Linux | निःशुल्क, खुला स्रोत | MMLU, IFEval आदि का संदर्भ कार्यान्वयन |
| llama-bench | कच्चा थ्रूपुट और लेटेंसी परीक्षण | Windows, macOS, Linux | निःशुल्क | llama.cpp के साथ शिप, GGUF नेटिव |
| MLPerf Client | विक्रेता-तटस्थ हार्डवेयर बेंचमार्क | Windows | निःशुल्क | AMD, Intel, Nvidia सभी इसका उपयोग करते हैं |
| DeepEval | आपका डेटासेट, आपके मेट्रिक्स | Windows, macOS, Linux | निःशुल्क स्तर | pytest-शैली सिंटैक्स, LLM-as-judge |
| Promptfoo | मॉडल के बीच तुलनात्मक मूल्यांकन | Windows, macOS, Linux | निःशुल्क, खुला स्रोत | ब्राउज़र में साथ-साथ आउटपुट अंतर |
| HELM | व्यापक अकादमिक बेंचमार्क | Windows, macOS, Linux | निःशुल्क, खुला स्रोत | क्रॉस-मॉडल तुलना के लिए संदर्भ |
| OpenAI Evals | प्रॉम्प्ट-स्तर परीक्षण मामले | Windows, macOS, Linux | निःशुल्क, खुला स्रोत | आसान लेखन, विशाल समुदाय कैटलॉग |
ऐप्स
1. lm-evaluation-harness — ज्ञात-बेंचमार्क पुनरुत्पादन के लिए सर्वश्रेष्ठ
lm-evaluation-harness, EleutherAI से, संदर्भ कार्यान्वयन है जिसका उपयोग अधिकांश मॉडल रिलीज़ MMLU, IFEval, HellaSwag, ARC, TruthfulQA और दर्जनों अन्य को प्रकाशित करने के लिए करते हैं। इसे स्थानीय मॉडल पर इंगित करें और पेपर में उद्धृत समान संख्याओं को पुनः प्रस्तुत करें।
कहाँ विफल होता है: डेटासेट डाउनलोड बड़े होते हैं। लैपटॉप पर पहली बार सेटअप दर्जनों गीगाबाइट कैश माँगता है।
मूल्य निर्धारण:
- निःशुल्क: पूर्ण खुला स्रोत पुस्तकालय
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux (Python)
डाउनलोड: GitHub
निष्कर्ष: जब लक्ष्य “पेपर में स्कोर को अपने हार्डवेयर पर पुनः प्रस्तुत करना” हो।
2. llama-bench — थ्रूपुट और लेटेंसी परीक्षण के लिए सर्वश्रेष्ठ
llama-bench llama.cpp रिपॉजिटरी के अंदर शिप होता है और GGUF क्वांटाइजेशन, प्रॉम्प्ट लंबाई और बैकएंड कॉन्फ़िगरेशन के बीच कच्चे टोकन प्रति सेकंड को मापता है। यह “क्या Q5_K_M इस CPU पर Q4_K_S से वास्तव में तेज़ होगा?” का उत्तर देता है बिना चैट रैपर के बीच में आए।
कहाँ विफल होता है: केवल गति। आउटपुट गुणवत्ता के बारे में कुछ नहीं कहता।
मूल्य निर्धारण:
- निःशुल्क: llama.cpp के साथ बंडल
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: GitHub
निष्कर्ष: जब आपको अपनी मशीन पर मॉडल की तुलना करने के लिए थ्रूपुट संख्याओं की आवश्यकता हो।
3. MLPerf Client — विक्रेता-तटस्थ हार्डवेयर बेंचमार्क के लिए सर्वश्रेष्ठ
MLPerf Client MLCommons बेंचमार्क है जिसे AMD, Intel और Nvidia सभी अंत-उपयोगकर्ता हार्डवेयर पर LLM अनुमान प्रदर्शन के लिए उद्धृत करते हैं। विक्रेताओं के बीच संख्याएँ सीधे तुलनीय हैं क्योंकि सभी लोग एक ही सूट चलाते हैं।
कहाँ विफल होता है: पहले Windows। मॉडल की सूची निश्चित और क्यूरेटेड है, इसलिए यह सामान्य-उद्देश्य बेंचमार्किंग टूल नहीं है।
मूल्य निर्धारण:
- निःशुल्क: पूर्ण सूट
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows
डाउनलोड: mlcommons.org
निष्कर्ष: Ryzen AI लैपटॉप को Core Ultra से तुलना करने के लिए पद्धति पर बहस किए बिना।
4. DeepEval — आपके स्वयं के डेटासेट के लिए सर्वश्रेष्ठ
DeepEval एक Python फ्रेमवर्क है जो मूल्यांकन को pytest-शैली परीक्षण मामलों में परिवर्तित करता है। मेट्रिक्स LLM-as-judge स्कोरिंग, हैलुसिनेशन डिटेक्शन, संदर्भगत सटीकता और उत्तर प्रासंगिकता शामिल हैं, और हर परीक्षण स्थानीय मॉडल के विरुद्ध चल सकता है।
कहाँ विफल होता है: कुछ उन्नत मेट्रिक्स डिफ़ॉल्ट रूप से होस्ट किए गए मॉडलों को कॉल करते हैं। कॉन्फ़िगरेशन को पढ़ कर उन्हें स्थानीय न्यायाधीश पर इंगित करना एक शाम का काम है।
मूल्य निर्धारण:
- निःशुल्क: पूर्ण खुला स्रोत पुस्तकालय
- सशुल्क: प्रबंधित अवलोकनशीलता स्तर
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: GitHub
निष्कर्ष: जब बेंचमार्क जिसे आप चलाना चाहते हैं वह एक है जिसे आप स्वयं लिखते हैं।
5. Promptfoo — साथ-साथ तुलना के लिए सर्वश्रेष्ठ
Promptfoo कई मॉडलों के विरुद्ध समान प्रॉम्प्ट चलाता है और ब्राउज़र-आधारित diff दृश्य उत्पादित करता है। यह red-teaming टूल के रूप में भी काम करता है, लेकिन बेंचमार्किंग वर्कफ़्लो के लिए साथ-साथ आउटपुट दृश्य इसे स्थापित करने का कारण है।
कहाँ विफल होता है: तुलना दृश्य कच्चे मेट्रिक्स दृश्य से मजबूत है। संदर्भ स्कोर के लिए इसे lm-evaluation-harness या DeepEval के साथ जोड़ी।
मूल्य निर्धारण:
- निःशुल्क: पूर्ण खुला स्रोत CLI
- सशुल्क: प्रबंधित टीम स्तर
प्लेटफॉर्म: Windows, macOS, Linux (Node.js)
डाउनलोड: promptfoo.dev
निष्कर्ष: जब प्रश्न हो “क्या मॉडल A या मॉडल B मेरे दस प्रॉम्प्ट का बेहतर उत्तर देता है”।
6. HELM — सर्वश्रेष्ठ अकादमिक संदर्भ
HELM, Stanford की CRFM से, “Holistic Evaluation of Language Models” परियोजना है। यह व्यापक-परिदृश्य बेंचमार्क का उपयोग करके एक आधिकारिक क्रॉस-मॉडल लीडरबोर्ड प्रकाशित करता है, और समान कोड आपके स्वयं के मॉडल के विरुद्ध स्थानीय रूप से चलता है।
कहाँ विफल होता है: भारी। पूर्ण HELM रन वर्कस्टेशन पर घंटों लगते हैं। यह त्वरित सेनिटी चेक के लिए लैपटॉप टूल नहीं है।
मूल्य निर्धारण:
- निःशुल्क: पूर्ण खुला स्रोत परियोजना
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: GitHub
निष्कर्ष: जब संख्याएँ पेपर या तकनीकी रिपोर्ट में बचावपूर्ण हों।
7. OpenAI Evals — समुदाय-लेखित परीक्षण मामलों के लिए सर्वश्रेष्ठ
OpenAI Evals प्रॉम्प्ट-स्तर परीक्षण मामले लिखने के लिए एक फ्रेमवर्क है (समुदाय कैटलॉग में गणित, तर्क पहेलियाँ, कोड और तर्क शामिल हैं) और OpenAI-संगत एंडपॉइंट के पीछे किसी भी मॉडल के विरुद्ध उन्हें चलाता है।
कहाँ विफल होता है: कैटलॉग गुणवत्ता भिन्न होती है। कुछ evals दूसरों की तुलना में मजबूत हैं।
मूल्य निर्धारण:
- निःशुल्क: खुला स्रोत फ्रेमवर्क
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: GitHub
निष्कर्ष: जब मॉडल परीक्षण का सबसे तेज़ तरीका समुदाय eval लेना हो, इसे अपने स्थानीय एंडपॉइंट पर इंगित करना हो और परिणाम पढ़ना हो।
सही चुनने के लिए कैसे करें
अगर आप प्रकाशित गुणवत्ता स्कोर पुनः प्रस्तुत करना चाहते हैं: lm-evaluation-harness। डिस्क स्पेस और कॉफी अलग रखें।
अगर आप अपने हार्डवेयर पर थ्रूपुट की तुलना करना चाहते हैं: llama-bench। quant-vs-quant प्रश्न का उत्तर देने का सबसे तेज़ तरीका।
अगर आप लैपटॉप या GPU की तुलना कर रहे हैं: MLPerf Client। विक्रेता-तटस्थ, एक जैसे।
अगर आपका बेंचमार्क आपका स्वयं का डेटासेट है: DeepEval। LLMs के लिए pytest-शैली परीक्षण।
अगर लक्ष्य अपने प्रॉम्प्ट पर दो मॉडलों का साथ-साथ दृश्य हो: Promptfoo।
अगर संख्याओं को अकादमिक विश्वसनीयता चाहिए: HELM। लंबा रन स्वीकार करें।
अगर समुदाय-लेखित परीक्षण पर्याप्त हों: OpenAI Evals। एक निर्देशिका लें, अपने मॉडल पर इंगित करें, चलाएँ।
अक्सर पूछे जाने वाले प्रश्न
कुल मिलाकर सर्वश्रेष्ठ स्थानीय LLM बेंचमार्क कौन सा है? गुणवत्ता पुनरुत्पादन के लिए lm-evaluation-harness। आपके हार्डवेयर पर गति के लिए llama-bench।
क्या मैं Ollama या LM Studio में चल रहे मॉडल को बेंचमार्क कर सकता हूँ? हाँ। इस सूची का हर टूल OpenAI-संगत एंडपॉइंट को सपोर्ट करता है, और Ollama, LM Studio और Jan सभी इसे उजागर करते हैं।
MMLU क्या है और क्यों सभी इसे उद्धृत करते हैं? MMLU कई अकादमिक विषयों के बीच बहु-विकल्प बेंचमार्क है। इसे इसलिए उद्धृत किया जाता है क्योंकि बहुत से मॉडल अपना स्कोर प्रकाशित करते हैं और तुलनाएँ आसान होती हैं।
क्या बेंचमार्किंग ऐप red-teaming ऐप के समान है? नहीं। बेंचमार्किंग क्षमता और गति को मापता है। Red teaming सुरक्षा का परीक्षण करता है। Promptfoo दोनों कर सकता है; lm-evaluation-harness केवल पहला।
क्या मुझे ये बेंचमार्क चलाने के लिए GPU चाहिए? नहीं। lm-evaluation-harness और llama-bench CPU पर चलते हैं। गति बेंचमार्क वह जगह है जहाँ GPU सबसे बड़ा दृश्यमान अंतर बनाता है।
क्या ये सभी टूल निःशुल्क हैं? इस सूची का हर टूल एक निःशुल्क स्तर रखता है। केवल DeepEval और Promptfoo शीर्ष पर प्रबंधित अवलोकनशीलता बेचते हैं।
