Harbor.

Harbor

Harbor एक शक्तिशाली CLI और साथी ऐप है जो आपको एक ही कमांड से पूर्ण स्थानीय LLM स्टैक तैनात करने देता है। Ollama, llama.cpp, या vLLM जैसे बैकएंड, Open WebUI जैसे फ्रंटएंड, और सहायक सेवाएं जैसे वेब खोज के लिए SearXNG, वॉइस चैट के लिए Speaches, और इमेज जनरेशन के लिए ComfyUI—सभी पूर्व-कॉन्फ़िगर किए गए हैं ताकि वे एक साथ निर्बाध रूप से काम करें।

उत्पाद की मुख्य विशेषताएं

• एक-कमांड तैनाती: harbor up के साथ अपनी पूरी LLM इंफ्रास्ट्रक्चर लॉन्च करें—कोई मैन्युअल Docker कॉन्फ़िगरेशन नहीं
• पूर्व-वायर्ड एकीकरण: सभी सेवाएं स्वचालित रूप से एक-दूसरे से जुड़ती हैं, जटिल सेटअप प्रक्रियाओं को समाप्त करती हैं
• मल्टी-बैकएंड समर्थन: Ollama, vLLM, llama.cpp, TabbyAPI, और SGLang सहित 15+ इंफरेंस इंजन में से चुनें
• समृद्ध पारिस्थितिकी तंत्र: UI, बैकएंड, सैटेलाइट्स, और वर्कफ़्लो टूल्स को कवर करने वाली 80+ सेवाओं तक पहुंच
• कोडिंग एजेंट एकीकरण: Claude, Codex, और अन्य कोडिंग एजेंट्स में Harbor बैकएंड को वायर करने के लिए harbor launch का उपयोग करें

उपयोग के मामले

• स्थानीय AI विकास: क्लाउड निर्भरता या API लागत के बिना LLM अनुप्रयोग बनाएं और परीक्षण करें
• निजी AI वर्कफ़्लो: पूरी तरह से स्व-होस्ट किए गए RAG, चैट, और इमेज जनरेशन के साथ सभी डेटा ऑन-प्रिमाइसेस रखें
• स्थानीय मॉडल के साथ कोडिंग: Claude Code और Codex जैसे कोडिंग एजेंट्स को स्थानीय OpenAI-संगत बैकएंड के साथ पावर करें
• वॉइस-सक्षम AI: वार्तालाप इंटरफेस के लिए स्पीच-टू-टेक्स्ट और टेक्स्ट-टू-स्पीच क्षमताएं तैनात करें
• अनुसंधान और प्रयोग: बेंचमार्किंग के लिए मॉडल और कॉन्फ़िगरेशन के बीच तेजी से स्विच करें

लक्षित दर्शक

Harbor डेवलपर्स, AI शोधकर्ताओं, और गोपनीयता-चेतन उपयोगकर्ताओं के लिए डिज़ाइन किया गया है जो बड़े भाषा मॉडल को स्थानीय रूप से चलाना चाहते हैं बिना Docker Compose फाइलों और मैन्युअल सेवा कॉन्फ़िगरेशन से जूझे। कमांड-लाइन टूल्स के साथ सहज और सुव्यवस्थित स्थानीय AI इंफ्रास्ट्रक्चर की तलाश करने वालों के लिए आदर्श।