Harbor.

Harbor

Harbor — это мощный инструмент командной строки и сопутствующее приложение, позволяющее развернуть полный локальный стек LLM одной командой. Запускайте бэкенды вроде Ollama, llama.cpp или vLLM, фронтенды типа Open WebUI, а также вспомогательные сервисы, включая SearXNG для веб-поиска, Speaches для голосового чата и ComfyUI для генерации изображений — всё предварительно настроено для бесшовной совместной работы.

Ключевые особенности

• Развёртывание одной командой: Запустите всю инфраструктуру LLM командой harbor up — без ручной настройки Docker
• Предварительная интеграция: Все сервисы автоматически подключаются друг к другу, исключая сложные процедуры настройки
• Поддержка множества бэкендов: Выбор из 15+ движков вывода, включая Ollama, vLLM, llama.cpp, TabbyAPI и SGLang
• Богатая экосистема: Доступ к 80+ сервисам, охватывающим UI, бэкенды, спутниковые сервисы и инструменты рабочих процессов
• Интеграция с агентами кодирования: Используйте harbor launch для подключения бэкендов Harbor к Claude, Codex и другим агентам

Сценарии использования

• Локальная разработка ИИ: Создавайте и тестируйте LLM-приложения без зависимости от облака и затрат на API
• Приватные ИИ-рабочие процессы: Храните все данные локально с полностью самостоятельно размещёнными RAG, чатом и генерацией изображений
• Кодирование с локальными моделями: Обеспечивайте работу агентов кодирования вроде Claude Code и Codex локальными бэкендами, совместимыми с OpenAI
• ИИ с голосовым интерфейсом: Развёртывайте возможности распознавания и синтеза речи для разговорных интерфейсов
• Исследования и эксперименты: Быстро переключайтесь между моделями и конфигурациями для бенчмаркинга

Целевая аудитория

Harbor предназначен для разработчиков, исследователей ИИ и пользователей, заботящихся о конфиденциальности, которые хотят запускать большие языковые модели локально, не разбираясь с файлами Docker Compose и ручной настройкой сервисов. Идеально подходит для тех, кто комфортно чувствует себя с инструментами командной строки и ищет оптимизированную локальную инфраструктуру ИИ.