AnythingLLM
Приватный ChatGPT поверх своих документов: RAG, агенты и мультипользовательские рабочие пространства в одном контейнере, на своем сервере. Модель подключаете любую - от облачного API до локальной. Развернули, замерили и проверили чат и поиск по документам живьем.
Вердикт
- команде нужен приватный ассистент поверх своих документов (RAG), а данные должны остаться на своем сервере
- хочется заменить платный ChatGPT Team на self-hosted с любой моделью
- нужны мультиюзер-воркспейсы и встраиваемый чат-виджет на сайт
- нужен просто чат без документов - проще взять LobeHub
- нет ни внешнего LLM-ключа, ни мощностей под локальную модель
- критична русская локализация интерфейса - ее нет
Что это и какую задачу решает
AnythingLLM - это готовое приложение, которое превращает набор документов в чат-ассистента с ответами по вашим данным. Загружаете PDF, DOCX, таблицы, ссылки - приложение режет их на фрагменты, строит эмбеддинги и хранит в векторной базе. Дальше на вопрос модель отвечает не из общих знаний, а из ваших файлов, с указанием источника. Это классический RAG, но без сборки конвейера руками: загрузка, нарезка, эмбеддинг, векторная база и чат уже собраны в одном контейнере.
Поверх этого - рабочие пространства с раздельными наборами документов, мультипользовательский режим с ролями, ИИ-агенты с веб-поиском и вызовом инструментов, а также виджет чата, который встраивается на сайт одним скриптом. Модель не входит в комплект: вы подключаете любого провайдера (OpenAI, Anthropic, Gemini, OpenRouter) или локальную модель через Ollama. Данные и история остаются на вашем сервере.
Чем отличается от облачных ассистентов
Сравнение с ChatGPT Team и подобными по тому, что влияет на выбор для команды.
| Параметр | AnythingLLM (self-hosted) | Облачный ассистент по подписке |
|---|---|---|
| Модель цены | свой сервер + оплата токенов провайдера по факту | фикс за место в месяц |
| Где данные и документы | на вашем сервере | в облаке вендора |
| Выбор модели | любой провайдер или локальная | модели вендора |
| RAG по своим документам | встроен, с указанием источника | есть не везде |
| Полностью офлайн | да, с локальной моделью | нет |
Тех-стек и архитектура
Приложение - это монолит на Node.js 18: сервер, фронтенд и сборщик документов в одном образе. Векторная база по умолчанию встроенная - LanceDB, отдельный сервис поднимать не нужно. Эмбеддинги по умолчанию считаются локально встроенным движком, то есть для нарезки документов внешний API не требуется и текст не уходит наружу. Наружу уходят только запросы к LLM - и только та модель, которую вы подключили.
За счет встроенной векторной базы и локального эмбеддера рабочий минимум - один контейнер приложения. В нашем стенде рядом стоит только Caddy как обратный прокси с автоматическим TLS. При росте объемов векторную базу можно переключить на внешнюю (PGVector и другие), а эмбеддинг - на внешний провайдер.
Минимальная конфигурация
Реальные требования против официального минимума.
| Официальный минимум RAM | 2 GB |
| Реально в простое | ~0.28 GB (приложение 264 MB + Caddy 12 MB) |
| Образ на диске | 4.78 GB |
| Рекомендуем тариф | CPU4-RAM8-DISK100 |
| Минимум для теста | CPU2-RAM4-DISK50 |
Важно: в простое приложение занимает мало, но образ весит почти 5 GB, а локальный эмбеддинг документов грузит CPU. Для реальной работы с корпусом документов берите 4 GB RAM и диск с запасом - 2 GB и 50 GB диска хватает ровно на демонстрацию.
В маркетплейсе Fatmetal
Не хотите ставить руками?
Этот стек есть в маркетплейсе Fatmetal - можно не повторять установку из этого разбора вручную. Заказываете сервер, за пару минут получаете рабочий домен, валидный TLS и файл с доступами.
Рекомендуемая конфигурация: CPU4-RAM8-DISK100
Развертывание на Fatmetal
Базовый путь - Cloud Server + Ubuntu 24.04 + Docker из маркетплейса.
Создать VM
Ubuntu 24.04 с приложением Docker из маркетплейса. Тариф CPU4-RAM8 - с запасом под документы.
Поднять контейнер
export STORAGE=/opt/anythingllm/storage mkdir -p "$STORAGE" && touch "$STORAGE/../.env" docker run -d --name anythingllm --restart unless-stopped \ -p 3001:3001 --cap-add SYS_ADMIN \ -v "$STORAGE":/app/server/storage \ --env-file /opt/anythingllm/.env \ mintplexlabs/anythingllm:latestПодключить модель
В
.envуказываете провайдера LLM и ключ, эмбеддинг оставляете встроенным. Проверка живости:curl localhost:3001/api/ping.Закрыть TLS
Ставите Caddy обратным прокси на порт 3001 - автоматический сертификат Let's Encrypt на ваш домен, наружу торчит только 443.
Что измерили после запуска
Цифры со свежей установки, без нагрузки. Отклик самой модели зависит от провайдера, а не от сервера.
| Образ на диске | 4.78 GB |
| Старт до healthy | ~15 c |
| RAM в простое (приложение) | 264 MB |
| RAM в простое (весь стек с ОС) | ~0.9 GB |
| Отклик /api/ping | мгновенно |
| Ответ модели в чате | 1.9-2.2 c (зависит от провайдера) |
RAG проверили предметно: загрузили документ с уникальным фактом, которого нет в обучении модели, и задали вопрос по нему. Ответ пришел строго из файла, с указанием источника в панели Sources.
Проверено на версии v1.15.0, июль 2026. На новых версиях результаты могут отличаться.
Где может сломаться
Реальные грабли, на которые наткнулись при запуске с внешней моделью.
Главная засада не в самом приложении, а в подключении внешней модели с российского IP. Многие LLM-провайдеры закрывают доступ по гео - приложение ставится, интерфейс живой, а чат молчит.
Причина. Провайдер (в нашем случае OpenRouter) блокирует запросы с IP российских дата-центров. Ответ приходит за десятые доли секунды - это отбой на стороне провайдера, а не таймаут.
Решение. Либо подключить российский LLM-шлюз без гео-блока, либо гнать запросы к провайдеру через свой прокси на не-российском выходе, либо поставить локальную модель через Ollama - тогда интернет для инференса не нужен вовсе.
Причина. Образ собран на Node.js 18. Его нативный fetch не читает переменные HTTP_PROXY сам, а флаг NODE_USE_ENV_PROXY работает только с Node 24 и новее. В итоге запрос к модели идет мимо прокси - напрямую в блок.
Решение. Поднять локальный релей рядом с приложением, который сам ходит к провайдеру через нужный выход, и переключить AnythingLLM на провайдера generic-openai с адресом релея. Тогда приложение обращается к локальному адресу, а гео-обход берет на себя релей.
Диск. Образ весит 4.78 GB - на медленном канале первый docker pull заметно долгий, а на диске 50 GB закладывайте место под образ, документы и векторную базу.
Безопасность и обновления
По умолчанию single-user экземпляр открыт без пароля - первым делом в настройках включите пароль или мультипользовательский режим с ролями. Порт 3001 наружу не публикуйте: доступ только через обратный прокси с TLS. Ключ шифрования и данные рабочих пространств лежат в томе storage - его и бэкапьте.
Обновление - смена тега образа:
docker pull mintplexlabs/anythingllm:latest
docker rm -f anythingllm && docker run -d ... mintplexlabs/anythingllm:latest
Бэкап - весь том storage (в нем векторная база LanceDB, документы и настройки):
tar czf anythingllm-backup.tgz -C /opt/anythingllm storage
Перед продом закройте: пароль или мультиюзер-режим, TLS на обратном прокси, порт 3001 только на localhost, регулярный бэкап тома storage, отдельный ключ провайдера LLM с лимитом трат.
Связь с другими стеками
- Обратный прокси - Caddy или Nginx Proxy Manager для TLS и единого домена.
- Локальная модель - Ollama рядом, если инференс нужен без внешних провайдеров и офлайн.
- Бэкапы - том storage в S3-совместимое хранилище по расписанию.
- Мониторинг - Prometheus и Grafana по метрикам контейнера и хоста.
Когда это НЕ ваш выбор
Нужен просто чат с моделью
Если документы и RAG не нужны, а хочется красивого чат-фронта к разным моделям - легче и легковеснее взять LobeHub. AnythingLLM тянет за собой сборщик документов и векторную базу, которые вам не понадобятся.
Нет ни ключа, ни мощностей
Приложение не приносит модель с собой. Без внешнего LLM-ключа и без сервера под локальную модель это будет пустой интерфейс - чат отвечать не сможет.
Критична русская локализация
Интерфейс только на английском. Если это блокер для пользователей - учитывайте заранее.
Частые вопросы
Можно поставить без Docker?
Для сервера рабочий путь - Docker: один образ, мультиюзер и виджет доступны именно в нем. Есть отдельное десктопное приложение под Windows и Mac, но это про личное использование, не про сервер.
Хватит ли 2 GB RAM?
На старт и демонстрацию - да, в простое приложение занимает около 264 MB. Для реальной работы с документами берите 4 GB: локальный эмбеддинг грузит память и CPU.
Можно в продакшен?
Да, но сначала закройте пароль или мультиюзер-режим, TLS на прокси, порт 3001 только на localhost и бэкап тома storage.
Модель обязательно облачная?
Нет. Можно подключить локальную модель через Ollama - тогда для инференса интернет не нужен и данные не уходят наружу вовсе.
Что делать с гео-блоком провайдера?
Российский LLM-шлюз без блока, свой прокси-релей к провайдеру или локальный Ollama. Внешний провайдер напрямую с РФ-IP часто отдает 403.
Как делать бэкап?
Архивируйте том storage целиком - в нем векторная база, документы, ключ шифрования и настройки.
Какие ограничения лицензии?
Лицензия MIT - можно свободно использовать, в том числе коммерчески, сохранив копирайт.
Итог
AnythingLLM - зрелый способ поднять приватного RAG-ассистента поверх своих документов за один контейнер: встроенная векторная база, локальный эмбеддинг, мультиюзер и виджет уже в комплекте, а модель подключаете любую. В простое занимает около 0.28 GB, стартует за ~15 c, чат и поиск по документам с указанием источника работают из коробки. Главное, что нужно решить заранее - откуда брать LLM: внешний провайдер с РФ-IP упрется в гео-блок, и тогда путь через российский шлюз, свой релей или локальную модель.
Этот стек у нас запущен на тарифе CPU4-RAM8. Нашли баг в гайде - напишите, поправим в течение дня.