Архивная версия статьи — версия продукта v1.15.0, проверена 31 июля 2026 г.. Инструкции могли устареть.Актуальная статья →
Локальный AI

AnythingLLM

Приватный ChatGPT поверх своих документов: RAG, агенты и мультипользовательские рабочие пространства в одном контейнере, на своем сервере. Модель подключаете любую - от облачного API до локальной. Развернули, замерили и проверили чат и поиск по документам живьем.

Июль 2026 ~8 минут чтения Fatmetal Team
Локальный AI / RAG Лицензия: MIT Статус: запущен у нас, v1.15.0

Вердикт

Подходит
  • команде нужен приватный ассистент поверх своих документов (RAG), а данные должны остаться на своем сервере
  • хочется заменить платный ChatGPT Team на self-hosted с любой моделью
  • нужны мультиюзер-воркспейсы и встраиваемый чат-виджет на сайт
Не подходит
  • нужен просто чат без документов - проще взять LobeHub
  • нет ни внешнего LLM-ключа, ни мощностей под локальную модель
  • критична русская локализация интерфейса - ее нет
Мин. тариф: CPU2-RAM4-DISK50 Рекомендуем: CPU4-RAM8-DISK100 Сложность: medium Время запуска: ~15 c Главный риск: гео-блок внешнего LLM с РФ-IP Прод-готовность: с оговорками (пароль + TLS + LLM-бэкенд)
Что это

Что это и какую задачу решает

AnythingLLM - это готовое приложение, которое превращает набор документов в чат-ассистента с ответами по вашим данным. Загружаете PDF, DOCX, таблицы, ссылки - приложение режет их на фрагменты, строит эмбеддинги и хранит в векторной базе. Дальше на вопрос модель отвечает не из общих знаний, а из ваших файлов, с указанием источника. Это классический RAG, но без сборки конвейера руками: загрузка, нарезка, эмбеддинг, векторная база и чат уже собраны в одном контейнере.

Поверх этого - рабочие пространства с раздельными наборами документов, мультипользовательский режим с ролями, ИИ-агенты с веб-поиском и вызовом инструментов, а также виджет чата, который встраивается на сайт одним скриптом. Модель не входит в комплект: вы подключаете любого провайдера (OpenAI, Anthropic, Gemini, OpenRouter) или локальную модель через Ollama. Данные и история остаются на вашем сервере.

Node.js 18LanceDBNative embedderDockerCaddy
Менеджер документов AnythingLLM
Менеджер документов: файлы загружаются слева и переносятся в рабочее пространство справа - оттуда они попадают в RAG.
Сравнение

Чем отличается от облачных ассистентов

Сравнение с ChatGPT Team и подобными по тому, что влияет на выбор для команды.

ПараметрAnythingLLM (self-hosted)Облачный ассистент по подписке
Модель ценысвой сервер + оплата токенов провайдера по фактуфикс за место в месяц
Где данные и документына вашем серверев облаке вендора
Выбор моделилюбой провайдер или локальнаямодели вендора
RAG по своим документамвстроен, с указанием источникаесть не везде
Полностью офлайнда, с локальной модельюнет
Под капотом

Тех-стек и архитектура

Приложение - это монолит на Node.js 18: сервер, фронтенд и сборщик документов в одном образе. Векторная база по умолчанию встроенная - LanceDB, отдельный сервис поднимать не нужно. Эмбеддинги по умолчанию считаются локально встроенным движком, то есть для нарезки документов внешний API не требуется и текст не уходит наружу. Наружу уходят только запросы к LLM - и только та модель, которую вы подключили.

За счет встроенной векторной базы и локального эмбеддера рабочий минимум - один контейнер приложения. В нашем стенде рядом стоит только Caddy как обратный прокси с автоматическим TLS. При росте объемов векторную базу можно переключить на внешнюю (PGVector и другие), а эмбеддинг - на внешний провайдер.

Конфигурация

Минимальная конфигурация

Реальные требования против официального минимума.

Официальный минимум RAM2 GB
Реально в простое~0.28 GB (приложение 264 MB + Caddy 12 MB)
Образ на диске4.78 GB
Рекомендуем тарифCPU4-RAM8-DISK100
Минимум для тестаCPU2-RAM4-DISK50
i

Важно: в простое приложение занимает мало, но образ весит почти 5 GB, а локальный эмбеддинг документов грузит CPU. Для реальной работы с корпусом документов берите 4 GB RAM и диск с запасом - 2 GB и 50 GB диска хватает ровно на демонстрацию.

В маркетплейсе Fatmetal

Не хотите ставить руками?

Этот стек есть в маркетплейсе Fatmetal - можно не повторять установку из этого разбора вручную. Заказываете сервер, за пару минут получаете рабочий домен, валидный TLS и файл с доступами.

Рекомендуемая конфигурация: CPU4-RAM8-DISK100

В маркетплейс →
Развертывание

Развертывание на Fatmetal

Базовый путь - Cloud Server + Ubuntu 24.04 + Docker из маркетплейса.

  1. Создать VM

    Ubuntu 24.04 с приложением Docker из маркетплейса. Тариф CPU4-RAM8 - с запасом под документы.

  2. Поднять контейнер

    export STORAGE=/opt/anythingllm/storage
    mkdir -p "$STORAGE" && touch "$STORAGE/../.env"
    docker run -d --name anythingllm --restart unless-stopped \
      -p 3001:3001 --cap-add SYS_ADMIN \
      -v "$STORAGE":/app/server/storage \
      --env-file /opt/anythingllm/.env \
      mintplexlabs/anythingllm:latest
  3. Подключить модель

    В .env указываете провайдера LLM и ключ, эмбеддинг оставляете встроенным. Проверка живости: curl localhost:3001/api/ping.

  4. Закрыть TLS

    Ставите Caddy обратным прокси на порт 3001 - автоматический сертификат Let's Encrypt на ваш домен, наружу торчит только 443.

Чат AnythingLLM отвечает через подключенную модель
Рабочий интерфейс v1.15.0: чат отвечает через подключенную модель (openai/gpt-4o-mini, 1.9 c). Тариф CPU4-RAM8.
Замеры

Что измерили после запуска

Цифры со свежей установки, без нагрузки. Отклик самой модели зависит от провайдера, а не от сервера.

Образ на диске4.78 GB
Старт до healthy~15 c
RAM в простое (приложение)264 MB
RAM в простое (весь стек с ОС)~0.9 GB
Отклик /api/pingмгновенно
Ответ модели в чате1.9-2.2 c (зависит от провайдера)

RAG проверили предметно: загрузили документ с уникальным фактом, которого нет в обучении модели, и задали вопрос по нему. Ответ пришел строго из файла, с указанием источника в панели Sources.

Ответ RAG по загруженному документу с цитированием источника
RAG на практике: ответ извлечен из загруженного документа, справа - панель Sources со ссылкой на файл-источник.

Проверено на версии v1.15.0, июль 2026. На новых версиях результаты могут отличаться.

Подводные камни

Где может сломаться

Реальные грабли, на которые наткнулись при запуске с внешней моделью.

Главная засада не в самом приложении, а в подключении внешней модели с российского IP. Многие LLM-провайдеры закрывают доступ по гео - приложение ставится, интерфейс живой, а чат молчит.

HTTP 403 Access denied by security policy

Причина. Провайдер (в нашем случае OpenRouter) блокирует запросы с IP российских дата-центров. Ответ приходит за десятые доли секунды - это отбой на стороне провайдера, а не таймаут.

Решение. Либо подключить российский LLM-шлюз без гео-блока, либо гнать запросы к провайдеру через свой прокси на не-российском выходе, либо поставить локальную модель через Ollama - тогда интернет для инференса не нужен вовсе.

provider вернул 403 даже при заданных HTTP_PROXY / HTTPS_PROXY

Причина. Образ собран на Node.js 18. Его нативный fetch не читает переменные HTTP_PROXY сам, а флаг NODE_USE_ENV_PROXY работает только с Node 24 и новее. В итоге запрос к модели идет мимо прокси - напрямую в блок.

Решение. Поднять локальный релей рядом с приложением, который сам ходит к провайдеру через нужный выход, и переключить AnythingLLM на провайдера generic-openai с адресом релея. Тогда приложение обращается к локальному адресу, а гео-обход берет на себя релей.

!

Диск. Образ весит 4.78 GB - на медленном канале первый docker pull заметно долгий, а на диске 50 GB закладывайте место под образ, документы и векторную базу.

Безопасность

Безопасность и обновления

По умолчанию single-user экземпляр открыт без пароля - первым делом в настройках включите пароль или мультипользовательский режим с ролями. Порт 3001 наружу не публикуйте: доступ только через обратный прокси с TLS. Ключ шифрования и данные рабочих пространств лежат в томе storage - его и бэкапьте.

Обновление - смена тега образа:

docker pull mintplexlabs/anythingllm:latest
docker rm -f anythingllm && docker run -d ... mintplexlabs/anythingllm:latest

Бэкап - весь том storage (в нем векторная база LanceDB, документы и настройки):

tar czf anythingllm-backup.tgz -C /opt/anythingllm storage
i

Перед продом закройте: пароль или мультиюзер-режим, TLS на обратном прокси, порт 3001 только на localhost, регулярный бэкап тома storage, отдельный ключ провайдера LLM с лимитом трат.

Рядом

Связь с другими стеками

  • Обратный прокси - Caddy или Nginx Proxy Manager для TLS и единого домена.
  • Локальная модель - Ollama рядом, если инференс нужен без внешних провайдеров и офлайн.
  • Бэкапы - том storage в S3-совместимое хранилище по расписанию.
  • Мониторинг - Prometheus и Grafana по метрикам контейнера и хоста.
Честно

Когда это НЕ ваш выбор

Нужен просто чат с моделью

Если документы и RAG не нужны, а хочется красивого чат-фронта к разным моделям - легче и легковеснее взять LobeHub. AnythingLLM тянет за собой сборщик документов и векторную базу, которые вам не понадобятся.

Нет ни ключа, ни мощностей

Приложение не приносит модель с собой. Без внешнего LLM-ключа и без сервера под локальную модель это будет пустой интерфейс - чат отвечать не сможет.

Критична русская локализация

Интерфейс только на английском. Если это блокер для пользователей - учитывайте заранее.

FAQ

Частые вопросы

Можно поставить без Docker?

Для сервера рабочий путь - Docker: один образ, мультиюзер и виджет доступны именно в нем. Есть отдельное десктопное приложение под Windows и Mac, но это про личное использование, не про сервер.

Хватит ли 2 GB RAM?

На старт и демонстрацию - да, в простое приложение занимает около 264 MB. Для реальной работы с документами берите 4 GB: локальный эмбеддинг грузит память и CPU.

Можно в продакшен?

Да, но сначала закройте пароль или мультиюзер-режим, TLS на прокси, порт 3001 только на localhost и бэкап тома storage.

Модель обязательно облачная?

Нет. Можно подключить локальную модель через Ollama - тогда для инференса интернет не нужен и данные не уходят наружу вовсе.

Что делать с гео-блоком провайдера?

Российский LLM-шлюз без блока, свой прокси-релей к провайдеру или локальный Ollama. Внешний провайдер напрямую с РФ-IP часто отдает 403.

Как делать бэкап?

Архивируйте том storage целиком - в нем векторная база, документы, ключ шифрования и настройки.

Какие ограничения лицензии?

Лицензия MIT - можно свободно использовать, в том числе коммерчески, сохранив копирайт.

Итог

AnythingLLM - зрелый способ поднять приватного RAG-ассистента поверх своих документов за один контейнер: встроенная векторная база, локальный эмбеддинг, мультиюзер и виджет уже в комплекте, а модель подключаете любую. В простое занимает около 0.28 GB, стартует за ~15 c, чат и поиск по документам с указанием источника работают из коробки. Главное, что нужно решить заранее - откуда брать LLM: внешний провайдер с РФ-IP упрется в гео-блок, и тогда путь через российский шлюз, свой релей или локальную модель.

Анонсы новых разборов в Telegram-канале Новые гайды и карточки в маркетплейсе первыми @fatmetal_channel →

Этот стек у нас запущен на тарифе CPU4-RAM8. Нашли баг в гайде - напишите, поправим в течение дня.