AI и языковые модели

Experiential

Open-source шлюз и роутер к языковым моделям: один OpenAI-совместимый API поверх ваших провайдеров, свои ключи (BYOK), лимиты расходов и доступа по агентам. Развернули на обычном RU-VPS, провизионили гейт без интерактива и прогнали живой запрос через OpenRouter - с замерами и граблями.

Сентябрь 2026 ~8 минут чтения Fatmetal Team
AI и языковые модели Лицензия: Apache-2.0 Статус: запущен у нас, v0.7.22

Вердикт

Подходит
  • дать приложениям и AI-агентам единую точку входа к разным LLM (BYOK)
  • считать и лимитировать расходы, разграничивать доступ к моделям по агентам
  • тем, кому нужен OpenAI-совместимый эндпоинт на своем сервере, а не чужой посредник
Не подходит
  • кому нужна веб-панель из коробки - у self-host ее нет, это API-гейт
  • кто хочет запускать модели локально без внешних провайдеров - это шлюз, не инференс
  • кто не готов держать egress-канал вне РФ для зарубежных провайдеров
Мин. тариф: CPU2-RAM4-DISK40 Рекомендуем: CPU2-RAM4-DISK40 Сложность: medium RAM в простое: ~130 МБ Главный риск: из РФ провайдеры 403 - нужен egress вне РФ Прод-готовность: с оговорками (свой ключ провайдера + egress)
Что это

Что это и какую задачу решает

Когда в компании несколько приложений и AI-агентов ходят к языковым моделям, ключи провайдеров расползаются по сервисам, расходы никто не считает, а сменить модель или провайдера - значит править код в десятке мест. Experiential закрывает это одним слоем: поднимает у вас OpenAI-совместимый (и Anthropic Messages) шлюз, за которым прячутся ваши провайдеры и ключи. Приложения ходят в один эндпоинт, а маршрутизацию, лимиты и учет вы держите в одном месте.

Подключаете свои ключи (BYOK) к OpenAI, Anthropic, Gemini, Bedrock, Fireworks или OpenRouter, заводите алиасы моделей и идентити, выдаете виртуальные ключи приложениям и разрешаете каждому только нужные модели под конкретные задачи с потолком по расходам. Из production-трафика гейт умеет собирать кастомный роутер, выбирающий модель по цене, скорости и качеству. Это шлюз и роутер, а не сервер инференса: сами модели остаются у провайдеров или у вашего локального бэкенда.

Python 3.12exp-gateway-nativeOpenAI-совм. APICaddy TLSsystemd
Сравнение

Чем отличается от платных аналогов

Сравнение по тому, что влияет на выбор, без снисходительности к конкурентам.

ПараметрExperiential (self-host)Облачный роутер-посредник
Модель ценысвой сервер + ключи провайдеров напрямуюнаценка посредника на каждый запрос
Где ключи и трафикна вашем сервереу стороннего сервиса
Лимиты и доступ по агентамидентити + гранты + бюджетыограниченно
Vendor lock-inнет (Apache-2.0, свои провайдеры)привязка к посреднику
Веб-панельнет (API + CLI)есть
Под капотом

Тех-стек и архитектура

Ставится пакетом с PyPI (pip install experiential) в изолированный venv - Python 3.12, без Docker. Внутри - управляющий слой на Python и компилированный data-plane exp-gateway-native, который держит все маршруты. Гейт слушает только loopback 127.0.0.1:8000 и отдает OpenAI-совместимый /v1 (плюс Anthropic Messages).

Состояние (провайдеры, алиасы, идентити, ключи, гранты) живет в приватном .exp-руте на диске - у нас это /var/lib/experiential. Наружу гейт выставляется обратным прокси: Caddy держит TLS на домене и проксирует на loopback. Автозапуск - через systemd-юнит experiential, ключ провайдера и egress-переменные подтягиваются из EnvironmentFile.

Конфигурация

Минимальная конфигурация

Реальные требования против официального минимума.

RAM гейта в простое~130 МБ (процесс exp)
Вся ВМ под нагрузкой запроса~490 МБ
Отклик /v1 (с ходкой к LLM)~0.8 c
Рекомендуем тарифCPU2-RAM4-DISK40
i

Важно: сам гейт легкий - RAM2 хватает с запасом. Тариф берем с оглядкой на будущий трафик и провайдеров, диск - под venv и логи. Тяжелая нагрузка тут не на гейте, а у провайдеров моделей.

В маркетплейсе Fatmetal

Не хотите ставить руками?

Этот стек есть в маркетплейсе Fatmetal - можно не повторять установку из этого разбора вручную. Заказываете сервер, за пару минут получаете рабочий сервис на своем домене, валидный TLS и файл с доступами.

Рекомендуемая конфигурация:
2 vCPU · 4 ГБ RAM · 50 ГБ NVMe от 585 ₽/мес

Развернуть в 1 клик →
Развертывание

Развертывание на Fatmetal

Базовый путь - карта из маркетплейса: сервер сам ставит гейт, выпускает TLS и выдает ключ. Ниже - что происходит под капотом, если делать руками.

  1. Поставить пакет в venv

    python3 -m venv /opt/experiential-venv
    /opt/experiential-venv/bin/pip install experiential
  2. Провизионить гейт без интерактива

    Инициализация, провайдер (BYOK - ключ из переменной окружения), алиас модели, идентити, грант и виртуальный ключ:

    exp config gateway init --non-interactive --json
    exp config gateway provider add or1 --provider openrouter --credential-env OPENROUTER_API_KEY --non-interactive --json
    exp config gateway alias create default-model --deployment or1:gpt-4o --exact-model gpt-4o --non-interactive --json
    exp config gateway identity create default --non-interactive --json
    exp config gateway grant add default default-model --non-interactive --json
    exp config gateway key issue default --key-id k1 --json
  3. Запустить гейт и проверить

    exp run --non-interactive --port 8000

    Гейт слушает 127.0.0.1:8000, наружу его выставляет Caddy с авто-TLS. Проверка - обычный OpenAI-совместимый запрос с выданным ключом на /v1/chat/completions.

experiential-lab-01 : provision
Провижен Experiential: init, provider add, alias, key issue и Gateway ready
Headless-провижен гейта и запуск (v0.7.22). Виртуальный ключ замаскирован.
Замеры

Что измерили после запуска

Цифры со свежей установки, без нагрузки. Только реальные замеры.

Установка (venv + pip install)~1-2 мин
RAM гейта в простое~130 МБ
Вся ВМ под запросом~490 МБ
Отклик /v1 (с ходкой к LLM через прокси)~0.8 c
TLS на magic-DNS домене (Caddy LE)валидный на первом буте
i

Главное: сам гейт почти ничего не ест - ~130 МБ RAM, отклик определяется провайдером модели, а не шлюзом. Для инфраструктурного слоя это дешево: RAM2 держит его с большим запасом.

curl → https://<домен>/v1/chat/completions
Живой запрос через гейт: ответ модели Pong через OpenRouter
Живой запрос через гейт (OpenRouter поверх egress-канала): модель ответила через один OpenAI-совместимый эндпоинт.

Проверено на версии v0.7.22, сентябрь 2026. На новых версиях результаты могут отличаться.

Подводные камни

Где может сломаться

Реальные грабли, на которые наткнулись при запуске.

!

Зарубежные провайдеры из РФ отдают 403. OpenRouter, OpenAI и другие не отвечают на запросы с российского IP. Гейту нужен исходящий канал вне РФ - в карте маркетплейса он прошит в окружение сервиса (переменные HTTPS_PROXY/HTTP_PROXY, при этом NO_PROXY=127.0.0.1,localhost держит loopback локальным).

!

Гейт слушает только loopback. Флага сменить host у exp run нет - наружу его выставляют обратным прокси (Caddy) с TLS. Открывать 127.0.0.1:8000 напрямую в интернет не нужно и нельзя.

!

Веб-панель - только у хостед-платформы. Self-host - это API + CLI (exp config gateway ...). Управление провайдерами, алиасами и лимитами идет командами, а не через дашборд.

Invalid value: stable IDs must be lowercase components separated by '.', '_', or '-'

Причина. При создании алиаса модель задают через --deployment CONNECTION:MODEL и --exact-model. Эти значения обязаны быть стабильными ID без слэша, а каноничные id OpenRouter вида openai/gpt-4o-mini содержат слэш и роняют команду.

Решение. Указывать модель без vendor-префикса: exp config gateway alias create default-model --deployment or1:gpt-4o --exact-model gpt-4o. OpenRouter резолвит модель сам. Побочный IntegrityError: FOREIGN KEY constraint failed на шаге grant - следствие несозданного алиаса, чинится тем же исправлением.

Безопасность

Безопасность и обновления

Ключи провайдеров и весь трафик остаются на вашем сервере. Гейт наружу отдает только TLS-эндпоинт (Caddy + Let's Encrypt), а доступ к /v1 закрыт виртуальным ключом гейта - приложения ходят с Authorization: Bearer exp_vk_..., безымянные запросы отклоняются. Анонимную продуктовую телеметрию (PostHog) можно выключить: exp config telemetry disable.

Обновление пакета:

/opt/experiential-venv/bin/pip install -U experiential
systemctl restart experiential

Бэкап - это каталог состояния гейта (провайдеры, алиасы, идентити, ключи):

tar czf experiential-state.tgz /var/lib/experiential
Рядом

Связь с другими стеками

  • Switchyard - другой self-hosted LLM-роутер в нашем каталоге; выбирает модель по сложности запроса, тогда как Experiential силен в учете расходов и доступе по агентам.
  • Egress вне РФ - обязательный канал к зарубежным провайдерам (обход географических ограничений).
  • Обратный прокси - Caddy держит TLS и проксирует loopback-эндпоинт наружу.
  • Локальный инференс - vLLM / Ollama как BYOK-провайдер, если модели должны крутиться у вас.
Честно

Когда это НЕ ваш выбор

Нужна готовая веб-панель

У self-host ее нет - это API-гейт с управлением через CLI. Если команде нужен дашборд из коробки, это хостед-платформа, а не self-host.

Один сервис и один провайдер

Если у вас одно приложение с одним ключом OpenAI, лишний слой шлюза не окупается - ходите к провайдеру напрямую. Experiential раскрывается, когда провайдеров и потребителей много.

Нужен инференс, а не маршрутизация

Это шлюз к чужим моделям, а не сервер, который сам считает нейросети. За вычисления по-прежнему отвечают провайдеры или ваш локальный бэкенд.

FAQ

Частые вопросы

Это Docker-стек?

Нет. Ставится пакетом с PyPI в venv (Python 3.12), запускается под systemd. Docker не нужен.

Хватит ли 2 GB RAM?

Да, с запасом: гейт в простое ест ~130 МБ. Тяжелая работа - у провайдеров моделей, не у шлюза.

Почему из РФ модели не отвечают?

Зарубежные провайдеры блокируют российские IP (403). Нужен исходящий канал вне РФ - в карте маркетплейса он прошит автоматически.

Как приложению обращаться к гейту?

Как к OpenAI: base_url=https://<домен>/v1 и Authorization: Bearer exp_vk_... (ключ гейта из файла с доступами) в любом OpenAI-SDK.

Как сменить провайдера или модель?

Командами exp config gateway provider add ... и alias create .... Модель задавайте без vendor-префикса (gpt-4o, не openai/gpt-4o).

Есть ли веб-панель?

У self-host - нет, управление через CLI и API. Дашборд есть только у хостед-платформы.

Какая лицензия?

Apache-2.0, включая коммерческое использование. Ключи и трафик остаются на вашем сервере.

Итог

Experiential - легкий (~130 МБ RAM) OpenAI-совместимый шлюз к LLM на своем сервере: свои ключи, единая точка входа для приложений и агентов, учет расходов и доступ по идентити. Рецепт воспроизводимый - venv, headless-провижен, systemd и Caddy с авто-TLS; живой запрос через OpenRouter мы прогнали end-to-end. Берите, когда провайдеров и потребителей много и нужен контроль в одном месте; для одного приложения с одним ключом слой лишний. Из РФ обязателен egress-канал вне страны - в карте он уже прошит.

Рекомендуемая конфигурация для установки:
2 vCPU · 4 ГБ RAM · 50 ГБ NVMe

Не хотите устанавливать вручную?

Запустите Experiential на этой конфигурации автоматически - от 585 ₽/мес.

Запустить Experiential →
Анонсы новых разборов в Telegram-канале Новые гайды и карточки в маркетплейсе первыми @fatmetal_channel →

Этот стек мы прогнали на тарифе CPU2-RAM4-DISK40. Нашли баг в гайде - напишите, поправим в течение дня.