Experiential
Open-source шлюз и роутер к языковым моделям: один OpenAI-совместимый API поверх ваших провайдеров, свои ключи (BYOK), лимиты расходов и доступа по агентам. Развернули на обычном RU-VPS, провизионили гейт без интерактива и прогнали живой запрос через OpenRouter - с замерами и граблями.
Вердикт
- дать приложениям и AI-агентам единую точку входа к разным LLM (BYOK)
- считать и лимитировать расходы, разграничивать доступ к моделям по агентам
- тем, кому нужен OpenAI-совместимый эндпоинт на своем сервере, а не чужой посредник
- кому нужна веб-панель из коробки - у self-host ее нет, это API-гейт
- кто хочет запускать модели локально без внешних провайдеров - это шлюз, не инференс
- кто не готов держать egress-канал вне РФ для зарубежных провайдеров
Что это и какую задачу решает
Когда в компании несколько приложений и AI-агентов ходят к языковым моделям, ключи провайдеров расползаются по сервисам, расходы никто не считает, а сменить модель или провайдера - значит править код в десятке мест. Experiential закрывает это одним слоем: поднимает у вас OpenAI-совместимый (и Anthropic Messages) шлюз, за которым прячутся ваши провайдеры и ключи. Приложения ходят в один эндпоинт, а маршрутизацию, лимиты и учет вы держите в одном месте.
Подключаете свои ключи (BYOK) к OpenAI, Anthropic, Gemini, Bedrock, Fireworks или OpenRouter, заводите алиасы моделей и идентити, выдаете виртуальные ключи приложениям и разрешаете каждому только нужные модели под конкретные задачи с потолком по расходам. Из production-трафика гейт умеет собирать кастомный роутер, выбирающий модель по цене, скорости и качеству. Это шлюз и роутер, а не сервер инференса: сами модели остаются у провайдеров или у вашего локального бэкенда.
Чем отличается от платных аналогов
Сравнение по тому, что влияет на выбор, без снисходительности к конкурентам.
| Параметр | Experiential (self-host) | Облачный роутер-посредник |
|---|---|---|
| Модель цены | свой сервер + ключи провайдеров напрямую | наценка посредника на каждый запрос |
| Где ключи и трафик | на вашем сервере | у стороннего сервиса |
| Лимиты и доступ по агентам | идентити + гранты + бюджеты | ограниченно |
| Vendor lock-in | нет (Apache-2.0, свои провайдеры) | привязка к посреднику |
| Веб-панель | нет (API + CLI) | есть |
Тех-стек и архитектура
Ставится пакетом с PyPI (pip install experiential) в изолированный venv - Python 3.12, без Docker. Внутри - управляющий слой на Python и компилированный data-plane exp-gateway-native, который держит все маршруты. Гейт слушает только loopback 127.0.0.1:8000 и отдает OpenAI-совместимый /v1 (плюс Anthropic Messages).
Состояние (провайдеры, алиасы, идентити, ключи, гранты) живет в приватном .exp-руте на диске - у нас это /var/lib/experiential. Наружу гейт выставляется обратным прокси: Caddy держит TLS на домене и проксирует на loopback. Автозапуск - через systemd-юнит experiential, ключ провайдера и egress-переменные подтягиваются из EnvironmentFile.
Минимальная конфигурация
Реальные требования против официального минимума.
| RAM гейта в простое | ~130 МБ (процесс exp) |
| Вся ВМ под нагрузкой запроса | ~490 МБ |
| Отклик /v1 (с ходкой к LLM) | ~0.8 c |
| Рекомендуем тариф | CPU2-RAM4-DISK40 |
Важно: сам гейт легкий - RAM2 хватает с запасом. Тариф берем с оглядкой на будущий трафик и провайдеров, диск - под venv и логи. Тяжелая нагрузка тут не на гейте, а у провайдеров моделей.
В маркетплейсе Fatmetal
Не хотите ставить руками?
Этот стек есть в маркетплейсе Fatmetal - можно не повторять установку из этого разбора вручную. Заказываете сервер, за пару минут получаете рабочий сервис на своем домене, валидный TLS и файл с доступами.
Рекомендуемая конфигурация:
2 vCPU · 4 ГБ RAM · 50 ГБ NVMe от 585 ₽/мес
Развертывание на Fatmetal
Базовый путь - карта из маркетплейса: сервер сам ставит гейт, выпускает TLS и выдает ключ. Ниже - что происходит под капотом, если делать руками.
Поставить пакет в venv
python3 -m venv /opt/experiential-venv /opt/experiential-venv/bin/pip install experientialПровизионить гейт без интерактива
Инициализация, провайдер (BYOK - ключ из переменной окружения), алиас модели, идентити, грант и виртуальный ключ:
exp config gateway init --non-interactive --json exp config gateway provider add or1 --provider openrouter --credential-env OPENROUTER_API_KEY --non-interactive --json exp config gateway alias create default-model --deployment or1:gpt-4o --exact-model gpt-4o --non-interactive --json exp config gateway identity create default --non-interactive --json exp config gateway grant add default default-model --non-interactive --json exp config gateway key issue default --key-id k1 --jsonЗапустить гейт и проверить
exp run --non-interactive --port 8000Гейт слушает
127.0.0.1:8000, наружу его выставляет Caddy с авто-TLS. Проверка - обычный OpenAI-совместимый запрос с выданным ключом на/v1/chat/completions.
Что измерили после запуска
Цифры со свежей установки, без нагрузки. Только реальные замеры.
| Установка (venv + pip install) | ~1-2 мин |
| RAM гейта в простое | ~130 МБ |
| Вся ВМ под запросом | ~490 МБ |
| Отклик /v1 (с ходкой к LLM через прокси) | ~0.8 c |
| TLS на magic-DNS домене (Caddy LE) | валидный на первом буте |
Главное: сам гейт почти ничего не ест - ~130 МБ RAM, отклик определяется провайдером модели, а не шлюзом. Для инфраструктурного слоя это дешево: RAM2 держит его с большим запасом.
Проверено на версии v0.7.22, сентябрь 2026. На новых версиях результаты могут отличаться.
Где может сломаться
Реальные грабли, на которые наткнулись при запуске.
Зарубежные провайдеры из РФ отдают 403. OpenRouter, OpenAI и другие не отвечают на запросы с российского IP. Гейту нужен исходящий канал вне РФ - в карте маркетплейса он прошит в окружение сервиса (переменные HTTPS_PROXY/HTTP_PROXY, при этом NO_PROXY=127.0.0.1,localhost держит loopback локальным).
Гейт слушает только loopback. Флага сменить host у exp run нет - наружу его выставляют обратным прокси (Caddy) с TLS. Открывать 127.0.0.1:8000 напрямую в интернет не нужно и нельзя.
Веб-панель - только у хостед-платформы. Self-host - это API + CLI (exp config gateway ...). Управление провайдерами, алиасами и лимитами идет командами, а не через дашборд.
Причина. При создании алиаса модель задают через --deployment CONNECTION:MODEL и --exact-model. Эти значения обязаны быть стабильными ID без слэша, а каноничные id OpenRouter вида openai/gpt-4o-mini содержат слэш и роняют команду.
Решение. Указывать модель без vendor-префикса: exp config gateway alias create default-model --deployment or1:gpt-4o --exact-model gpt-4o. OpenRouter резолвит модель сам. Побочный IntegrityError: FOREIGN KEY constraint failed на шаге grant - следствие несозданного алиаса, чинится тем же исправлением.
Безопасность и обновления
Ключи провайдеров и весь трафик остаются на вашем сервере. Гейт наружу отдает только TLS-эндпоинт (Caddy + Let's Encrypt), а доступ к /v1 закрыт виртуальным ключом гейта - приложения ходят с Authorization: Bearer exp_vk_..., безымянные запросы отклоняются. Анонимную продуктовую телеметрию (PostHog) можно выключить: exp config telemetry disable.
Обновление пакета:
/opt/experiential-venv/bin/pip install -U experiential
systemctl restart experiential
Бэкап - это каталог состояния гейта (провайдеры, алиасы, идентити, ключи):
tar czf experiential-state.tgz /var/lib/experiential
Связь с другими стеками
- Switchyard - другой self-hosted LLM-роутер в нашем каталоге; выбирает модель по сложности запроса, тогда как Experiential силен в учете расходов и доступе по агентам.
- Egress вне РФ - обязательный канал к зарубежным провайдерам (обход географических ограничений).
- Обратный прокси - Caddy держит TLS и проксирует loopback-эндпоинт наружу.
- Локальный инференс - vLLM / Ollama как BYOK-провайдер, если модели должны крутиться у вас.
Когда это НЕ ваш выбор
Нужна готовая веб-панель
У self-host ее нет - это API-гейт с управлением через CLI. Если команде нужен дашборд из коробки, это хостед-платформа, а не self-host.
Один сервис и один провайдер
Если у вас одно приложение с одним ключом OpenAI, лишний слой шлюза не окупается - ходите к провайдеру напрямую. Experiential раскрывается, когда провайдеров и потребителей много.
Нужен инференс, а не маршрутизация
Это шлюз к чужим моделям, а не сервер, который сам считает нейросети. За вычисления по-прежнему отвечают провайдеры или ваш локальный бэкенд.
Частые вопросы
Это Docker-стек?
Нет. Ставится пакетом с PyPI в venv (Python 3.12), запускается под systemd. Docker не нужен.
Хватит ли 2 GB RAM?
Да, с запасом: гейт в простое ест ~130 МБ. Тяжелая работа - у провайдеров моделей, не у шлюза.
Почему из РФ модели не отвечают?
Зарубежные провайдеры блокируют российские IP (403). Нужен исходящий канал вне РФ - в карте маркетплейса он прошит автоматически.
Как приложению обращаться к гейту?
Как к OpenAI: base_url=https://<домен>/v1 и Authorization: Bearer exp_vk_... (ключ гейта из файла с доступами) в любом OpenAI-SDK.
Как сменить провайдера или модель?
Командами exp config gateway provider add ... и alias create .... Модель задавайте без vendor-префикса (gpt-4o, не openai/gpt-4o).
Есть ли веб-панель?
У self-host - нет, управление через CLI и API. Дашборд есть только у хостед-платформы.
Какая лицензия?
Apache-2.0, включая коммерческое использование. Ключи и трафик остаются на вашем сервере.
Итог
Experiential - легкий (~130 МБ RAM) OpenAI-совместимый шлюз к LLM на своем сервере: свои ключи, единая точка входа для приложений и агентов, учет расходов и доступ по идентити. Рецепт воспроизводимый - venv, headless-провижен, systemd и Caddy с авто-TLS; живой запрос через OpenRouter мы прогнали end-to-end. Берите, когда провайдеров и потребителей много и нужен контроль в одном месте; для одного приложения с одним ключом слой лишний. Из РФ обязателен egress-канал вне страны - в карте он уже прошит.
Рекомендуемая конфигурация для установки:
2 vCPU · 4 ГБ RAM · 50 ГБ NVMe
Не хотите устанавливать вручную?
Запустите Experiential на этой конфигурации автоматически - от 585 ₽/мес.
Этот стек мы прогнали на тарифе CPU2-RAM4-DISK40. Нашли баг в гайде - напишите, поправим в течение дня.