Switchyard

Когда моделей было две, вопрос звучал как «какую LLM выбрать». Когда их десяток от разных провайдеров, вопрос меняется: «какую модель дернуть под конкретный запрос». Швырять весь трафик в топовую модель дорого, а сажать все на дешевую - бьет по качеству. Switchyard встает между вашим приложением и провайдерами и принимает это решение за вас на каждом запросе.

Технически это легкий Rust-прокси. Он говорит на трех протоколах сразу - OpenAI Chat Completions, Anthropic Messages и OpenAI Responses - и переводит между ними. Приложение шлет запрос в привычном формате, а Switchyard по заданному правилу маршрутизации выбирает целевую модель у OpenRouter, vLLM, NVIDIA NIM, Ollama или любого OpenAI-совместимого эндпоинта. По дороге он снимает метрики Prometheus: запросы, ошибки, задержки, токены, накладные расходы на роутинг.

Отдельная приятная деталь: Switchyard умеет запускать через себя кодинг-агенты командой switchyard launch claude, switchyard launch codex или switchyard launch openclaw. Агент продолжает говорить на своем родном API, а обслуживает его та модель, которую вы прописали в маршруте.

Ядро - один Rust-бинарь switchyard-server весом 23 МБ. Своей базы и внешних сервисов он не требует: конфигурация лежит в одном файле routes.toml, ключ провайдера берется из переменной окружения. Инференс Switchyard не держит - он только маршрутизирует, поэтому сам по себе почти невесом.

Маршрут описывается декларативно. В нашем стенде это алгоритм llm_classifier: перед основным запросом легкая модель-классификатор оценивает, справится ли слабый уровень, и возвращает вероятность p_solve. Если она выше порога - запрос идет на дешевую модель, если ниже - эскалирует на дорогую. Кроме классификатора есть stage-router (решает по сигналам в самом диалоге, без лишнего вызова модели), random для A/B-тестов и возможность написать свой алгоритм на Rust через библиотеку switchyard-libsy.

1. Создать VM

   Тариф CPU2-RAM4-DISK30, Ubuntu 24.04. Сервер должен иметь исходящий доступ к вашему провайдеру модели.

2. Поставить Rust и собрать сервер

   curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y
   source "$HOME/.cargo/env"
   cargo install --locked switchyard-server

   Сборка занимает несколько минут - это разовая операция.

3. Описать маршрут в routes.toml

   schema_version = 1
   
   [llm_clients.openrouter]
   format = "openai_chat"
   base_url = "https://openrouter.ai/api/v1"
   api_key_env = "OPENROUTER_API_KEY"
   
   [targets.weak]
   id = "openai/gpt-4o-mini"
   llm_client = "openrouter"
   
   [targets.strong]
   id = "openai/gpt-4o"
   llm_client = "openrouter"
   
   [routes.smart]
   id = "switchyard"
   type = "llm_classifier"
   mode = "capability"
   classifier_target = "weak"
   strong_target = "strong"
   weak_target = "weak"
   base_threshold = 0.8
   threshold_step = 0.1

   Ключ в файл не пишем - сервер читает его из переменной OPENROUTER_API_KEY.

4. Проверить и запустить

   export OPENROUTER_API_KEY="ваш-ключ"
   switchyard-server --config routes.toml --dry-run
   switchyard-server --config routes.toml --host 127.0.0.1 --port 4000

   Живость: curl 127.0.0.1:4000/health отдает {"status":"ok"}. В прод выносим за systemd и обратный прокси с TLS.

Так выглядит реальный ответ роутера на наш тестовый запрос - и запись в логе, какую модель он выбрал:

$ curl -s 127.0.0.1:4000/v1/chat/completions -d \
  '{"model":"switchyard","messages":[{"role":"user","content":"say hi"}]}'

"model":"openai/gpt-4o-mini"   "provider":"OpenAI"
"usage":{"prompt_tokens":14,"completion_tokens":4,"cost":4.5e-6}

# лог сервера:
INFO switchyard_server::request: LLM request handled
     requested_model="switchyard" selected_model="openai/gpt-4o-mini" status=200

Проверено на версии v0.2.0, август 2026. Проект pre-alpha, на новых версиях API и результаты могут отличаться.

Switchyard слушает 127.0.0.1 и своей авторизации не навязывает. Наружу его выставляем только за обратным прокси с TLS и с проверкой ключа на входе - иначе любой, кто достучится до порта, получит доступ к вашим моделям и вашему счету у провайдера. Ключ провайдера держим в переменной окружения или в защищенном EnvironmentFile systemd, а не в routes.toml.

Обновление - переустановка бинаря из crates.io:

cargo install --locked switchyard-server
systemctl restart switchyard

Так как проект pre-alpha, перед каждым апдейтом смотрите список изменений: формат routes.toml и алгоритмы могут поменяться до релиза v1.0.

• Обратный прокси - Caddy или Nginx для TLS и проверки ключа перед роутером.
• Локальные модели - vLLM, Ollama или NVIDIA NIM как целевой бэкенд вместо облака.
• Мониторинг - Prometheus снимает метрики роутинга с эндпоинта /metrics, Grafana рисует.
• Кодинг-агенты - Claude Code, Codex и OpenClaw запускаются прямо через Switchyard.