Мы развернули ViPNet Prime 1.9.11.1 на Astra Linux и ограничили внешний доступ к хосту. Сеть создавали заново, без переноса из ViPNet Administrator. В процессе выяснилось, что важны не только версия ОС и состав дистрибутива: слишком строгое правило файрвола может отрезать от хоста собственные контейнеры Prime.

Обложка охватывает тему шире статьи. Миграцию политик, СКЗИ и лицензирование здесь не разбираем.

Обложка: совместимость, миграция, СКЗИ и особенности настройки

Совместимые версии Astra Linux

Ниже приведены конфигурации из «Руководства по установке ViPNet Prime 1.9.11.1». Это именно сочетания сборки ОС и ядра, для которых производитель гарантирует работу. Одного совпадения по ветке, например «Astra 1.7», недостаточно.

Линейка Сборки, с которыми работа гарантируется Ядро
Astra Linux SE 1.7 1.7.5.9 и 1.7.5.16 6.1.50-1-generic
Astra Linux SE 1.8.1 1.8.1.16 6.1.90-1-generic и 6.6.28-1-generic
Astra Linux SE 1.8.3 1.8.3.8 6.1.141-1-generic и 6.12.34-1-generic
Ubuntu 22.04.5 LTS, Desktop и Server сборка Server (minimized) в список не входит

Перед установкой проверьте:

  • Полный номер сборки. У нас /etc/astra/build_version показывает 1.7.5.9, а uname -r - 6.1.50-1-generic. Это поддерживаемое сочетание для ветки 1.7.
  • Тип ядра. Поддерживается generic; ядро hardened в перечень не входит.
  • Поддержку AVX. Нужен процессор с AVX, выпущенный не ранее 2014 года, либо Intel пятого поколения или новее.
  • Режим ЗПС. С включённой замкнутой программной средой Prime поддерживается только на Astra Linux SE 1.7.5.9 и 1.8.3.8. Состояние можно проверить по DIGSIG_ELF_MODE в /etc/digsig/digsig_initramfs.conf. На нашем хосте установлено значение 0, то есть ЗПС выключена.
  • Способ обновления ОС. При переходе Astra SE с 1.7 на 1.8 пользовательские данные в системных каталогах удаляются, поэтому Prime потребуется установить заново.
  • Среду виртуализации. Производитель гарантирует работу с VMware ESXi 8.0.3, VMware Workstation Pro 16.x и 17.x, Proxmox 8.4 и 9, ПК СВ «Брест» 3.3.3 и zVirt 3.1.2_certified. Для других гипервизоров такой гарантии нет.

Минимальные требования к серверу

Для базовой установки с модулями Core, VPN и транспортом ориентируйтесь на следующие значения:

Ресурс Минимум Рекомендация
CPU 8 ядер с частотой от 3 ГГц, поддержка AVX Закладывать запас под число узлов и нагрузку
Оперативная память 16 Гбайт 32 Гбайт и более
Диск SSD, 500 Гбайт свободного места 1 Тбайт для Core и VPN
Все модули на одном сервере - 2 Тбайта на SSD

Это требования к базовому контуру, а не универсальный расчёт для любой нагрузки. Если на одном сервере будут размещены дополнительные модули, крупная сеть или длительное хранение данных, ресурсы нужно считать с запасом. Перед установкой полезно отдельно проверить именно свободное место на разделе, куда будет развёрнут Prime, а не только общий объём диска.

Что поставили из дистрибутива

Брали комплект ViPNet Prime 1.9.11.1 и ставили базовый набор: Core KC, Core MS, VPN KC, VPN MS и транспорт ViPNet Universal Transport. PMM, NVS, сборщик NVS и Connect Book не ставили.

Установкой управляет входящий в комплект deployment-configurator. Имена и порты задаются во время установки и впоследствии не меняются: веб-интерфейс Prime доступен на core.vipnet.local:443, а интерфейс модуля VPN - на vpn.vipnet.local:8443. На рабочей станции администратора эти имена нужно добавить в файл hosts; маска *.vipnet.local там не работает.

После каждой перезагрузки руководство требует одну команду и мастер-PIN:

sudo prime-control

Пока мастер-PIN не принят, службы ключей остаются заблокированными, а веб-интерфейс может показывать заставку. Это штатный этап запуска. В нашем случае заставка осталась и после авторизации, поэтому причину пришлось искать дальше.

Что закрыли снаружи и зачем

Хост с Prime не должен открывать в интернет брокер сообщений и служебные порты, которые Docker публикует на всех интерфейсах. Поэтому в ufw запрещены входящие и транзитные соединения, а исходящие разрешены. Адреса администраторов и координаторов хранятся в отдельных списках; приведённый ниже скрипт собирает из них правила и применяется после перезагрузки.

Источник или интерфейс Порты Назначение правила
Администраторы, файл admins.list TCP 22, 443, 8443 SSH, веб Prime, веб модуля VPN
Координаторы, файл coordinators.list TCP 443, 48443 Веб и транспорт HTTPS. Пока список пуст, 48443 снаружи закрыт всем
Внешний интерфейс eth0, всегда TCP 514, 5672, 48080, 48081, 48082 и UDP 514 Служебные порты. 5672 - брокер, его с внешней сети быть не должно. 48080 по руководству нужен на tun0 защищённой сети, не на внешнем адресе
Сети Docker 172.16.0.0/12 все порты хоста Контейнеры ходят в службы, которые слушают на адресе моста

Пустой admins.list скрипт не применяет: так закрылся бы и SSH. Адрес 0.0.0.0/0 он тоже отвергает.

Одного ufw недостаточно: опубликованные Docker порты могут обходить его обычные входящие правила. Трафик с eth0 проходит через цепочку DOCKER-USER, поэтому служебные порты закрывает отдельная цепочка PRIME-DOCKER. Правила действуют только для внешнего интерфейса, а завершающий RETURN возвращает остальной трафик в стандартную обработку Docker. Для порта 48443 сначала разрешаются адреса координаторов, если список не пуст, а затем применяется общий запрет.

Где мы налажали

После перезагрузки веб висел на заставке ViPNet Prime. Руководство в этом месте говорит ввести мастер-PIN и, если страница не открылась, запустить Prime ещё раз. PIN уже был задан, prime-control отвечал Master PIN already set. Повторный запуск заставку не снял.

Контейнеры внутри одной сети продолжали обмениваться трафиком. Docker разрешает его в цепочке FORWARD раньше, чем ufw применяет запрет транзита, поэтому проверка связи между контейнерами не выявляла проблему.

Блокировались обращения контейнеров к самому хосту. Для ufw такой пакет является входящим. В dmesg он отмечен как UFW BLOCK: входной интерфейс - мост Docker, а поле OUT пустое.

IN=br-... OUT= SRC=172.19.0.4 DST=172.17.0.1 DPT=48081

172.19.0.4 - контейнер транспорта, а 172.17.0.1 - адрес моста docker0 на хосте. Порт 48081 обслуживает docker-proxy. Для внешнего интерфейса eth0 мы закрыли его намеренно, но общий запрет входящих соединений заблокировал этот же порт и для моста Docker.

Сначала мы разрешили для 172.16.0.0/12 только замеченные в журналах порты: 5019, 5026, 5027, 8811, 443 и 8443. Этого оказалось недостаточно. Транспорт продолжал обращаться к порту 48081 и оставался в состоянии unhealthy, а служба проверки доступности из 172.18.0.3 не доходила до 172.17.0.1:22300. Со стороны это выглядело как неисправность Prime, хотя причиной оставался файрвол хоста.

Как исправили

Сети контейнеров пустили на хост целиком:

ufw allow from 172.16.0.0/12 to any comment prime-internal

В выводе ufw значение Anywhere находится в колонке назначения: контейнерным сетям разрешён доступ к любому порту хоста. Источником при этом остаётся 172.16.0.0/12, а не интернет. Опасно обратное правило, где Anywhere указан как источник. Скрипт удаляет такие записи и завершает работу с ошибкой, если они остались. Узкие разрешения для отдельных портов из 172.16.0.0/12 также удаляются, чтобы набор правил не вводил администратора в заблуждение.

Диапазон /12 шире фактически созданных сетей Docker. На выделенном хосте Prime это упрощает повторное создание мостов. Если сервер используется совместно с другими системами или в нём есть сторонние сети из диапазона 172.16.0.0/12, правило следует сузить до подсетей из docker network inspect.

Запреты для eth0 остались на месте. После применения скрипта транспортный контейнер получил доступ к порту 48081 и перешёл в состояние healthy без пересоздания. Затем выполнили штатный запуск из руководства:

sudo deployment-configurator start --all

Конфигуратор закончил фразой Prime was successfully configured. Запрос /api/client-config стал отвечать 200, в браузере вместо заставки открылась форма входа.

Транзит по умолчанию по-прежнему запрещён. Хост не маршрутизирует чужой трафик. Служебные порты с внешнего интерфейса по-прежнему падают в PRIME-DOCKER.

Если заставка вернётся, первая команда такая:

sudo dmesg -T | grep 'UFW BLOCK'

Источник из 172.16.0.0/12 и пустой OUT - это снова фильтр. Тогда sudo /etc/prime-firewall/apply.sh. Снимать PRIME-DOCKER не нужно: иначе порты, которые Docker слушает на всех адресах, откроются в интернет.

Скрипт, который сейчас стоит на хосте

/etc/prime-firewall/apply.sh. Списки адресов он читает из /etc/prime-firewall/admins.list и /etc/prime-firewall/coordinators.list: один IPv4 или сеть на строку, решётка - комментарий.

#!/bin/bash
# Собирает внешний доступ Prime из двух списков:
#   /etc/prime-firewall/admins.list        SSH 22, веб 443, веб VPN 8443
#   /etc/prime-firewall/coordinators.list  веб 443, транспорт 48443
# Сети Docker 172.16.0.0/12 ходят на хост без ограничения портов:
# контейнеры обращаются к службам Prime на адресах мостов.
# Порты 514, 5672, 48080, 48081, 48082 с внешнего интерфейса закрыты всегда.
set -u
DIR=/etc/prime-firewall
IFACE=eth0
exec 9>/var/lock/prime-firewall.lock
flock 9

parse() {
  local f="$1"
  [ -f "$f" ] || return 0
  sed -e 's/#.*//' -e 's/[[:space:]]//g' "$f" \
    | grep -E '^[0-9]{1,3}(\.[0-9]{1,3}){3}(/[0-9]{1,2})?$' || true
}

check_net() {
  python3 - "$1" << 'PY'
import ipaddress, sys
try:
    n = ipaddress.ip_network(sys.argv[1], strict=False)
except ValueError:
    sys.stderr.write("плохой адрес: %s\n" % sys.argv[1])
    sys.exit(1)
if n.version != 4 or n.prefixlen == 0:
    sys.stderr.write("отказ, это открыло бы весь интернет: %s\n" % sys.argv[1])
    sys.exit(1)
if n.prefixlen == 32:
    print(n.network_address)
else:
    print(n)
PY
}

rule_exists() {
  local port="$1" src="$2"
  ufw status | awk -v p="${port}/tcp" -v s="$src" '
    $1==p && $2=="ALLOW" && $4==s { found=1 }
    END { exit !found }
  '
}

allow_port() {
  local port="$1" src="$2" tag="$3"
  if rule_exists "$port" "$src"; then
    return 0
  fi
  ufw allow from "$src" to any port "$port" proto tcp comment "$tag"
}

admins=()
while read -r raw; do
  [ -z "$raw" ] && continue
  net=$(check_net "$raw") || exit 1
  admins+=("$net")
done < <(parse "$DIR/admins.list")

coords=()
while read -r raw; do
  [ -z "$raw" ] && continue
  net=$(check_net "$raw") || exit 1
  coords+=("$net")
done < <(parse "$DIR/coordinators.list")

if [ "${#admins[@]}" -eq 0 ]; then
  echo "admins.list пуст. Так SSH снаружи закроется полностью, правило не применено." >&2
  exit 1
fi

for src in "${admins[@]}"; do
  allow_port 22 "$src" prime-admins
  allow_port 443 "$src" prime-admins
  allow_port 8443 "$src" prime-admins
done

if [ "${#coords[@]}" -gt 0 ]; then
  for src in "${coords[@]}"; do
    allow_port 443 "$src" prime-coord
    allow_port 48443 "$src" prime-coord
  done
fi

if ! ufw status | grep -Eq 'Anywhere[[:space:]]+ALLOW([[:space:]]+IN)?[[:space:]]+172\.16\.0\.0/12'; then
  ufw allow from 172.16.0.0/12 to any comment prime-internal
fi

# Узкие разрешения на отдельные порты Docker больше не нужны: сеть открыта целиком.
mapfile -t narrow < <(ufw status numbered | python3 -c '
import re, sys
for line in sys.stdin:
    m = re.match(r"^\[\s*(\d+)\].*[0-9]+/tcp\s+ALLOW(?: IN)?\s+172\.16\.0\.0/12", line)
    if m:
        print(m.group(1))
')
IFS=$'\n' narrow_sorted=($(printf '%s\n' "${narrow[@]:-}" | sed '/^$/d' | sort -nr))
unset IFS
for n in "${narrow_sorted[@]:-}"; do
  [ -n "$n" ] || continue
  echo y | ufw delete "$n"
done

mapfile -t nums < <(ufw status numbered | python3 -c '
import re, sys
for line in sys.stdin:
    m = re.match(r"^\[\s*(\d+)\](.*)$", line)
    if not m:
        continue
    body = m.group(2).split("#", 1)[0].rstrip()
    if re.search(r"\sAnywhere( \(v6\))?\s*$", body):
        print(m.group(1))
')
IFS=$'\n' nums_sorted=($(printf '%s\n' "${nums[@]:-}" | sed '/^$/d' | sort -nr))
unset IFS
for n in "${nums_sorted[@]:-}"; do
  [ -n "$n" ] || continue
  echo y | ufw delete "$n"
done

if ufw status | grep -Eq '[[:space:]]Anywhere([[:space:]]+\(v6\))?[[:space:]]*$'; then
  echo "снаружи всё ещё остались правила Anywhere" >&2
  ufw status numbered >&2
  exit 1
fi

iptables -N DOCKER-USER 2>/dev/null || true
iptables -N PRIME-DOCKER 2>/dev/null || true
iptables -F PRIME-DOCKER
if [ "${#coords[@]}" -gt 0 ]; then
  for src in "${coords[@]}"; do
    iptables -A PRIME-DOCKER -i "$IFACE" -s "$src" -p tcp --dport 48443 -j ACCEPT
  done
fi
iptables -A PRIME-DOCKER -i "$IFACE" -p tcp --dport 48443 -j DROP
for p in 514 5672 48080 48081 48082; do
  iptables -A PRIME-DOCKER -i "$IFACE" -p tcp --dport "$p" -j DROP
done
iptables -A PRIME-DOCKER -i "$IFACE" -p udp --dport 514 -j DROP
iptables -A PRIME-DOCKER -j RETURN
iptables -C DOCKER-USER -j PRIME-DOCKER >/dev/null 2>&1 || iptables -I DOCKER-USER 1 -j PRIME-DOCKER
while iptables -D DOCKER-USER -i "$IFACE" -p tcp --dport 5672 -j DROP 2>/dev/null; do
  :
done
iptables -C DOCKER-USER -j RETURN >/dev/null 2>&1 || iptables -A DOCKER-USER -j RETURN

if command -v ip6tables >/dev/null 2>&1; then
  ip6tables -N DOCKER-USER 2>/dev/null || true
  ip6tables -N PRIME-DOCKER 2>/dev/null || true
  ip6tables -F PRIME-DOCKER
  ip6tables -A PRIME-DOCKER -i "$IFACE" -p tcp --dport 48443 -j DROP
  for p in 514 5672 48080 48081 48082; do
    ip6tables -A PRIME-DOCKER -i "$IFACE" -p tcp --dport "$p" -j DROP
  done
  ip6tables -A PRIME-DOCKER -i "$IFACE" -p udp --dport 514 -j DROP
  ip6tables -A PRIME-DOCKER -j RETURN
  ip6tables -C DOCKER-USER -j PRIME-DOCKER >/dev/null 2>&1 || ip6tables -I DOCKER-USER 1 -j PRIME-DOCKER
  ip6tables -C DOCKER-USER -j RETURN >/dev/null 2>&1 || ip6tables -A DOCKER-USER -j RETURN
fi

echo "admins: ${admins[*]}"
if [ "${#coords[@]}" -eq 0 ]; then
  echo "coordinators: пусто"
else
  echo "coordinators: ${coords[*]}"
fi
ufw status verbose
echo '=== PRIME-DOCKER ==='
iptables -S PRIME-DOCKER
echo '=== DOCKER-USER ==='
iptables -S DOCKER-USER