SpiderFoot
SpiderFoot - инструмент автоматизации OSINT: задаете цель (домен, IP, e-mail, имя), он опрашивает 200+ открытых источников и собирает все, что цель засветила в сети. Веб-интерфейс или CLI, MIT. Развернули из Dockerfile на Fatmetal Cloud Server, замерили ресурсы и прогнали реальный пассивный скан с результатами.
Вердикт
- разведка по своим целям в пентесте
- контроль своей поверхности атаки
- нужен мониторинг и мультицель (HX/ASM-продукт)
- нет легального основания на разведку цели
Проверено на версии build из master, июнь 2026. На новых версиях результаты могут отличаться.
Что такое SpiderFoot
SpiderFoot автоматизирует разведку по открытым источникам (OSINT). Вы указываете цель - домен, IP-адрес, подсеть, ASN, e-mail, телефон, имя пользователя или человека - а инструмент запускает свои модули, которые опрашивают сотни источников и передают данные друг другу по модели publisher/subscriber, накапливая максимум информации о цели: поддомены, записи DNS, утечки, репутацию IP, связанные аккаунты, S3-бакеты и многое другое.
Применяется в двух режимах: наступательно (разведка цели в пентесте или red team) и защитно (узнать, что ваша организация выставила наружу). У SpiderFoot есть встроенный веб-сервер с чистым интерфейсом, но все то же доступно и из командной строки.
Open-source SpiderFoot vs SpiderFoot HX
У проекта есть коммерческая облачная версия HX. Открытая версия закрывает базовый сценарий, HX - командный и для мониторинга.
| Параметр | SpiderFoot (OSS) | SpiderFoot HX |
|---|---|---|
| Хостинг | Свой сервер | Облако вендора |
| Цена | Бесплатно (MIT) | Платная подписка |
| Целей за скан | Одна | Несколько |
| Мониторинг attack surface | Нет | Есть, с нотификациями |
| Многопользовательность, 2FA | Нет | Есть |
| Внешние инструменты (Nmap и пр.) | Ставите сами | Предустановлены |
| Поддержка | Сообщество | Вендор |
Тех-стек и архитектура
Написан на Python 3, данные сканов хранятся в SQLite - отдельной базы не нужно. Модули (их более 200, большинство не требуют API-ключей) общаются через шину событий: один модуль находит поддомен, другой тут же резолвит его в IP, третий проверяет IP по блок-листам. Поверх собранных данных работает correlation-движок с готовыми правилами (например, susceptibility к subdomain takeover). Результаты экспортируются в CSV, JSON или GEXF, есть интеграция с TOR для поиска в дарквебе и вызов внешних инструментов: Nmap, WhatWeb, DNSTwist, Nuclei, CMSeeK.
Минимальная конфигурация
Сам сервис очень легкий, нагрузка появляется во время больших сканов.
| RAM в простое | ~88 MiB |
| Образ (build из Dockerfile) | 288 MB |
| Минимально-рабочий тариф | CPU2-RAM4-DISK50 - 500 ₽/мес |
| Под тяжелые сканы (режим All) | тариф помощнее, нагрузка зависит от набора модулей |
В простое SpiderFoot почти ничего не ест - ~88 MiB. Но скан в режиме All запускает сотни модулей и активные проверки (порт-скан, DNS brute), и тогда растут и CPU, и сеть. Для пассивных сканов хватает тарифа CPU2-RAM4-DISK50, для тяжелых берите запас.
Развертывание на Fatmetal
Официального Docker-образа на Hub нет - собираем из Dockerfile репозитория.
Создать VM с Docker
Cloud Server, Ubuntu 24.04, приложение Docker из маркетплейса.
Собрать образ из master
Стабильный релиз v4.0 (2022) не собирается из коробки - см. раздел про подводные камни. Берем актуальный master.
git clone --depth 1 https://github.com/smicallef/spiderfoot.git cd spiderfoot docker build -t spiderfoot:master .Запустить
docker run -d --name spiderfoot -p 127.0.0.1:5001:5001 spiderfoot:masterИнтерфейс на порту 5001. Важно: по умолчанию он без авторизации - не выставляйте его в интернет напрямую (см. раздел про безопасность).
VM мы подняли AI-агентом через MCP-сервер Fatmetal - провижн сервера и весь деплой агент сделал инструментами на нашей инфраструктуре, без ручного клика в панели.
Что измерили и проверили
Цифры с тестового CPU4-RAM8-DISK100, Ubuntu 24.04, Docker 29.6.0. Прогнали реальный пассивный скан.
| Сборка образа (docker build, master) | ~100 c |
| RAM в простое | ~88 MiB |
| Образ | 288 MB |
| Отклик UI | ~40 мс |
| Тестовый скан (passive, example.com) | 328 результатов, 274 уникальных |
Запустили через UI пассивный скан по example.com (безопасная тестовая цель). SpiderFoot собрал данные из множества источников и разложил их по типам - вот реальный результат на нашем экземпляре:
Где может сломаться
Реальные грабли с этого запуска.
Стабильный релиз v4.0 не собирается. Сборка v4.0 (2022) падает на pip install: пин PyYAML 5.4.1 не строится с современным Cython 3 (ошибка cython_sources). Мы собрали из master - там зависимости уже поправлены.
Официального Docker-образа нет. На Docker Hub образа spiderfoot/spiderfoot нет - деплой только сборкой из Dockerfile репозитория.
Без API-ключей часть источников молчит. Большинство из 200+ модулей работают без ключей, но самые ценные (Shodan, VirusTotal, HaveIBeenPwned и др.) требуют ключ. Без них результаты беднее.
Режим All - долгий и шумный. Полный набор модулей включает активные проверки (порт-скан, DNS brute-force), которые видны цели. Для скрытной разведки выбирайте Passive.
OSS в режиме поддержки. Последний релиз - v4.0 от 2022 года, master коммитят, но фокус автора на коммерческой HX. Часть модулей со временем отваливается, когда источники меняют API.
Безопасность, легальность и обновления
Сканируйте только свои цели или те, на которые есть письменное разрешение. OSINT и тем более активные модули по чужой инфраструктуре без согласия владельца могут быть незаконны. Это инструмент для своей поверхности атаки и авторизованных тестов.
Веб-интерфейс по умолчанию без аутентификации - не публикуйте порт 5001 в интернет. Держите его на localhost и ходите через SSH-туннель, либо за reverse-proxy с авторизацией и в закрытой сети. Обновление - пересборка образа из master. Бэкап - это файл базы SQLite со сканами.
Связь с другими стеками
- Reverse-proxy с авторизацией - Caddy или Nginx, чтобы не светить UI без пароля.
- API-ключи - Shodan, VirusTotal, SecurityTrails, HaveIBeenPwned для полноты данных.
- Внешние инструменты - Nmap, WhatWeb, DNSTwist, Nuclei, которые SpiderFoot умеет вызывать.
- Экспорт - CSV/JSON в SIEM или таблицы для дальнейшего анализа.
- VPN / закрытая сеть - держать инструмент разведки вне публичного доступа.
Когда это НЕ ваш выбор
Нужен мониторинг поверхности атаки и мультицель
Открытая версия сканирует одну цель за раз и не умеет следить за изменениями. Для непрерывного мониторинга с нотификациями - SpiderFoot HX или другой ASM-продукт.
Нужна команда, аутентификация, поддержка и SLA
OSS - однопользовательский и без официальной поддержки, релизов давно не было. Для командной работы и гарантий - коммерческая HX.
Нет легального основания на разведку цели
Если цель не ваша и разрешения нет - это вообще не ваш инструмент. Используйте его только по своей инфраструктуре или в рамках авторизованного теста.
Частые вопросы
Можно поставить без Docker?
Можно из исходников Python, но мы собирали через Docker из master.
Хватит ли 2 GB RAM?
Да, с запасом - в простое ~88 MiB.
Можно в продакшен?
Да, за reverse-proxy с авторизацией и в легальной рамке.
Как обновлять?
Пересборка из ветки master.
Как делать бэкап?
Файл SQLite со сканами.
Нужна ли авторизация?
Своей нет - обязателен прокси с паролем.
Ограничения лицензии?
MIT.
Итог
SpiderFoot собирается из Dockerfile за пару минут и в простое занимает ~88 MiB - хватает тарифа CPU2-RAM4-DISK50 за 500 ₽/мес. В нашем тесте пассивный скан example.com дал 328 результатов из открытых источников. Важные оговорки честно: стабильный релиз v4.0 не собирается (ставим из master), официального образа нет, а сам проект в режиме поддержки. Это сильный бесплатный OSINT-инструмент для своей поверхности атаки и авторизованных тестов - при условии, что вы держите легальную рамку.
Этот стек у нас запущен на тарифе CPU4-RAM8-DISK100. Нашли баг в гайде - напишите, поправим в течение дня.