Команда инженеров · свой ЦОД в РФ · своё железо · своя панель · CloudStack + Linstor · MCP · база знаний по self-hosted

Парсинг веб-данных Bright Data с Google Gemini

Автоматический сбор и анализ веб-данных с использованием Bright Data, Google Gemini и ИИ-агента. Интегрирует продвинутый парсинг с искусственным интеллектом для глубокого анализа информации.

Показать оригинал (англ.)
Scrape Web Data with Bright Data, Google Gemini and MCP Automated AI Agent

Automated workflow: Scrape Web Data with Bright Data, Google Gemini and MCP Automated AI Agent. This workflow integrates 12 different services: stickyNote, httpRequest, lmChatGoogleGemini, agent, mcpClientTool. It contains 25 nodes and follows best practices for error handling and security.

Вебхук (Webhook)Продвинутый · 19 нодWebhookReadwritefileForm Trigger
Как это работает

Схема сценария, как в редакторе n8n: ноды и связи между ними. Кликните, чтобы рассмотреть.

клик - увеличить ⤢◆AI AgentnoOp◆When clicking‘Test workflow’manualTrigger◆MCP Client listall tools for…mcpClient◆MCP Client Listall toolsmcpClientTool◆MCP Client BrightData Web ScrapermcpClient🌐Webhook for webscraperhttpRequest≡Set the URLsset◆MCP Client toScrape as MarkdownmcpClientTool◆MCP Client toScrape as HTMLmcpClientTool◆Google Gemini ChatModel for AI AgentnoOp◆Simple MemorynoOp🌐Webhook for WebScraper AI AgenthttpRequest≡Set the URL withthe Webhook URL…set{}Create a binarydatafunction◆Write the scrapedcontent to diskreadWriteFile
  1. ТриггерWhen clicking ‘Test workflow’Manual
  2. ДействиеGoogle Gemini Chat Model for AI AgentNo Op
  3. ДействиеSet the URL with the Webhook URL and data formatSet
  4. ДействиеMCP Client list all tools for Bright DataMcp Client
  5. ДействиеSimple MemoryNo Op
  6. ДействиеSet the URLsSet
  7. ДействиеAI AgentNo Op
  8. ДействиеMCP Client to Scrape as MarkdownMcp Client Tool
  9. ДействиеMCP Client Bright Data Web ScraperMcp Client
  10. ДействиеMCP Client to Scrape as HTMLMcp Client Tool
  11. ДействиеCreate a binary dataFunction
  12. ДействиеWebhook for Web Scraper AI AgentHttp Request
  13. ДействиеWebhook for web scraperHttp Request
  14. ДействиеMCP Client List all toolsMcp Client Tool
  15. ДействиеWrite the scraped content to diskRead Write File

Сценарий «Парсинг веб-данных Bright Data с Google Gemini» состоит из 15 нод: When clicking ‘Test workflow’, Google Gemini Chat Model for AI Agent, Set the URL with the Webhook URL and data format, MCP Client list all tools for Bright Data, Simple Memory, Set the URLs, AI Agent, MCP Client to Scrape as Markdown и других. Интеграции: Webhook, Readwritefile, Form Trigger.

Что понадобится
ПараметрЗначениеОписание
Учётные данныеWebhook · Readwritefile · Form TriggerДля каждого сервиса нужен свой ключ/токен - впишете их в n8n после установки.
Объём сценария19 нод · продвинутыйЧисло нод и уровень сложности логики. Больше нод - тоньше настройка.
Форматn8n workflow JSONГотовый воркфлоу. При развороте через кнопку импортируется автоматически.
Установка в один клик

Развернуть n8n с этим сценарием

Готовый сервер с n8n из маркетплейса Fatmetal - воркфлоу уже загружен. Рекомендованная конфигурация уже подставлена в заказ: 2 CPU · 4 ГБ · 50 ГБ. Останется вписать свои ключи, и автоматизация заработает. Нужна помощь с настройкой под нагрузку или сетью? Напишите инженеру.

Защищённый инстанс

n8n отдаём закрытым, а не голым

n8n часто атакуют - поэтому инстанс приезжает уже защищённым, без ручной настройки.

Владелец создан заранее

Аккаунт администратора настроен автоматически при развёртывании. Окно самостоятельной регистрации закрыто - никто не перехватит ваш инстанс в первые минуты после запуска (частый вектор атаки на self-hosted n8n).

Единый пароль с сервером

Логин в n8n - тот же пароль, что у вашей машины. Не нужно искать отдельные креды в файлах, меньше шансов оставить дефолт.

fail2ban против перебора

Автоматически банит IP после серии неудачных попыток входа по SSH. Защита от брутфорса из коробки.

HTTPS и security-заголовки

Трафик шифруется (Let's Encrypt, авто-обновление), выставлены HSTS, X-Frame-Options, X-Content-Type-Options, Referrer-Policy - защита от кликджекинга, MIME-снифинга и downgrade-атак.

Что дальше

После оплаты - сервер с готовым сценарием

Сервер создаётся автоматически за несколько минут. Ничего настраивать вручную не нужно - n8n поднимется сам, а этот сценарий уже будет внутри.

1

Сервер создаётся

После оплаты сервер разворачивается автоматически за несколько минут: ставится n8n, база данных и HTTPS. Дождитесь готовности в личном кабинете.

2

Открываете адрес

Адрес формируется из IP сервера: замените точки на дефисы и добавьте .fatmetal.net. Например IP 45.15.159.10 → https://45-15-159-10.fatmetal.net/. HTTPS уже настроен. Готовый адрес также есть в личном кабинете - можно просто скопировать его оттуда.

3

Входите готовыми данными

Аккаунт владельца уже создан - регистрировать ничего не нужно. Логин: admin@<адрес вашего сервера> (тот же адрес, что открыли на шаге 2 - например admin@45-15-159-10.fatmetal.net). Пароль - тот же, что у вашего сервера: он в личном кабинете и в /root/n8n-credentials.txt на сервере. Войдите и при желании сразу смените пароль в настройках. Интерфейс английский - у n8n нет русской локализации.

4

Сценарий уже внутри

Этот сценарий уже импортирован - найдёте его в разделе Workflows. Останется вписать свои ключи для интеграций (Webhook, Readwritefile, Form Trigger) в Credentials и включить сценарий.

Важно: сохраните ключ шифрования. Ключ (N8N_ENCRYPTION_KEY) и пароль базы лежат на сервере в /root/n8n-credentials.txt. Этим ключом зашифрованы учётные данные интеграций - берегите его и сделайте резервную копию: без ключа их не восстановить даже из бэкапа базы.
Оригинал сценария (англ.): «Scrape Web Data with Bright Data, Google Gemini and MCP Automated AI Agent». Источник: коллекция Zie619/n8n-workflows (лицензия MIT).
Спросить инженера в TelegramМы на связи