Автоматизированный веб-скрейпинг с Selenium
Собирает данные с веб-сайтов по селекторам, использует OpenAI для анализа собранной информации и преобразует результаты в файлы.
Показать оригинал (англ.)
Automated workflow: Selenium Ultimate Scraper Workflow. This workflow integrates 14 different services: convertToFile, stickyNote, httpRequest, webhook, code. It contains 137 nodes and follows best practices for error handling and security.
Схема сценария, как в редакторе n8n: ноды и связи между ними. Кликните, чтобы рассмотреть.
- ТриггерWebhookWebhook
- ДействиеEdit Fields (For testing prupose )Set
- ДействиеIf Target UrlIf
- ДействиеGoogle search Query Http Request
- ДействиеExtract First Url MatchHtml
- ДействиеInformation ExtractorNo Op
- ДействиеOpenAI Chat ModelNo Op
- ДействиеCheck if empty of NAIf
- ДействиеCreate Selenium SessionHttp Request
- ТриггерError can't find urlRespond To Webhook
- ДействиеResize browser windowHttp Request
- ДействиеDelete Session7Http Request
- ТриггерError2Respond To Webhook
- ДействиеClean Webdriver Http Request
- ДействиеIf2If
- ДействиеIf1If
- ДействиеIf NodeIf
- ДействиеGo on urlHttp Request
- ДействиеGo on url1Http Request
- ДействиеDelete Session5Http Request
- ДействиеIf3If
- ТриггерErrorRespond To Webhook
- ДействиеGo on url2Http Request
- ДействиеGo on url3Http Request
- ДействиеDelete Session6Http Request
- ДействиеGet ScreenShot 1Http Request
- ТриггерError3Respond To Webhook
- ДействиеConvert to File1Convert To File
- ДействиеCodeCode
- ДействиеOpenAI1No Op
- ДействиеInject CookieHttp Request
- ДействиеIf BlockIf
- ДействиеLimitLimit
- ДействиеDelete Session1Http Request
- ДействиеDelete SessionHttp Request
- ДействиеRefresh browserHttp Request
- ТриггерRespond to Webhook3Respond To Webhook
- ДействиеInformation Extractor1No Op
- ДействиеOpenAI Chat Model1No Op
- ТриггерSuccessRespond To Webhook
- ДействиеDelete Session4Http Request
- ДействиеGet ScreenShot Http Request
- ДействиеGo on ip-api.comHttp Request
- ТриггерError1Respond To Webhook
- ДействиеConvert to FileConvert To File
- ДействиеGet ScreenShot 2Http Request
- ДействиеOpenAINo Op
- ДействиеConvert to File2Convert To File
- ДействиеDelete Session8Http Request
- ДействиеIf Block1If
- ДействиеDelete Session2Http Request
- ДействиеDelete Session3Http Request
- ТриггерRespond to Webhook2Respond To Webhook
- ДействиеInformation Extractor2No Op
- ДействиеOpenAI Chat Model2No Op
- ТриггерSuccess with cookieRespond To Webhook
Сценарий «Автоматизированный веб-скрейпинг с Selenium» состоит из 56 нод: Webhook, Edit Fields (For testing prupose ), If Target Url, Google search Query , Extract First Url Match, Information Extractor, OpenAI Chat Model, Check if empty of NA и других. Интеграции: Html, Httprequest, Converttofile, OpenAI, Respondtowebhook, Webhook, Form Trigger.
| Параметр | Значение | Описание |
|---|---|---|
| Учётные данные | Html · Httprequest · Converttofile · OpenAI · Respondtowebhook · Webhook · Form Trigger | Для каждого сервиса нужен свой ключ/токен - впишете их в n8n после установки. |
| Объём сценария | 63 ноды · продвинутый | Число нод и уровень сложности логики. Больше нод - тоньше настройка. |
| Формат | n8n workflow JSON | Готовый воркфлоу. При развороте через кнопку импортируется автоматически. |
Развернуть n8n с этим сценарием
Готовый сервер с n8n из маркетплейса Fatmetal - воркфлоу уже загружен. Рекомендованная конфигурация уже подставлена в заказ: 2 CPU · 4 ГБ · 50 ГБ. Останется вписать свои ключи, и автоматизация заработает. Нужна помощь с настройкой под нагрузку или сетью? Напишите инженеру.
n8n отдаём закрытым, а не голым
n8n часто атакуют - поэтому инстанс приезжает уже защищённым, без ручной настройки.
Владелец создан заранее
Аккаунт администратора настроен автоматически при развёртывании. Окно самостоятельной регистрации закрыто - никто не перехватит ваш инстанс в первые минуты после запуска (частый вектор атаки на self-hosted n8n).
Единый пароль с сервером
Логин в n8n - тот же пароль, что у вашей машины. Не нужно искать отдельные креды в файлах, меньше шансов оставить дефолт.
fail2ban против перебора
Автоматически банит IP после серии неудачных попыток входа по SSH. Защита от брутфорса из коробки.
HTTPS и security-заголовки
Трафик шифруется (Let's Encrypt, авто-обновление), выставлены HSTS, X-Frame-Options, X-Content-Type-Options, Referrer-Policy - защита от кликджекинга, MIME-снифинга и downgrade-атак.
После оплаты - сервер с готовым сценарием
Сервер создаётся автоматически за несколько минут. Ничего настраивать вручную не нужно - n8n поднимется сам, а этот сценарий уже будет внутри.
Сервер создаётся
После оплаты сервер разворачивается автоматически за несколько минут: ставится n8n, база данных и HTTPS. Дождитесь готовности в личном кабинете.
Открываете адрес
Адрес формируется из IP сервера: замените точки на дефисы и добавьте .fatmetal.net. Например IP 45.15.159.10 → https://45-15-159-10.fatmetal.net/. HTTPS уже настроен. Готовый адрес также есть в личном кабинете - можно просто скопировать его оттуда.
Входите готовыми данными
Аккаунт владельца уже создан - регистрировать ничего не нужно. Логин: admin@<адрес вашего сервера> (тот же адрес, что открыли на шаге 2 - например admin@45-15-159-10.fatmetal.net). Пароль - тот же, что у вашего сервера: он в личном кабинете и в /root/n8n-credentials.txt на сервере. Войдите и при желании сразу смените пароль в настройках. Интерфейс английский - у n8n нет русской локализации.
Сценарий уже внутри
Этот сценарий уже импортирован - найдёте его в разделе Workflows. Останется вписать свои ключи для интеграций (Html, Httprequest, Converttofile) в Credentials и включить сценарий.