Многостраничный парсер сайтов с Jina.ai
Автоматически парсит содержимое с нескольких страниц сайта через Jina.ai и сохраняет результаты в Google Drive. Подходит для массового сбора данных и контент-исследований.
Показать оригинал (англ.)
Automated workflow: 💡🌐 Essential Multipage Website Scraper with Jina.ai. This workflow integrates 13 different services: stickyNote, httpRequest, filter, wait, code. It contains 21 nodes and follows best practices for error handling and security.
Схема сценария, как в редакторе n8n: ноды и связи между ними. Кликните, чтобы рассмотреть.
- ТриггерWhen clicking ‘Test workflow’Manual
- ДействиеSet Website URLSet
- ДействиеLoop Over ItemsSplit In Batches
- ДействиеGet List of Website URLsHttp Request
- ДействиеJina.ai Web ScraperHttp Request
- ДействиеConvert to JSONXml
- ДействиеExtract Title & Markdown ContentCode
- ДействиеCreate List of Website URLsSplit Out
- ДействиеFilter By Topics or PagesFilter
- ДействиеSave Webpage Contents to Google DriveGoogle Drive
- ДействиеLimitLimit
- ДействиеWaitWait
Сценарий «Многостраничный парсер сайтов с Jina.ai» состоит из 12 нод: When clicking ‘Test workflow’, Set Website URL, Loop Over Items, Get List of Website URLs, Jina.ai Web Scraper, Convert to JSON, Extract Title & Markdown Content, Create List of Website URLs и других. Интеграции: Httprequest, Google Drive, Splitinbatches, Splitout, Xml.
| Параметр | Значение | Описание |
|---|---|---|
| Учётные данные | Httprequest · Google Drive · Splitinbatches · Splitout · Xml | Для каждого сервиса нужен свой ключ/токен - впишете их в n8n после установки. |
| Объём сценария | 16 нод · продвинутый | Число нод и уровень сложности логики. Больше нод - тоньше настройка. |
| Формат | n8n workflow JSON | Готовый воркфлоу. При развороте через кнопку импортируется автоматически. |
Развернуть n8n с этим сценарием
Готовый сервер с n8n из маркетплейса Fatmetal - воркфлоу уже загружен. Рекомендованная конфигурация уже подставлена в заказ: 2 CPU · 4 ГБ · 50 ГБ. Останется вписать свои ключи, и автоматизация заработает. Нужна помощь с настройкой под нагрузку или сетью? Напишите инженеру.
n8n отдаём закрытым, а не голым
n8n часто атакуют - поэтому инстанс приезжает уже защищённым, без ручной настройки.
Владелец создан заранее
Аккаунт администратора настроен автоматически при развёртывании. Окно самостоятельной регистрации закрыто - никто не перехватит ваш инстанс в первые минуты после запуска (частый вектор атаки на self-hosted n8n).
Единый пароль с сервером
Логин в n8n - тот же пароль, что у вашей машины. Не нужно искать отдельные креды в файлах, меньше шансов оставить дефолт.
fail2ban против перебора
Автоматически банит IP после серии неудачных попыток входа по SSH. Защита от брутфорса из коробки.
HTTPS и security-заголовки
Трафик шифруется (Let's Encrypt, авто-обновление), выставлены HSTS, X-Frame-Options, X-Content-Type-Options, Referrer-Policy - защита от кликджекинга, MIME-снифинга и downgrade-атак.
После оплаты - сервер с готовым сценарием
Сервер создаётся автоматически за несколько минут. Ничего настраивать вручную не нужно - n8n поднимется сам, а этот сценарий уже будет внутри.
Сервер создаётся
После оплаты сервер разворачивается автоматически за несколько минут: ставится n8n, база данных и HTTPS. Дождитесь готовности в личном кабинете.
Открываете адрес
Адрес формируется из IP сервера: замените точки на дефисы и добавьте .fatmetal.net. Например IP 45.15.159.10 → https://45-15-159-10.fatmetal.net/. HTTPS уже настроен. Готовый адрес также есть в личном кабинете - можно просто скопировать его оттуда.
Входите готовыми данными
Аккаунт владельца уже создан - регистрировать ничего не нужно. Логин: admin@<адрес вашего сервера> (тот же адрес, что открыли на шаге 2 - например admin@45-15-159-10.fatmetal.net). Пароль - тот же, что у вашего сервера: он в личном кабинете и в /root/n8n-credentials.txt на сервере. Войдите и при желании сразу смените пароль в настройках. Интерфейс английский - у n8n нет русской локализации.
Сценарий уже внутри
Этот сценарий уже импортирован - найдёте его в разделе Workflows. Останется вписать свои ключи для интеграций (Httprequest, Google Drive, Splitinbatches) в Credentials и включить сценарий.