Обработка больших данных с векторизацией
Сложный сценарий обработки больших объемов текста с использованием embeddings, векторного поиска и распределением данных через облачные хранилища.
Показать оригинал (англ.)
Automated workflow: Manualtrigger Workflow. This workflow integrates 26 different services: stickyNote, textSplitterRecursiveCharacterTextSplitter, vectorStoreQdrant, switch, executeWorkflow. It contains 113 nodes and follows best practices for error handling and security.
Схема сценария, как в редакторе n8n: ноды и связи между ними. Кликните, чтобы рассмотреть.
- ТриггерExecute Workflow TriggerExecute Workflow
- ТриггерWhen clicking ‘Test workflow’Manual
- ДействиеExecution DataExecution Data
- ДействиеGet All ResearchGoogle Sheets
- ДействиеAll Research Done?If
- ДействиеEventRouterSwitch
- ДействиеFor Each Research...Split In Batches
- ДействиеWeb Search For API SchemaHttp Request
- ДействиеQuery TemplatesSet
- ДействиеGet API OperationsGoogle Sheets
- ДействиеResearch PendingGoogle Sheets
- ДействиеHas Results?If
- ДействиеTemplate to ListSplit Out
- ДействиеContruct JSON SchemaCode
- ДействиеResearch EventSet
- ДействиеResearchExecute Workflow
- ДействиеResults to ListSplit Out
- ДействиеResponse EmptySet
- ДействиеFor Each Template...Split In Batches
- ДействиеSet Upload FieldsSet
- ДействиеGet All ExtractGoogle Sheets
- ДействиеResearch ResultGoogle Sheets
- ДействиеResearch ErrorGoogle Sheets
- ДействиеFilter ResultsFilter
- ДействиеUpload to DriveGoogle Drive
- ДействиеIdentify Service ProductsNo Op
- ДействиеGoogle Gemini Chat Model2No Op
- ДействиеSearch in Relevant DocsNo Op
- ДействиеEmbeddings Google Gemini1No Op
- ДействиеAll Extract Done?If
- ДействиеWaitWait
- ДействиеRemove DupesRemove Duplicates
- ДействиеResponse OK2Set
- ДействиеScrape Webpage ContentsHttp Request
- ДействиеFor Each Extract...Split In Batches
- ДействиеCombine DocsAggregate
- ДействиеSuccessful RunsFilter
- ДействиеExtract PendingGoogle Sheets
- ДействиеExtract API TemplatesSet
- ДействиеQuery & DocsSet
- ДействиеHas Results?1If
- ДействиеExtract EventSet
- ДействиеFor Each Template...1Split In Batches
- ДействиеExtractExecute Workflow
- ДействиеHas API Documentation?No Op
- ДействиеGoogle Gemini Chat ModelNo Op
- ДействиеResponse Scrape ErrorSet
- ДействиеGet All GenerateGoogle Sheets
- ДействиеExtract ResultGoogle Sheets
- ДействиеExtract ErrorGoogle Sheets
- ДействиеExtract API OperationsNo Op
- ДействиеGoogle Gemini Chat Model1No Op
- ДействиеSearch in Relevant Docs1No Op
- ДействиеEmbeddings Google Gemini2No Op
- ДействиеAll Generate Done?If
- ДействиеWait1Wait
- ДействиеHas Results?3If
- ДействиеMerge ListsCode
- ДействиеCombine Docs1Aggregate
- ДействиеSet Embedding VariablesSet
- ДействиеResponse No API DocsSet
- ДействиеFor Each Generate...Split In Batches
- ДействиеHas Operations?If
- ДействиеQuery & Docs1Set
- ДействиеGenerate PendingGoogle Sheets
- ДействиеFor Each Document...Split In Batches
- ДействиеRemove DuplicatesRemove Duplicates
- ДействиеResponse Empty1Set
- ДействиеGenerate EventSet
- ДействиеResponse OKSet
- ДействиеContent Chunking @ 50k CharsSet
- ДействиеGenerateExecute Workflow
- ДействиеAppend RowGoogle Sheets
- ДействиеSplit Out ChunksSplit Out
- ДействиеGenerate ResultGoogle Sheets
- ДействиеGenerate ErrorGoogle Sheets
- ДействиеResponse OK1Set
- ДействиеEmbeddings Google GeminiNo Op
- ДействиеStore Document EmbeddingsNo Op
- ДействиеWait2Wait
- ДействиеDefault Data LoaderNo Op
- ДействиеRecursive Character Text Splitter1No Op
Сценарий «Обработка больших данных с векторизацией» состоит из 82 ноды: Execute Workflow Trigger, When clicking ‘Test workflow’, Execution Data, Get All Research, All Research Done?, EventRouter, For Each Research..., Web Search For API Schema и других. Интеграции: Executiondata, Httprequest, Splitinbatches, Executeworkflow, Removeduplicates, Google Drive, Google Sheets, Splitout.
| Параметр | Значение | Описание |
|---|---|---|
| Учётные данные | Executiondata · Httprequest · Splitinbatches · Executeworkflow · Removeduplicates · Google Drive · Google Sheets · Splitout | Для каждого сервиса нужен свой ключ/токен - впишете их в n8n после установки. |
| Объём сценария | 88 нод · продвинутый | Число нод и уровень сложности логики. Больше нод - тоньше настройка. |
| Формат | n8n workflow JSON | Готовый воркфлоу. При развороте через кнопку импортируется автоматически. |
Развернуть n8n с этим сценарием
Готовый сервер с n8n из маркетплейса Fatmetal - воркфлоу уже загружен. Рекомендованная конфигурация уже подставлена в заказ: 2 CPU · 4 ГБ · 50 ГБ. Останется вписать свои ключи, и автоматизация заработает. Нужна помощь с настройкой под нагрузку или сетью? Напишите инженеру.
n8n отдаём закрытым, а не голым
n8n часто атакуют - поэтому инстанс приезжает уже защищённым, без ручной настройки.
Владелец создан заранее
Аккаунт администратора настроен автоматически при развёртывании. Окно самостоятельной регистрации закрыто - никто не перехватит ваш инстанс в первые минуты после запуска (частый вектор атаки на self-hosted n8n).
Единый пароль с сервером
Логин в n8n - тот же пароль, что у вашей машины. Не нужно искать отдельные креды в файлах, меньше шансов оставить дефолт.
fail2ban против перебора
Автоматически банит IP после серии неудачных попыток входа по SSH. Защита от брутфорса из коробки.
HTTPS и security-заголовки
Трафик шифруется (Let's Encrypt, авто-обновление), выставлены HSTS, X-Frame-Options, X-Content-Type-Options, Referrer-Policy - защита от кликджекинга, MIME-снифинга и downgrade-атак.
После оплаты - сервер с готовым сценарием
Сервер создаётся автоматически за несколько минут. Ничего настраивать вручную не нужно - n8n поднимется сам, а этот сценарий уже будет внутри.
Сервер создаётся
После оплаты сервер разворачивается автоматически за несколько минут: ставится n8n, база данных и HTTPS. Дождитесь готовности в личном кабинете.
Открываете адрес
Адрес формируется из IP сервера: замените точки на дефисы и добавьте .fatmetal.net. Например IP 45.15.159.10 → https://45-15-159-10.fatmetal.net/. HTTPS уже настроен. Готовый адрес также есть в личном кабинете - можно просто скопировать его оттуда.
Входите готовыми данными
Аккаунт владельца уже создан - регистрировать ничего не нужно. Логин: admin@<адрес вашего сервера> (тот же адрес, что открыли на шаге 2 - например admin@45-15-159-10.fatmetal.net). Пароль - тот же, что у вашего сервера: он в личном кабинете и в /root/n8n-credentials.txt на сервере. Войдите и при желании сразу смените пароль в настройках. Интерфейс английский - у n8n нет русской локализации.
Сценарий уже внутри
Этот сценарий уже импортирован - найдёте его в разделе Workflows. Останется вписать свои ключи для интеграций (Executiondata, Httprequest, Splitinbatches) в Credentials и включить сценарий.