blog

Как n8n и CapSolver помогут мониторить цены на сайтах с AWS WAF

Отслеживание цен на товары часто сталкивается с преградами в виде защитных механизмов. Узнайте, как с помощью n8n и CapSolver обойти AWS WAF и построить автоматизированную систему мониторинга цен, которая сама оповестит вас об изменениях.

Rytbik

02 мая 2026 • 9 min read

Проблема: мониторинг цен на защищенных сайтах

В современном цифровом мире информация о ценах на продукты — это золото для любого бизнеса: от анализа конкурентов до поиска выгодных сделок и глубоких маркетинговых исследований. Однако многие крупные онлайн-площадки, маркетплейсы и интернет-магазины используют мощные системы защиты, такие как AWS Web Application Firewall (WAF), чтобы предотвратить автоматизированный доступ. AWS WAF действует как невидимый страж, фильтруя HTTP и HTTPS запросы и блокируя «подозрительные» обращения. В итоге, ваши автоматические запросы на получение данных о ценах просто не доходят до целевой страницы.

Для таких случаев сервис CapSolver предлагает элегантное решение в виде готового шаблона для n8n: «Мониторинг цен на продукты, защищенные AWS WAF, с планировщиком и вебхуком» (Monitor AWS WAF-protected product prices with CapSolver, schedule, and webhook). Этот шаблон не просто решает задачу обхода AWS WAF (о чем мы уже писали в статье «Как решать AWS WAF в n8n с CapSolver»), но и превращает это решение в полноценную, многоразовую систему мониторинга. Ворфклоу автоматически обходит AWS WAF, извлекает информацию о продукте со страницы, сравнивает текущую цену с историческими данными и отправляет уведомление только при обнаружении изменений.

Шаблон оптимизирует процесс мониторинга: он запускается, обходит AWS WAF, получает страницу продукта, извлекает данные, сравнивает их с предыдущими результатами и оповещает исключительно при обнаружении изменений.

Вы можете найти и импортировать этот шаблон в свою n8n-инстанцию по ссылке: Шаблон n8n-воркфлоу для мониторинга цен

Обложка статьи: n8n, CapSolver, AWS WAF для мониторинга цен

Почему AWS WAF сложнее обычных капч?

AWS WAF часто представляет собой более сложный барьер, чем традиционные капчи. Вместо видимых головоломок с картинками или флажками, он часто использует невидимую проверку на основе cookie. Это означает, что автоматизированный воркфлоу должен сначала получить валидный aws-waf-token в виде cookie, а затем включать его в заголовок HTTP-запроса Cookie при каждом последующем обращении к защищенной странице. Для тех, кто только начинает работать с CapSolver и n8n, рекомендуем ознакомиться с интеграцией CapSolver в n8n для решения капч.

Для эффективного мониторинга цен понимание этого механизма критично. Простой GET-запрос к странице продукта, скорее всего, вернет страницу с ошибкой WAF, а не сам HTML продукта. Чтобы надежно извлечь информацию о ценах, автоматизация должна сначала успешно пройти проверку AWS WAF, а затем использовать полученный cookie для запроса целевой страницы.

Проблема	Влияние на мониторинг цен	Решение CapSolver + n8n
Невидимая проверка AWS WAF	Прямые HTTP-запросы могут не возвращать страницу продукта.	Нода CapSolver AWS WAF решает задачу перед получением страницы.
Доступ на основе cookie	AWS WAF использует cookie `aws-waf-token`, а не токен формы.	Воркфлоу передает полученный cookie через HTTP-заголовок `Cookie`.
Необходимость повторных проверок	Отслеживание цен требует непрерывного, запланированного мониторинга.	Шаблон включает запланированный триггер для регулярных проверок (например, каждые шесть часов).
Мониторинг по запросу	Командам может потребоваться инициировать проверку цен из других приложений.	Шаблон также поддерживает выполнение через вебхук для немедленных проверок.
Обнаружение изменений	Сырых данных недостаточно; пользователям нужно знать, что изменилось.	Воркфлоу сравнивает текущие и предыдущие значения для генерации оповещений только при изменении.

Разбираем шаблон CapSolver для n8n

Шаблон CapSolver, доступный в библиотеке n8n в категории «Market Research», представляет собой комплексное решение, разработанное CapSolver. Он бесшовно объединяет планирование, выполнение по вебхуку, решение AWS WAF, извлечение HTML-данных, сравнение состояний и условную генерацию оповещений в единый, настраиваемый воркфлоу. Этот подход идеально соответствует философии n8n по связыванию нод для автоматизации процессов, как описано в официальной документации n8n по воркфлоу.

По своей сути, воркфлоу запускается либо через заданные интервалы, либо в ответ на запрос вебхука. Затем он использует CapSolver для преодоления защиты AWS WAF, после чего получает защищенную страницу продукта, извлекает цену и название продукта из HTML-контента, сравнивает эти новые значения с данными из предыдущего выполнения и, наконец, логирует или возвращает результат в зависимости от механизма запуска. Для более широкого применения веб-скрейпинга с использованием no-code подхода, статья «Как создавать скрейперы для веб-скрейпинга в n8n с CapSolver» предлагает дополнительные инсайты.

Этап воркфлоу	Назначение	Ключевые ноды n8n или концепции
Триггер	Инициирует мониторинг автоматически или по запросу.	Schedule Trigger и Webhook
Решение AWS WAF	Получает необходимый cookie AWS WAF для доступа к странице.	Нода CapSolver AWS WAF
Получение страницы продукта	Запрашивает защищенную страницу, используя полученный cookie.	HTTP Request
Извлечение данных о продукте	Парсит цену и название продукта из HTML.	HTML-извлечение с помощью CSS-селекторов
Сравнение данных	Определяет, отличается ли последняя цена от сохраненного предыдущего значения.	Code и статичные данные воркфлоу
Маршрутизация результата	Решает, генерировать ли оповещение или регистрировать отсутствие изменений.	If и Edit Fields / Set
Ответ	Предоставляет структурированные результаты для выполнений, запущенных через вебхук.	Respond to Webhook

Схема n8n-воркфлоу для мониторинга цен на сайтах с AWS WAF

Гибкий запуск: по расписанию и по вебхуку

Полезность шаблона значительно повышается за счет поддержки как запланированного мониторинга, так и выполнения по запросу через вебхук. Запланированный путь идеален для непрерывного отслеживания цен, позволяя регулярно проверять данные без ручного вмешательства. Например, инструкции по настройке шаблона позволяют сконфигурировать ноду «Каждые 6 часов», обеспечивая постоянный мониторинг.

И наоборот, путь с вебхуком бесценен, когда внутренний инструмент, дашборд, бот или бэкенд-система должна инициировать немедленную проверку цены. Как объясняется в официальной документации ноды Webhook n8n, вебхуки могут получать данные из различных приложений, запускать воркфлоу и возвращать сгенерированный результат, что делает их идеальными для проверки цен по API.

Тип триггера	Основной сценарий использования	Пример
Запланированный триггер	Непрерывные маркетинговые исследования и мониторинг сделок.	Автоматически проверять страницу продукта конкурента каждые шесть часов и отправлять оповещение, если цена изменится.
Триггер по вебхуку	Автоматизация по запросу и системные интеграции.	Позволить внутренней панели управления получать актуальную защищенную цену продукта, когда пользователь нажимает кнопку «Обновить».

Детали процесса обхода AWS WAF

В большинстве воркфлоу с AWS WAF основным требуемым входом является websiteURL. В отличие от reCAPTCHA или Turnstile, AWS WAF обычно не требует видимого websiteKey или ключа сайта. CapSolver эффективно справляется с основной задачей и предоставляет решение, которое затем может быть использовано для запроса защищенной страницы. Для подробного руководства по настройке учетных данных перед использованием шаблона обратитесь к статье «Как настроить CapSolver в n8n».

Важная деталь реализации заключается в том, как решение отправляется. Для AWS WAF решение обычно не помещается в поле формы. Вместо этого оно передается как cookie aws-waf-token внутри заголовка запроса Cookie. Фундаментальный шаблон прост: решить задачу, отправить cookie на целевой веб-сайт, проверить ответ, а затем обработать защищенные данные.

Параметр или вывод	Роль в воркфлоу
`websiteURL`	URL целевой страницы, защищенной AWS WAF.
`solution.cookie`	Разрешенный AWS WAF cookie, предоставленный CapSolver.
Заголовок `Cookie`	Соответствующий HTTP-заголовок для отправки решенного AWS WAF токена.
Дополнительные параметры AWS WAF	Значения, такие как `awsKey`, `awsIv`, `awsContext` или `awsChallengeJS`, могут повысить надежность решения для конкретных сайтов.

Извлечение цен из защищенных страниц

После того как воркфлоу успешно получает защищенную страницу, следующим шагом является извлечение конкретной информации о продукте из ее HTML-содержимого. Эталонная реализация этого воркфлоу настроена на поиск общих селекторов цены и заголовка, таких как .product-price, [data-price], .price, h1 и .product-title. Такой подход соответствует официальной документации n8n по ноде HTML, которая объясняет ее способность извлекать контент с использованием ключей, CSS-селекторов и настроек возвращаемых значений.

Такой дизайн делает воркфлоу очень адаптивным. Если ваш целевой веб-сайт использует другую HTML-структуру, вы можете легко обновить CSS-селекторы в ноде извлечения. Например, один сайт электронной коммерции может использовать .sale-price для цен, в то время как другой может использовать [data-testid="price"]. Руководство по CSS-селекторам MDN предоставляет исчерпывающую информацию о том, как селекторы нацеливаются на HTML-элементы по типу, атрибутам, состоянию и положению в DOM, подчеркивая важность выбора стабильных селекторов для надежного извлечения данных.

Обнаружение изменений цен с помощью постоянных данных воркфлоу

Чтобы отслеживание цен было действительно эффективным, оно должно сохранять исторические данные для сравнения с текущими показаниями. Этот воркфлоу использует постоянное состояние воркфлоу n8n для сравнения новой полученной цены с последней сохраненной ценой. В эталонном воркфлоу переменная $workflow.staticData.lastPrice гарантирует сохранение предыдущего значения между выполнениями, что позволяет системе определить, произошло ли изменение цены.

Этот механизм позволяет воркфлоу различать первую проверку (нет предыдущих данных), неизменную цену, падение цены и повышение цены. Значительное падение цены может быть помечено как «выгодная сделка», в то время как повышение может быть классифицировано как информационное для целей анализа рынка.

Результат	Интерпретация	Потенциальное действие
Первая проверка	Исторических данных о ценах нет.	Сохранить текущую цену и установить базовый уровень.
Без изменений	Текущая и предыдущая цены идентичны.	Зарегистрировать «без изменений» для предотвращения ненужных оповещений.
Цена упала	Текущая цена ниже предыдущей.	Запустить высокоприоритетное оповещение о сделке.
Цена выросла	Текущая цена выше предыдущей.	Отправить информационное оповещение для анализа рынка.

Чеклист по настройке

Прежде чем развернуть этот шаблон, вам потребуется активный экземпляр n8n и аккаунт CapSolver. CapSolver доступен как интеграция n8n, позволяя пользователям создавать и повторно использовать учетные данные API CapSolver в нескольких воркфлоу.

Эксклюзивное предложение: Используйте код DEVTO24 при регистрации на CapSolver и получите бонусные кредиты!

Шаг	Деталь конфигурации	Примечания
1	Добавить учетные данные CapSolver в n8n	Создайте учетные данные API CapSolver и введите свой API-ключ.
2	Настроить расписание	Отрегулируйте ноду «Каждые 6 часов» в соответствии с желаемым интервалом мониторинга.
3	Установить целевой URL продукта	Замените URL-адрес страницы продукта-заполнителя в нодах «Fetch Product Page».
4	Проверить селекторы извлечения	Обновите CSS-селекторы для цены и названия продукта на основе HTML-структуры целевой страницы.
5	Настроить вебхук	Настройте ноду «Receive Monitor Request», если требуются проверки по запросу.
6	Протестировать воркфлоу	Убедитесь, что cookie AWS WAF принимается, а извлеченные цены точны.

Возможности для кастомизации и расширения

Стандартный воркфлоу сфокусирован на извлечении цены и названия продукта, но его базовый шаблон легко расширяется для более широких потребностей в исследовании рынка. Вы можете добавить извлечение дополнительных данных: наличие товара, метки скидок, статус на складе, информацию о доставке, имена продавцов, количество отзывов или рекламные акции. После извлечения универсальность n8n позволяет направлять результаты в различные места назначения: электронные таблицы, базы данных, каналы Slack, Telegram-боты, уведомления по электронной почте или внутренние дашборды. Для сценариев, включающих AI-помощь в скрейпинге на защищенных сайтах, «Как скрейпить сайты, защищенные CAPTCHA, с помощью n8n, CapSolver и OpenClaw» служит ценным дополнением.

Кастомизация	Подход к реализации
Отслеживание нескольких полей	Добавьте больше CSS-селекторов на этапе извлечения HTML.
Мониторинг нескольких продуктов	Дублируйте путь воркфлоу, используйте список URL-адресов или запускайте воркфлоу с различными нагрузками вебхуков.
Отправка оповещений в командные инструменты	Интегрируйте ноды Slack, Telegram, Discord, email или базы данных после ветки обнаружения изменений.
Хранение исторических данных	Сохраняйте каждую проверку в Google Sheets, Airtable, Postgres, MySQL или другие ноды хранения.
Использование опциональных параметров AWS WAF	Включите параметры, такие как `awsContext` или `awsChallengeJS`, если целевой сайт требует более специфического контекста.

Лучшие практики для надежного мониторинга цен на AWS WAF

Для обеспечения надежного мониторинга начните с тестирования на одной странице продукта, чтобы убедиться, что воркфлоу может успешно получить фактический HTML-код продукта после обхода AWS WAF. Если по-прежнему возвращается страница-вызов, проверьте, правильно ли отправляется решенный cookie в заголовке Cookie и что он используется немедленно после решения, поскольку cookie-вызовы могут иметь короткое время истечения срока действия.

Кроме того, выбирайте CSS-селекторы, которые достаточно специфичны для точного таргетинга данных, но не настолько хрупки, чтобы незначительные изменения макета страницы нарушали извлечение. Общий селектор, такой как .price, может работать на многих страницах, но более точный селектор может уменьшить количество ложных срабатываний, если страница содержит несколько элементов, похожих на цену. Для критически важного мониторинга продукта желательно хранить как необработанное извлеченное значение, так и его разобранный числовой эквивалент, что позволяет проводить тщательный аудит изменений цен с течением времени.

Наконец, всегда рассматривайте этот воркфлоу как часть процесса исследования рынка, соответствующего нормативным требованиям. Мониторьте только те страницы, к которым вы авторизованы иметь доступ, и соблюдайте все применимые условия обслуживания и юридические положения.

Заключение

Шаблон n8n «Мониторинг цен на продукты, защищенные AWS WAF, с планировщиком и вебхуком» предлагает мощную отправную точку для мониторинга цен в электронной коммерции и исследования рынка на веб-сайтах, защищенных AWS WAF. Он эффективно сочетает передовые возможности CapSolver по решению AWS WAF с интуитивно понятными функциями визуальной автоматизации n8n. Эта синергия позволяет командам получать защищенные страницы продуктов, извлекать критически важные данные о ценах, отслеживать изменения с течением времени и запускать своевременные оповещения, причем все это без необходимости разрабатывать сложный скрейпер с нуля.

Для воркфлоу, требующих мониторинга защищенных страниц продуктов, этот шаблон предоставляет все необходимые компоненты: запланированные проверки, выполнение по вебхуку, разрешение AWS WAF, получение страниц на основе cookie, извлечение HTML-данных, сравнение постоянных данных и структурированные оповещения.

Начните мониторить цены уже сегодня!

Не упустите возможность оптимизировать ваши процессы анализа цен. Импортируйте шаблон n8n, настройте его под свои нужды и используйте CapSolver для преодоления защит, чтобы всегда быть в курсе рыночных изменений.

Часто задаваемые вопросы

Что такое шаблон CapSolver для n8n для мониторинга цен?

Это шаблон воркфлоу n8n, разработанный CapSolver для мониторинга цен на продукты на веб-сайтах, защищенных AWS WAF. Он автоматизирует процесс решения задач AWS WAF, получения страниц продуктов, извлечения данных, сравнения текущих значений с предыдущими и отправки оповещений при обнаружении изменений.

Может ли этот воркфлоу работать автономно?

Да, шаблон настроен для автоматической работы. Он включает запланированный триггер, с первоначальными инструкциями, предлагающими интервал «Каждые 6 часов», который можно настроить в соответствии с конкретными частотами мониторинга.

Можно ли запускать воркфлоу по запросу?

Конечно. Шаблон поддерживает выполнение через вебхук, позволяя внешним приложениям, дашбордам или сервисам инициировать проверку цены продукта и мгновенно получать результаты.

Требует ли AWS WAF обычно ключ сайта?

В большинстве случаев AWS WAF не требует публичного ключа сайта. Обычно websiteURL является основным параметром, хотя для конкретных или сложных реализаций могут использоваться дополнительные параметры.

Как следует отправлять токен AWS WAF?

Разрешенный токен AWS WAF следует отправлять как cookie внутри HTTP-заголовка Cookie, а не как поле при отправке формы.

Какие основные настройки необходимо выполнить перед использованием шаблона?

Ключевые настройки включают: конфигурацию учетных данных API CapSolver, корректировку расписания мониторинга, обновление целевого URL продукта, уточнение CSS-селекторов для извлечения цены и названия продукта, а также настройку вебхука, если требуются проверки по запросу.