Що таке розширення Scraping Camel?#

Scraping Camel — це розширення, яке автоматично й безперервно обходить (сканує) вебсторінки, завантажує з них інформацію і зберігає ці дані в машинозчитуваному фіді даних (CSV) або надає їх через API іншим розширенням (наприклад, Mergado Marketing Buddy). Воно працює як серверний скрапер, що діє безперервно, тобто дані постійно оновлюються без потреби запускати програмне забезпечення на локальному комп’ютері.

Розширення ідеально підходить для отримання даних, які недоступні у звичайних товарних фідах, як-от інформація з категорій, блогів, статичних сторінок або із сайтів, які взагалі не мають фідів.

Для кого воно підходить:

  • Фахівці з PPC – Для створення автоматизованих кампаній (наприклад, DSA або Performance Max) на основі даних з усього сайту.
  • Фахівці з SEO – Для безперервного моніторингу сторінок, SEO-аудитів і аналізу ключових слів у реальному часі.
  • Власники інтернет-магазинів – Яким потрібно створити товарні фіди там, де їхня система їх не пропонує, або які хочуть доповнити фіди відсутніми даними (наприклад, параметрами, наявністю на складі, зображеннями).
  • Сайти без кошика – Як-от каталоги послуг, онлайн-журнали, корпоративні сайти чи оптові каталоги, яким Scraping Camel дає змогу увійти у світ фід-маркетингу.
  • Контент-фахівці та менеджмент – Для контролю результатів роботи й отримання огляду вмісту та структури вебсторінок.

Ціна та виставлення рахунків#

Ціна розширення:

  • 986 CZK на місяць при щомісячному виставленні рахунків,
  • 788,80 CZK на місяць при щорічному виставленні рахунків.

Ціна встановлена для одного інтернет-магазину (у Mergado) і є фіксованою, незалежно від кількості створених проєктів (вебсайтів) або аналізів ключових слів.

З огляду на технічну залежність рахунки за розширення виставляються відповідно до частоти виставлення рахунків, вибраної в Mergado Editor. Для окремих послуг не можна вибрати різну частоту виставлення рахунків.

Розширення Scraping Camel має 30-денний безкоштовний пробний період.

Чи можна увімкнути Scraping Camel і без Mergado?#

Scraping Camel можна використовувати і без платного проєкту в Mergado. Однак потрібно створити обліковий запис у Mergado для авторизації користувачів і виставлення рахунків та інтернет-магазин для керування доступом користувачів. І те, і те можна створити в Mergado безкоштовно навіть без платного проєкту.

Основні поняття, пов’язані з розширенням Scraping Camel#

  • Скрапер (краулер) – Автоматизований робот, який безперервно працює на сервері, обходить HTML-код сторінок і витягує з нього дані в машинозчитуваному вигляді.
  • Ключове слово – Вираз або словосполучення, яке Scraping Camel автоматично генерує безпосередньо з тексту вебсторінки. Ключові слова характеризують вміст сторінки та її основну тему.
  • Елемент – Конкретне поле даних, що містить інформацію, яку Scraping Camel завантажує із сайту. Елементи поділяються на:
    • Системні – Попередньо визначені поширені SEO-елементи (Title, H1, Meta Description тощо).
    • Власні – Поля, визначені користувачем (наприклад, ціна, наявність на складі).
    • ШІ-елементи – Поля, згенеровані штучним інтелектом без потреби ручного налаштування (ключові слова, визначення мови, кількість слів).
  • Масові елементи – Особливий тип елементів, для яких Scraping Camel не зупиняється на першій знахідці, а зберігає всі входження на відповідній сторінці.
  • Валідатор – Умова або правило, яке автоматично й безперервно перевіряє стан сайту та попереджає про технічні чи SEO-помилки.
  • Інверсний експорт – Особливий тип вихідного CSV-файлу для ключових слів, де первинним ключем є URL-адреса, якій призначено всі знайдені ключові слова (підходить для PPC-кампаній).
  • Оцінка – Числове значення, що виражає міру значущості (релевантність) ключового слова для конкретної вебсторінки.
  • Фраза – Сполучення двох і більше слів, яке користувач визначає, щоб під час аналізу воно оброблялося як одне ціле (одне ключове слово).
  • Стоп-слова – Список слів, які слід ігнорувати під час генерування ключових слів (наприклад, сполучники, прийменники або власний бренд), щоб результат був чистішим.
  • Мітки – Інструмент для організації та кластеризації ключових слів у тематичні групи, наприклад за категоріями товарів.

Що потрібно для запуску розширення Scraping Camel#

  • Обліковий запис у Mergado Editor і створений у ньому інтернет-магазин.
  • Підтвердження зв’язку з доменом – Scraping Camel не призначений для скрапінгу чужих сайтів чи сайтів конкурентів. Тому необхідно підтвердити право власності на домен, щоб не відбувався несанкціонований скрапінг чужих сайтів.
  • Вставлення й підтвердження sitemap.xml – Файл карти сайту необхідний для роботи розширення, бо з нього Scraping Camel бере URL-адреси для завантаження. Якщо розширення не знайде карту сайту автоматично, її адресу потрібно вставити вручну.

Основні функції#

1. Отримання будь-яких даних з HTML вебсторінки#

Scraping Camel уміє отримати із сайту будь-яку інформацію, якої не містять стандартні фіди. Він безперервно обходить сайт і завантажує інформацію безпосередньо з вихідного коду сторінок, яку потім зберігає в машинозчитуваному CSV-фіді. Зібрані дані він зберігає в елементах:

  • Системні елементи – Попередньо визначені елементи, які можна активувати одним кліком. Сюди належать десятки SEO-параметрів, як-от TITLE, H1, META_DESCRIPTION, HTTP_STATUS, інформація про мікроформати (Open Graph, картки Twitter) або ідентифікатори кодів вимірювання (GTM, GA).
  • Власні елементи – Дають змогу отримати специфічні дані, яких не охоплюють системні елементи (наприклад, ціну, наявність на складі, параметри, автора статті чи навігаційний ланцюжок). Ви визначаєте їх самі або за допомогою регулярних виразів, або зазначенням тексту «перед і після» потрібного значення.
  • Scraping Camel AI – Елементи, згенеровані штучним інтелектом, які автоматично аналізують вміст без потреби ручного налаштування. На відміну від звичайних елементів, їхній вміст визначаєте не ви: розширення отримує його автоматично завдяки штучному інтелекту. Отже, Scraping Camel сам визначить мову (SC_DETECTED_LANGUAGE), кількість слів на сторінці (SC_NUMBER_OF_WORDS), згенерує основний заголовок сторінки (SC_MAIN_TITLE), а також ключові слова для відповідної сторінки (SC_WORDS_COUNT, SC_WORDS_TUPLES_COUNT, SC_WORDS_AGG_MIN_FREQ_3). Дізнайтеся більше про ШІ-елементи.

⚠️ Scraping Camel не рендерить JavaScript, він працює лише на основі HTML. Якщо вміст прихований за скриптами, розширення не зможе його витягти.

2. Масові елементи#

На відміну від звичайних елементів, які зберігають лише перше входження в коді, масові елементи зберігають усі входження на відповідній сторінці. Завдяки цьому ви можете отримати:

  • Зворотні посилання – Отримаєте список усіх посилань на сторінці разом з їхнім текстом і HTTP-кодом цільової URL-адреси. Так легко виявите, наприклад, непрацюючі посилання.
  • Зображення – Отримаєте адреси всіх зображень на сторінці, їхні альтернативні тексти (alt), розмір файлу й тип вмісту. Ця функція ключова для виявлення непрацюючих посилань (помилка 404) або надто великих зображень, які сповільнюють сайт.

3. Безперервна SEO-валідація та моніторинг#

Scraping Camel працює як SEO-аудит, що безперервно виконується на сервері. Він містить 35 системних валідаторів, які постійно перевіряють технічний стан сайту (наприклад, відсутній H1, надто довгі заголовки, URL-адреси, заборонені в robots.txt) і попереджають про помилки. Ви також можете створювати власні валідатори для специфічних перевірок, як-от наявність кодів вимірювання (GTM, GA) або перевірка унікальності вмісту.

4. Автоматизований аналіз ключових слів#

Scraping Camel дає змогу створювати комплексні аналізи ключових слів із вмісту сайту, які самі оновлюються під час кожної зміни на сторінках.

5. Розширене керування скрапінгом#

У Scraping Camel ви маєте повний контроль над тим, як і що має завантажуватися з вашого сайту.

  • Фільтрування URL – Можете виключити певні частини сайту (наприклад, блог) і так скрапити лише вибрані розділи (наприклад, категорії), що заощаджує ресурси сервера й робить вихідний фід зрозумілішим.
  • Обмеження запитів – Визначите частоту та швидкість завантаження, щоб не перевантажити сайт і щоб захист Anti-DDoS не заблокував скрапер.
  • Планування оновлень – Виберете, як часто Scraping Camel має перевіряти зміни на вже завантажених сторінках (один раз, щодня, кожні три дні, щотижня, щомісяця).

6. Універсальні вихідні дані та API#

Усі отримані дані доступні в універсальному CSV-файлі, який можна завантажити в Mergado Editor як окремий фід або приєднати до наявного проєкту за допомогою правила Data file import. Дані також доступні через API, що дає змогу використовувати їх в ШІ-інструментах, як-от Mergado Marketing Buddy.

Приклади використання на практиці#

  • Автоматизація PPC-кампаній (DSA і PMax) – Scraping Camel створює ідеальні вихідні дані для динамічних пошукових оголошень (DSA) і кампаній Performance Max. Він надає списки URL-адрес з їхнім вмістом (так звані фіди сторінок) та «інверсні експорти» з найрелевантнішими ключовими словами для кожної сторінки.
  • Створення фідів для сайтів без кошика – Дає змогу залучити до фід-маркетингу й каталоги, онлайн-журнали чи портали нерухомості, які зазвичай не мають товарних фідів. Scraping Camel створить файл даних безпосередньо з їхнього HTML-коду.
  • Доповнення наявних фідів відсутніми даними – Якщо система вашого інтернет-магазину не експортує у фід важливі параметри (наприклад, колір, матеріал, детальну наявність на складі або коди товарів), Scraping Camel витягне їх безпосередньо із сайту, і потім ви зможете доповнити ними фід у Mergado Editor.
  • Підготовка фідів категорій – Допомагає фахівцям з PPC створювати специфічні кампанії, націлені на категорії сайту, для яких інтернет-магазини зазвичай не генерують фіди.
  • Безперервний SEO-аудит на рівні сторінок – Замість разових перевірок Scraping Camel автоматично й безперервно стежить, наприклад, за станом заголовків сторінок, заголовків H1 чи метаописів. Він попередить про їх відсутність, дублікати або невідповідну довжину.
  • SEO на основі даних і бізнес-звіти – Дає змогу фахівцям поєднувати технічні SEO-параметри (наприклад, оцінку ключових слів) з бізнес-інформацією (ціна, маржа, продажі) для ухвалення стратегічних рішень.
  • Контроль якості вмісту – За допомогою ШІ виявляє сторінки з надто малою кількістю слів, автоматично визначає мову сторінки (наприклад, неперекладені товари від іноземного постачальника) і генерує ключові слова, що відображають тему сторінки.
  • Аудит посилань і зображень – За допомогою масових елементів виявляє непрацюючі посилання та зображення (помилка 404), відсутні альтернативні тексти (alt) або надто великі файли зображень, які сповільнюють сайт.
  • Моніторинг технічних елементів і кодів вимірювання – Перевіряє наявність ідентифікаторів Google Analytics або Google Tag Manager на всіх підсторінках, щоб не виникали прогалини у вимірюванні даних.
  • Відстеження змін і нових сторінок – Завдяки елементу DISCOVERED дає змогу відфільтрувати сторінки, які з’явилися на сайті за останній тиждень чи місяць, що корисно для огляду розвитку великих проєктів.

Чому необхідно підтвердити право власності на домен#

Підтвердження домену — це необхідний крок безпеки, який ви маєте виконати, перш ніж Scraping Camel почне завантажувати дані з вашого сайту. Головна причина в тому, що це розширення призначене виключно для обробки власних вебсайтів або сайтів ваших клієнтів чи партнерів.

Чому запроваджено цей захід?#

  • Запобігання скрапінгу конкурентів – Розширення не має на меті давати змогу видобувати дані з чужих баз даних чи стежити за сайтами конкурентів.
  • Правовий та етичний аспект – Видобування чужих даних без згоди власника може бути незаконним, і власник сайту може бути не згоден з таким видобуванням даних. Якщо ж він погоджується на скрапінг (наприклад, ваш оптовий постачальник), він може підтвердити домен і так надати вам доступ.
  • Захист приватності й даних – Scraping Camel обробляє дані лише з доменів, зв’язок з якими користувач підтвердив, а це гарантує, що з налаштуваннями розширення завжди працює уповноважена особа з вашої команди або агентства.
  • Керування доступом – Завдяки прив’язці до інтернет-магазину в Mergado можна легко керувати правами користувачів, а в разі завершення співпраці передати клієнтові налаштування разом із даними, отриманими скрапінгом.

Як підтвердити домен?#

У майстрі створення нового вебсайту можете вибрати один із чотирьох методів, який вам найбільше підходить:

  1. Google Search Console (GSC) – Найпростіший і найшвидший метод, особливо для маркетингових фахівців та агентств. Якщо ви вже маєте доступ до домену в GSC, Scraping Camel через API з’єднається зі службою Google і перевірить, чи маєте ви право працювати з доменом.
  2. Запис DNS TXT – У налаштування DNS у свого постачальника домену ви вставите специфічний текстовий рядок, який вам згенерує Scraping Camel. Цей метод постійний і не залежить від змін у коді сайту, однак треба стежити за правильним налаштуванням піддоменів (наприклад, www або без www). Більше подробиць знайдете в статті Як підтвердити право власності на домен у Scraping Camel за допомогою DNS.
  3. Метатег – У заголовну частину вихідного коду сайту (між тегами і ) ви вставите короткий код. Цей спосіб ідеально підходить для користувачів платформ Shoptet і WordPress.
  4. HTML-файл – На сервер свого сайту (у кореневий каталог) ви завантажите згенерований HTML-файл. Scraping Camel потім перевірить наявність цього файлу за вашою URL-адресою.

Робота в Scraping Camel#

Розширення активуєте в Mergado Store: I want to activate → виберіть інтернет-магазин, для якого хочете увімкнути розширення → Enable.

В інтерфейсі розширення Scraping Camel ви побачите в меню два головні розділи:

  • Websites
  • Keywords

Websites #

Ця частина — основне місце для керування вашими проєктами (вебсайтами). Тут ви побачите список усіх створених вебсайтів, причому одна позиція в списку відповідає даним з одного конкретного домену. Кількість доменів, які можна обробляти в одному екземплярі (одному запуску) розширення, не обмежена. Проте агентствам ми рекомендуємо використовувати розширення окремо – завжди один екземпляр Scraping Camel для одного клієнта.

У верхній частині цього розділу ви знайдете кнопку New website, якою запустите майстер додавання нового сайту. Усі налаштування, які ви зробите в майстрі, потім можна редагувати на окремих вкладках у межах конкретного створеного проєкту.

Для ефективного керування, особливо якщо ви керуєте десятками доменів, можете використовувати фільтрування, наприклад за датою створення (підходить для моніторингу змін за останній тиждень) або за станом обробки сторінки. Фільтри можна використовувати також на окремих вкладках у межах конкретного проєкту.

Після кліку на конкретний проєкт (вебсайт) відкриється зрозумілий інтерфейс із кількома вкладками – Overview, File Exports, Pages, Elements, Bulk Elements, Validation, Settings.

1. Overview #

Ця сторінка слугує початковим екраном проєкту з найважливішими даними. Тут ви побачите адреси вихідних фідів (експорти в CSV) і можливість їх завантажити.

Тут також можна стежити за станом завантаження. Оскільки Scraping Camel обходить сайт дбайливо, щоб не перевантажити його й не бути заблокованим захистом Anti-DDoS, завантаження тисяч сторінок триває певний час залежно від ваших налаштувань лімітів.

2. File Exports #

Тут ви керуєте вихідними даними, які розширення отримало із сайту. Можете створити будь-яку кількість експортів (кліком на кнопку Create new export file) з різними назвами для різних цілей (наприклад, фід для DSA-кампаній або SEO-аналізу). У налаштуваннях експорту ви самі виберете, які елементи має містити підсумковий CSV, і визначите їхній точний порядок.

3. Pages #

Список усіх конкретних URL-адрес, які Scraping Camel знайшов на вашому сайті. Після кліку на конкретну адресу побачите огляд усіх елементів з їхніми конкретними значеннями, які вдалося завантажити з відповідної сторінки.

4. Elements #

На цій сторінці ви знайдете список елементів, які ви визначили в майстрі під час створення нового вебсайту. Це елементи, які Scraping Camel має шукати на сайті. Кліком на кожен конкретний елемент відобразите значення цього елемента для окремих сторінок.

Кліком на Edit elements їх можна редагувати. Ліворуч тоді з’явиться список елементів, а праворуч ви побачите попередній перегляд HTML-коду сторінки. Те, чи завантажуватимуться елементи, ви визначаєте, позначивши їх у списку ліворуч.

Елементи тут поділено на категорії:

  • Found elements – Системні елементи, які Scraping Camel зміг знайти в HTML-коді.
  • Not found elements – Системні елементи, які Scraping Camel не зміг знайти в HTML-коді.
  • AI elements – Елементи, згенеровані штучним інтелектом. Більше інформації в статті Що таке Scraping Camel AI?
  • Custom elements – У цій частині ви створюєте власні елементи, значення яких визначаєте або регулярними виразами, або як «текст перед/після».

5. Bulk Elements #

Особливі елементи, призначені для завантаження даних, які трапляються на одній сторінці кілька разів. На відміну від звичайних елементів, Scraping Camel не зупиняється на першій знахідці, а зберігає всі входження на відповідній сторінці. Це такі елементи:

  • IMAGES (Зображення) – Містить інформацію про URL зображення, його альтернативний текст, розмір файлу й тип (наприклад, image, jpg).
    💡 В огляді на сторінці Bulk Elements розмір зображень відображається в кілобайтах (KB), проте в налаштуваннях правила валідації використовуються байти (B).
  • LINKS (Зворотні посилання) – Містить інформацію про цільову URL-адресу, текст усередині посилання і HTTP-код стану цільової адреси.

Видобування цих даних ресурсоємне, тому їх завантаження потрібно запускати вручну кнопкою Run extraction.

Для масових елементів можна запускати системні й власні валідатори. Так легко отримаєте списки непрацюючих зображень (помилка 404), зображень без опису або надто великих файлів, які сповільнюють завантаження сайту.

6. Validation #

Сторінка слугує безперервним і комплексним SEO-аудитом вашого сайту, що виконується безпосередньо на сервері. На відміну від класичних настільних інструментів, які потрібно запускати вручну, Scraping Camel перевіряє стан сайту автоматично відповідно до вашого плану оновлення даних. Оскільки він працює онлайн, доступ до актуальних результатів валідації можуть мати одночасно кілька членів команди.

Тут ви активуєте до 35 системних валідаторів, що охоплюють ключові сфери SEO (наприклад, відсутній H1, надто довгі заголовки, відсутній метаопис, непрацюючі сторінки тощо). Ці валідатори можна вмикати/вимикати й редагувати відповідно до своїх потреб (кнопка Edit default validators).

Крім того, можете створювати власні валідатори для специфічних потреб (кнопка New custom validator). Завдяки ним легко проконтролюєте, наприклад, наявність кодів вимірювання (GTM, GA), перевірите унікальність вмісту або специфічні параметри, як-от автор статті чи категорія.

Результати валідації ви побачите в зрозумілій таблиці, де їх упорядковано за серйозністю й позначено кольоровими значками. Після розгортання відповідного валідатора з’явиться список усіх URL-адрес, яких стосується помилка/попередження/повідомлення.

  • 🔴 Червоний значок (Серйозна помилка): Критичні недоліки, які потребують негайної уваги (наприклад, непрацююча URL-адреса 404 або відсутній TITLE).
  • 🟠 Помаранчевий значок (Попередження): Помилки, які варто виправити, але сайт працює (наприклад, надто довгий Meta Description).
  • 🔘 Сірий значок (Повідомлення/Інформація): Менш серйозні стани або рекомендації щодо покращення.
  • 🟢 Зелені значки (Усе гаразд): Відображаються біля валідаторів, де жодна з перевірених позицій не відповідає умові помилки.

Щоб валідація даних була успішною, на вкладці Elements мають бути активовані (позначені) ті елементи, які має перевіряти валідатор (наприклад, якщо хочете валідувати H1, елемент H1 має бути активним для завантаження). Швидкість оновлення результатів валідації залежить від налаштованої частоти завантаження сторінок на вкладці Settings.

7. Settings #

На окремих вкладках тут можна редагувати технічні параметри скрапінгу.

а. Page settings

Зміна назви проєкту або домену.

б. Request throttling

Можете змінити частоту та швидкість, з якою Scraping Camel звертатиметься до вашого сайту. Ці параметри ключові для того, щоб сайт було оброблено в розумний час, але водночас щоб не сталося його перевантаження або блокування скрапера захистом Anti-DDoS.

  • Page download frequency – Як часто Scraping Camel має перевіряти зміни на сторінках, які він уже один раз успішно завантажив і знає. Тоді як нові сторінки (які з’явилися в карті сайту вперше) розширення намагається завантажити якнайшвидше (зазвичай щодня), для відомих сторінок можете вибрати з інтервалів – лише один раз (і більше ніколи не оновлювати), щодня, кожні три дні, щотижня або щомісяця.
  • Number of page downloads per interval – Визначає розмір пакета, тобто скільки сторінок має оброблятися одночасно в межах одного часового відрізка. Якщо в це поле ввести, наприклад, значення 5, це означає, що розширення в кожному визначеному часовому відрізку надішле запит на завантаження 5 URL-адрес.
  • Page download interval – Визначає часову затримку між окремими пакетами завантаження. Якщо, наприклад, установите інтервал 500 мс, розширення щопівсекунди намагатиметься завантажити встановлену кількість сторінок (яку ми визначили в полі Number of page downloads per interval).

в. AI settings

Керування параметрами для генерування ключових слів і списків стоп-слів. Тут можна визначити, наприклад, мінімальну довжину ключових слів, поріг оцінки (мінімальну відсоткову значущість, яку має мати слово, щоб потрапити до добірки ключових слів), правила обробки цифр, установити так звані стоп-слова (вирази, які ШІ має повністю ігнорувати під час створення ключових слів) або задати фрази (багатослівні сполучення, які алгоритм має обробляти разом як одне ключове слово). Більше інформації в статті Що таке Scraping Camel AI?.

г. Page processing rules

За допомогою правил ви визначите, які сторінки мають завантажуватися (усе інше буде проігноровано) або навпаки виключатися із завантаження (завантажиться все, крім них). Можна, наприклад, завантажувати лише категорії й натомість виключити сторінки блогу. Це значно заощадить ресурси вашого сервера, скоротить час оновлення даних і очистить вихідний CSV-фід від непотрібних даних.

Умови для вибору URL можна визначити двома способами:

  • Рядком з URL – Ви вводите частину адреси (наприклад, /блог/ або /товар/).
  • Регулярним виразом – Для складнішого й точнішого фільтрування (наприклад, для URL-адрес, що закінчуються певним числом).

Сторінки, які не відповідають вашим правилам, у списку на вкладці Pages хоч і з’являться (щоб огляд вмісту карти сайту був повним), але будуть позначені червоним символом. Ці сторінки не скрапитимуться й не експортуватимуться у вихідні файли.

Keywords #

Ця частина слугує для автоматичного генерування й керування фідами даних із ключовими словами, знайденими безпосередньо на ваших вебсторінках. На відміну від розділу Websites, де первинним ключем є URL-адреса, у цьому модулі відправною точкою є конкретне ключове слово, якому призначено релевантні сторінки та метрики.

На цій сторінці ви побачите список усіх створених аналізів ключових слів. Новий аналіз створите кнопкою New keyword analysis, де виберете домен (один або й кілька), з якого мають братися дані.

Після розгортання конкретного аналізу відкриється зрозумілий інтерфейс із кількома вкладками – Overview, File Exports, Labels, Variants, Diagnostics, Validation і Settings.

1. Overview #

Тут ви знайдете список усіх знайдених ключових слів. Для кожного ключового слова в таблиці побачите:

  • його текст (елемент KEYWORD),
  • URL цільової сторінки, яка має для відповідного слова найвищу виміряну релевантність, тобто найвищу оцінку (елемент URL),
  • числове значення, що виражає найвищу оцінку релевантності цільової сторінки для відповідного слова (елемент TOP_SCORE),
  • кількість усіх сторінок на сайті, на яких це слово потрапило до топових ключових слів, тобто перевищило встановлений поріг значущості (елемент PAGES_COUNT),
  • дані про частоту пошуку і CPC (ціну за клік), якщо вони для відповідного слова доступні,
  • статус, тобто чи активне ключове слово,
  • чи призначено йому мітки,
  • дату й час першої знахідки.

Зі списку можна перейти безпосередньо на сторінку результатів пошуку Google, щоб перевірити реальні результати пошуку для відповідного виразу. Окремі слова можна в списку активувати або деактивувати, що потім відобразиться в експорті. Після кліку на ключове слово з’явиться список усіх сторінок, релевантних для цього ключового слова.

2. File Exports #

У цій частині можна керувати CSV-файлами для аналізу ключових слів та експортувати їх. Для експорту ви виберете елементи, які має містити файл, і встановите їхній порядок. На вибір є два типи експортів:

  • Класичний експорт (кнопка Create classic export file) – Таблиця, де кожному ключовому слову відведено один рядок з вибраною додатковою інформацією.
  • Інверсний експорт (кнопка Create reverse export file) – Особливий формат, який дані «перевертає». Первинним ключем є URL-адреса, якій у наступному стовпці призначено всі релевантні ключові слова. Цей формат ідеально підходить для створення DSA-кампаній або кампаній Performance Max у Google Ads.

3. Labels #

Слугують для організації ключових слів у тематичні групи. В інтернет-магазинах їх найчастіше використовують для розподілу слів за категоріями товарів (наприклад, мітка «холодильники», «пралки» тощо). Мітки можна призначати словам масово або окремо в деталях ключового слова.

Після розгортання мітки з’явиться список призначених їй ключових слів.

4. Variants #

Ця вкладка слугує для ручного об’єднання різних форм одного слова. Scraping Camel хоч і автоматично намагається розпізнати, що, наприклад, слова «пралка», «пралки» чи «пралкою» пов’язані між собою, але іноді він пропускає якусь складнішу форму чи відмінок.

У цьому розділі ви можете вручну підказати системі та об’єднати ці вирази під одним головним словом. Наприклад, визначити, що слово «агентств» має зараховуватися як варіант слова «агентство». Результатом буде значно чистіший і зрозуміліший аналіз, у якому дані не розпорошуються на багато схожих рядків.

5. Diagnostics #

Діагностика допоможе вам виявити, чи тексти на ваших сторінках справді говорять про те, що ви продаєте, чи вони переповнені нерелевантними словами, які спотворюють результати аналізу.

Scraping Camel бере всі знайдені ключові слова (зокрема багатослівні фрази), розбиває їх на окремі слова і підраховує, скільки разів кожне з них трапляється на всьому сайті. Завдяки цьому ви одразу побачите, які слова на вашому сайті домінують.

Якщо ви виявите, що найчастішим словом у вашому інтернет-магазині є, наприклад, «ПДВ», «cookies» або «в наявності», це для вас важливий сигнал. Це означає, що ці технічні або загальні слова в аналізі «перебивають» важливі ключові слова, які справді описують ваші товари. Щойно ви виявите такі вирази в діагностиці, можете на вкладці Validation додати їх до стоп-слів. Так ви очистите аналіз, і в огляді залишаться лише ті слова, які мають справжнє значення для вашого маркетингу.

6. Validation #

Вкладка Validation слугує для автоматичного очищення, упорядкування й підвищення якості всього вашого набору даних ключових слів. Тут можна налаштувати правила валідації (валідатори), завдяки яким ви забезпечите, щоб підсумковий експорт ключових слів був максимально релевантним для вашого маркетингу і не містив зайвих даних. Завдяки валідаторам набір даних очищується безперервно й автоматично у фоновому режимі, тож залишається якісним без потреби постійних ручних утручань.

За допомогою правил валідації можна масово налаштувати, наприклад:

  • Заборона слів (стоп-слова) – Якщо в аналізі ви виявите слова, які для вас некорисні (наприклад, загальні вирази як-от «ПДВ», «в наявності», «кошик» або ваш власний бренд, який перебиває унікальні ключові слова), тут можна налаштувати правила для їх остаточного виключення з аналізу.
  • Об’єднання у фрази – Можна визначити правила, які об’єднають два й більше слів в одне ціле (фразу), наприклад «Bidding Fox» або «Google Analytics». Scraping Camel потім працює з цими фразами як з одним ключовим словом, що підвищує точність оцінювання й релевантність результатів.
  • Автоматичне призначення міток – За допомогою валідаторів можна також автоматично призначати мітки ключовим словам на основі визначених умов. Це важливо для так званої кластеризації, тобто групування слів у логічні цілі, наприклад за товарними групами (холодильники, пралки, мобільні телефони).

7. Settings #

У Settings ви зміните основні параметри аналізу, як-от його назву або список ігнорованих символів. Ця функція ключова для видалення небажаних складників із текстів, з яких генеруються ключові слова. Вона дає змогу визначити список конкретних символів і знаків, які Scraping Camel має під час аналізу повністю пропускати. Так ви забезпечите більшу чистоту даних і запобіжите створенню нерелевантних ключових слів.

Усі наведені тут параметри ви налаштовуєте в майстрі під час створення нового аналізу. Тоді ж ви вибираєте також один або кілька вебсайтів, з яких мають братися дані. Це налаштування діє назавжди, і пізніше на вкладці Settings його змінити не можна. Якщо вам потрібно проаналізувати інший домен, доведеться створити зовсім новий аналіз.

Захист приватності та поводження з даними#

Scraping Camel обробляє виключно дані із загальнодоступних вебсторінок, щодо яких користувач доказово підтвердив своє право власності або зв’язок із доменом. Усі отримані дані вважаються приватними, не надаються жодним третім сторонам, і користувач повністю контролює їхній обсяг безпосередньо в адмініструванні розширення. У разі видалення проєкту всі пов’язані дані остаточно видаляються протягом 14 днів, зокрема й з резервних систем, які слугують лише для відновлення розширення в разі технічних збоїв.

Часті запитання#

Що таке Scraping Camel і для чого він слугує?#

Scraping Camel — це розширення, яке автоматично й безперервно обходить вебсторінки, завантажує з них дані та зберігає їх у CSV-фіді або надає через API. Він безперервно працює на сервері, тож дані постійно оновлюються без потреби вручну запускати програмне забезпечення на вашому комп’ютері. Він стане в пригоді всюди, де вам потрібно отримати дані, недоступні у звичайних товарних фідах.

Для кого підходить Scraping Camel?#

Ним користуються насамперед фахівці з PPC і SEO, власники інтернет-магазинів, адміністратори сайтів без кошика (каталоги, онлайн-журнали, корпоративні сайти) і контент-менеджери. Інструмент універсальний – він допоможе з автоматизованим створенням кампаній, SEO-аудитами, аналізом ключових слів і контролем якості вмісту.

Скільки коштує Scraping Camel?#

Ціна становить 986 CZK на місяць при щомісячному виставленні рахунків або 788,80 CZK на місяць при щорічному виставленні рахунків. Ціна фіксована для одного інтернет-магазину незалежно від кількості створених проєктів (вебсайтів) або аналізів ключових слів. Доступний 30-денний безкоштовний пробний період.

Чи потрібен мені платний проєкт у Mergado, щоб Scraping Camel працював?#

Ні. Scraping Camel можна використовувати і без платного проєкту в Mergado. Досить безкоштовно створити обліковий запис Mergado і в ньому інтернет-магазин для входу, виставлення рахунків і керування доступом.

Які умови для запуску Scraping Camel?#

Вам потрібні три речі – обліковий запис Mergado з інтернет-магазином, підтверджене право власності на домен, який ви хочете скрапити, і робочий файл sitemap.xml, з якого розширення бере список URL-адрес.

Чому я маю підтверджувати право власності на домен?#

Scraping Camel призначений виключно для обробки власних сайтів або сайтів ваших клієнтів. Підтвердження домену запобігає зловживанню інструментом для скрапінгу чужих сайтів чи сайтів конкурентів і гарантує, що з даними завжди працює уповноважена особа.

Як я можу підтвердити домен?#

Доступні чотири методи: через Google Search Console (найшвидший варіант для агентств), через запис DNS TXT (постійний метод, незалежний від коду сайту), вставленням метатегу в заголовну частину сайту (підходить для Shoptet і WordPress) або завантаженням HTML-файлу на сервер.

Чи працює Scraping Camel і на сайтах, побудованих на JavaScript?#

Ні. Розширення працює лише з HTML-кодом сторінок і не рендерить JavaScript. Якщо будь-який вміст сторінки залежить від JavaScript, Scraping Camel не зможе його витягти.

Які дані можна отримати за допомогою Scraping Camel?#

Практично все, що міститься в HTML-коді сторінки. Дані потім зберігаються або в попередньо визначених системних елементах (Title, H1, Meta Description, HTTP-статус, коди GTM/GA тощо), або у власних елементах, визначених регулярним виразом чи текстом «перед і після», або в автоматично згенерованих ШІ-елементах (ключові слова, мова сторінки, кількість слів, заголовок сторінки).

Що таке масові елементи і чим вони відрізняються від звичайних?#

У звичайному елементі зберігається перше входження відповідного значення на сторінці. Масові елементи зберігають усі входження. Зокрема, вони зберігають повний список усіх зображень (зокрема альтернативних текстів і розміру файлу) або всіх посилань (зокрема HTTP-кодів стану) на відповідній сторінці. Завантаження інформації в ці елементи запускається вручну, бо воно ресурсоємніше.

Як працює SEO-валідація в Scraping Camel?#

Scraping Camel містить 35 системних валідаторів, які безперервно перевіряють технічний стан сайту й попереджають про такі помилки, як відсутній H1, надто довгі заголовки або непрацюючі сторінки. Результати розрізнено кольорами за серйозністю, і вони доступні онлайн. Крім системних валідаторів, можна створювати й власні.

Як Scraping Camel допоможе з PPC-кампаніями?#

Він створює фіди сторінок з URL-адресами та їхнім вмістом, які ідеально підходять для DSA-кампаній і Performance Max. Можна отримати також інверсні експорти ключових слів – CSV-файли, де первинним ключем є URL-адреса, а їй призначено всі релевантні ключові слова.

Чи можу я скрапити лише частину сайту, наприклад лише категорії?#

Так. У налаштуваннях правил обробки сторінок ви визначите, які частини сайту слід скрапити, а які ігнорувати — наприклад, виключите блог і оброблятимете лише категорії. Умови можна визначити рядком з URL або регулярним виразом.

Як швидко Scraping Camel оновлює дані?#

Нові сторінки, які вперше з’являються в карті сайту, розширення намагається завантажити зазвичай щодня. Для вже відомих сторінок ви самі вибираєте частоту – один раз, щодня, кожні три дні, щотижня або щомісяця. Швидкість можна додатково регулювати налаштуванням кількості завантажень у пакеті та інтервалу між пакетами.

У якому форматі доступні вихідні дані?#

Дані експортуються як CSV-файл, який можна завантажити в Mergado Editor як окремий фід або приєднати до наявного проєкту за допомогою правила Data file import. Дані доступні також через API, наприклад для розширення Mergado Marketing Buddy.

Чи можу я в межах одного запуску розширення скрапити кілька сайтів?#

Так, кількість доменів у межах одного запуску не обмежена. Проте агентствам, які керують сайтами кількох клієнтів, рекомендується запускати для кожного клієнта окремий екземпляр розширення – це спростить керування доступом і передавання даних у разі завершення співпраці.

Що станеться з моїми даними, якщо я видалю проєкт?#

Після видалення проєкту всі пов’язані дані протягом 14 днів остаточно видаляються, зокрема й з резервних систем. Scraping Camel обробляє виключно дані із загальнодоступних сторінок з підтвердженим правом власності й не надає їх жодним третім сторонам.

Як працює аналіз ключових слів у Scraping Camel?#

У розділі Keywords ви створюєте аналіз для одного або кількох доменів. Scraping Camel автоматично генерує ключові слова з вмісту сторінок, призначає їм оцінку релевантності й безперервно їх оновлює. Дані можна впорядковувати за допомогою міток, об’єднувати різні форми слів за допомогою варіантів, очищати за допомогою стоп-слів і експортувати як класичний або інверсний CSV-файл.

Як дізнатися, що мій аналіз ключових слів містить нерелевантні слова?#

Для цього слугує вкладка Diagnostics. Scraping Camel покаже в ній, які слова трапляються на вашому сайті найчастіше. Якщо серед них домінують загальні вирази, як-от «ПДВ» або «cookies», це сигнал, що ці слова перебивають релевантні ключові слова і їх слід додати до списку так званих стоп-слів.

Пов’язані статті

Чи була ця стаття корисною?