Was ist die Erweiterung Scraping Camel?#

Scraping Camel ist eine Erweiterung, die automatisch und fortlaufend Webseiten durchsucht (crawlt), Informationen von ihnen herunterlädt und diese Daten in einem maschinenlesbaren Datenfeed (CSV) speichert oder sie über API anderen Erweiterungen bereitstellt (z. B. Mergado Marketing Buddy). Es funktioniert als serverseitiger Scraper, der nonstop läuft, wodurch Daten ständig aktualisiert werden, ohne dass Software auf einem lokalen Computer ausgeführt werden muss.

Die Erweiterung ist ideal, um Daten zu gewinnen, die in gewöhnlichen Produktfeeds nicht verfügbar sind, wie zum Beispiel Informationen aus Kategorien, Blogs, statischen Seiten oder von Webseiten, die überhaupt keine Feeds haben.

Für wen es geeignet ist:

  • PPC-Spezialisten – Für die Erstellung automatisierter Kampagnen (z. B. DSA oder Performance Max) auf Basis von Daten der gesamten Website.
  • SEO-Spezialisten – Für laufendes Monitoring von Seiten, SEO-Audits und Keyword-Analysen in Echtzeit.
  • Onlineshop-Betreiber – Die Produktfeeds erstellen müssen, wo ihr System sie nicht anbietet, oder die Feeds um fehlende Daten ergänzen möchten (z. B. Parameter, Lagerbestand, Bilder).
  • Websites ohne Warenkorb – Wie Dienstleistungskataloge, Magazine, Firmenpräsentationen oder Großhandelskataloge, denen Scraping Camel den Einstieg in die Welt des Feed-Marketings ermöglicht.
  • Content-Spezialisten und Management – Zur Kontrolle der Arbeitsergebnisse und für einen Überblick über Inhalt und Struktur der Website.

Preis und Abrechnung#

Der Preis der Erweiterung beträgt:

  • 986 CZK pro Monat bei monatlicher Abrechnung,
  • 788,80 CZK pro Monat bei jährlicher Abrechnung.

Der Preis gilt für einen Onlineshop (in Mergado) und ist fix, unabhängig von der Anzahl der erstellten Projekte (Websites) oder Keyword-Analysen.

Aufgrund der technischen Abhängigkeit wird die Erweiterung entsprechend der im Mergado Editor gewählten Abrechnungsfrequenz abgerechnet. Für einzelne Dienste können keine unterschiedlichen Abrechnungsfrequenzen gewählt werden.

Die Erweiterung Scraping Camel bietet eine 30-tägige kostenlose Testphase.

Kann Scraping Camel auch ohne Mergado aktiviert werden?#

Scraping Camel kann auch ohne kostenpflichtiges Projekt in Mergado verwendet werden. Es ist jedoch notwendig, ein Mergado-Konto für die Nutzerautorisierung und Abrechnung sowie einen Onlineshop für die Verwaltung der Nutzerzugriffe anzulegen. Beides lässt sich in Mergado kostenlos auch ohne kostenpflichtiges Projekt erstellen.

Grundbegriffe rund um die Erweiterung Scraping Camel#

  • Scraper (Crawler) – Automatisierter Robot, der nonstop auf einem Server läuft, den HTML-Code von Seiten durchsucht und daraus Daten in maschinenlesbarer Form extrahiert.
  • Schlüsselwort – Ausdruck oder Wortverbindung, die von Scraping Camel automatisch direkt aus dem Text der Webseite generiert wird. Schlüsselwörter charakterisieren den Seiteninhalt und dessen Hauptthema.
  • Element – Konkretes Datenfeld mit Informationen, die Scraping Camel von der Website herunterlädt. Elemente unterteilen sich in:
    • Systemelemente – Vordefinierte gängige SEO-Attribute (Title, H1, Meta Description usw.).
    • Eigene Elemente – Vom Nutzer definierte Felder (z. B. Preis, Lagerbestand).
    • AI-Elemente – Von künstlicher Intelligenz generierte Felder ohne manuelle Konfiguration (Schlüsselwörter, Spracherkennung, Wortanzahl).
  • Massenelemente – Spezieller Elementtyp, bei dem Scraping Camel nicht beim ersten Fund stehen bleibt, sondern alle Vorkommen auf der jeweiligen Seite speichert.
  • Validator – Bedingung oder Regel, die automatisch und nonstop den Zustand der Website kontrolliert und auf technische oder SEO-Fehler hinweist.
  • Inverser Export – Spezieller Typ der Ausgabe-CSV-Datei für Schlüsselwörter, bei dem die URL-Adresse der Primärschlüssel ist, dem alle gefundenen Schlüsselwörter zugeordnet werden (geeignet für PPC-Kampagnen).
  • Score – Numerischer Wert, der die Bedeutung (Relevanz) eines Schlüsselworts für eine konkrete Webseite ausdrückt.
  • Phrase – Wortverbindung aus zwei oder mehr Wörtern, die der Nutzer definiert, damit sie bei der Analyse als eine Einheit (ein Schlüsselwort) verarbeitet wird.
  • Stoppwörter – Liste von Wörtern, die bei der Generierung von Schlüsselwörtern ignoriert werden sollen (z. B. Konjunktionen, Präpositionen oder die eigene Marke), damit das Ergebnis sauberer ist.
  • Labels – Werkzeug zur Organisation und zum Clustering von Schlüsselwörtern in thematische Gruppen, zum Beispiel nach Produktkategorien.

Was zum Start der Erweiterung Scraping Camel benötigt wird#

  • Ein Konto im Mergado Editor mit einem darin angelegten Onlineshop.
  • Nachweis der Domainbeziehung – Scraping Camel ist nicht für das Scrapen fremder Websites oder von Wettbewerbern bestimmt. Deshalb ist es notwendig, den Domainbesitz zu verifizieren, damit es nicht zum unberechtigten Scrapen fremder Websites kommt.
  • Einfügen und Verifizieren der sitemap.xml – Die Sitemap-Datei ist für die Funktion der Erweiterung notwendig, da Scraping Camel daraus die URL-Adressen zum Herunterladen bezieht. Findet die Erweiterung die Sitemap nicht automatisch, muss deren Adresse manuell eingefügt werden.

Hauptfunktionen#

1. Gewinnung beliebiger Daten aus dem HTML einer Webseite#

Scraping Camel kann von der Website beliebige Informationen gewinnen, die Standardfeeds nicht enthalten. Es durchsucht die Website fortlaufend und lädt Informationen direkt aus dem Quellcode der Seiten herunter, die es anschließend in einem maschinenlesbaren CSV-Feed speichert. Gesammelte Daten speichert es in Elementen:

  • Systemelemente – Vordefinierte Attribute, die sich mit einem Klick aktivieren lassen. Dazu gehören Dutzende SEO-Parameter wie TITLE, H1, META_DESCRIPTION, HTTP_STATUS, Informationen zu Microformaten (Open Graph, Twitter Cards) oder IDs von Tracking-Codes (GTM, GA).
  • Eigene Elemente – Ermöglichen die Gewinnung spezifischer Daten, die Systemelemente nicht abdecken (z. B. Preis, Lagerbestand, Parameter, Autor eines Artikels oder Breadcrumb-Navigation). Sie definieren diese selbst entweder mittels regulärer Ausdrücke oder durch Angabe von Text „davor und danach" um den gewünschten Wert.
  • Scraping Camel AI – Von künstlicher Intelligenz generierte Elemente, die den Inhalt automatisch analysieren, ohne dass eine manuelle Konfiguration nötig ist. Anders als bei gewöhnlichen Elementen bestimmen Sie also nicht selbst deren Inhalt, sondern die Erweiterung gewinnt ihn automatisch mittels künstlicher Intelligenz. Scraping Camel erkennt so selbstständig die Sprache (SC_DETECTED_LANGUAGE), zählt die Wörter auf der Seite (SC_NUMBER_OF_WORDS), generiert den Haupttitel der Seite (SC_MAIN_TITLE) und auch Schlüsselwörter für die jeweilige Seite (SC_WORDS_COUNT, SC_WORDS_TUPLES_COUNT, SC_WORDS_AGG_MIN_FREQ_3). Mehr Informationen zu den AI-Elementen.

⚠️ Scraping Camel rendert kein JavaScript, es funktioniert nur auf HTML-Basis. Ist der Inhalt hinter Skripten verborgen, kann die Erweiterung ihn nicht extrahieren.

2. Massenelemente#

Im Unterschied zu gewöhnlichen Elementen, die nur das erste Vorkommen im Code speichern, speichern Massenelemente alle Vorkommen auf der jeweiligen Seite. Dadurch können Sie gewinnen:

  • Backlinks – Sie erhalten eine Liste aller Links auf der Seite samt ihrem Text und dem HTTP-Code der Ziel-URL. So erkennen Sie zum Beispiel leicht defekte Links.
  • Bilder – Sie erhalten die Adressen aller Bilder auf der Seite, ihre Alternativtexte (Alt), Dateigröße und Inhaltstyp. Diese Funktion ist entscheidend, um defekte Links (Fehler 404) oder zu große Bilder zu erkennen, die die Website verlangsamen.

3. Fortlaufende SEO-Validierung und Monitoring#

Scraping Camel funktioniert wie ein SEO-Audit, das nonstop auf dem Server läuft. Es enthält 35 Systemvalidatoren, die ständig den technischen Zustand der Website kontrollieren (z. B. fehlende H1, zu lange Titel, in robots.txt gesperrte URLs) und auf Fehler hinweisen. Sie können auch eigene Validatoren für spezifische Kontrollen erstellen, wie zum Beispiel das Vorhandensein von Tracking-Codes (GTM, GA) oder die Überprüfung der Inhaltseinzigartigkeit.

4. Automatisierte Schlüsselwort-Analyse#

Scraping Camel ermöglicht die Erstellung umfassender Schlüsselwort-Analysen aus dem Website-Inhalt, die sich bei jeder Änderung auf den Seiten selbst aktualisieren.

5. Fortgeschrittene Steuerung des Scrapens#

In Scraping Camel haben Sie die volle Kontrolle darüber, wie und was von Ihrer Website heruntergeladen werden soll.

  • URL-Filterung – Sie können bestimmte Teile der Website ausschließen (z. B. den Blog) und so nur ausgewählte Bereiche scrapen (z. B. Kategorien), was Serverleistung spart und den Ausgabefeed übersichtlicher macht.
  • Anfragenbegrenzung – Sie bestimmen Häufigkeit und Geschwindigkeit des Herunterladens, damit es nicht zur Überlastung der Website oder Blockierung des Scrapers durch Anti-DDoS-Schutz kommt.
  • Aktualisierungsplanung – Sie wählen, wie oft Scraping Camel Änderungen auf bereits heruntergeladenen Seiten kontrollieren soll (einmal, täglich, alle drei Tage, wöchentlich, monatlich).

6. Universelle Ausgaben und API#

Alle gewonnenen Daten sind in einer universellen CSV-Datei verfügbar, die als eigenständiger Feed in den Mergado Editor hochgeladen oder mit der Regel Data File Import an ein bestehendes Projekt angebunden werden kann. Die Daten sind auch über API zugänglich, was ihre Nutzung in AI-Werkzeugen wie zum Beispiel Mergado Marketing Buddy ermöglicht.

Praktische Anwendungsbeispiele#

  • Automatisierung von PPC-Kampagnen (DSA und PMax) – Scraping Camel erstellt ideale Grundlagen für dynamische Suchanzeigen (DSA) und Performance-Max-Kampagnen. Es liefert URL-Listen mit ihrem Inhalt (sogenannte Page-Feeds) und „inverse Exporte" mit den relevantesten Schlüsselwörtern für jede Seite.
  • Erstellung von Feeds für Websites ohne Warenkorb – Ermöglicht es Katalogen, Magazinen oder Immobilienportalen, die normalerweise keine Produktfeeds haben, sich am Feed-Marketing zu beteiligen. Scraping Camel erstellt eine Datendatei direkt aus ihrem HTML-Code.
  • Ergänzung fehlender Daten in bestehenden Feeds – Exportiert Ihr Onlineshop-System wichtige Parameter nicht in den Feed (z. B. Farbe, Material, detaillierten Lagerbestand oder Produktnummern), zieht Scraping Camel sie direkt von der Website und Sie können sie anschließend im Mergado Editor dem Feed hinzufügen.
  • Erstellung von Kategorie-Feeds – Hilft PPC-Spezialisten, spezifische Kampagnen zu erstellen, die auf Website-Kategorien zielen, für die Onlineshops standardmäßig keine Feeds generieren.
  • Fortlaufendes On-Page-SEO-Audit – Statt einmaliger Kontrollen überwacht Scraping Camel automatisch und fortlaufend zum Beispiel den Zustand von Titeln, H1-Überschriften oder Meta-Beschreibungen. Es weist auf deren Fehlen, Duplikate oder unpassende Länge hin.
  • Data-driven SEO und Business-Reports – Ermöglicht Spezialisten, technische SEO-Parameter (z. B. Schlüsselwort-Scores) mit Geschäftsinformationen (Preis, Marge, Verkäufe) für strategische Entscheidungen zu verknüpfen.
  • Kontrolle der Inhaltsqualität – Erkennt mittels AI Seiten mit zu geringer Wortanzahl, detektiert automatisch die Seitensprache (z. B. unübersetzte Produkte eines ausländischen Lieferanten) und generiert Schlüsselwörter, die das Thema der Seite treffend beschreiben.
  • Audit von Links und Bildern – Identifiziert mittels Massenelementen defekte Links und Bilder (Fehler 404), fehlende Alternativtexte (Alt) oder zu große Bilddateien, die die Website verlangsamen.
  • Monitoring technischer Elemente und Tracking-Codes – Überprüft das Vorhandensein von IDs für Google Analytics oder Google Tag Manager auf allen Unterseiten, damit es nicht zu Ausfällen bei der Datenmessung kommt.
  • Verfolgung von Änderungen und neuen Seiten – Ermöglicht dank des Elements DISCOVERED das Filtern von Seiten, die in der letzten Woche oder im letzten Monat auf der Website neu hinzugekommen sind, was für den Überblick über die Entwicklung großer Projekte nützlich ist.

Warum die Verifizierung des Domainbesitzes notwendig ist#

Die Domainverifizierung ist ein notwendiger Sicherheitsschritt, den Sie durchführen müssen, bevor Scraping Camel mit dem Herunterladen von Daten von Ihrer Website beginnt. Der Hauptgrund dafür ist, dass diese Erweiterung ausschließlich für die Verarbeitung eigener Websites bzw. der Websites Ihrer Kunden oder Partner bestimmt ist.

Warum wurde diese Maßnahme eingeführt?#

  • Verhinderung des Scrapens von Wettbewerbern – Ziel der Erweiterung ist es nicht, das Auswerten fremder Datenbanken oder die Beobachtung von Wettbewerbs-Websites zu ermöglichen.
  • Rechtlicher und ethischer Aspekt – Das Auswerten fremder Daten ohne Zustimmung des Eigentümers ist möglicherweise nicht legal, und der Website-Eigentümer wäre mit einem solchen Data-Mining womöglich nicht einverstanden. Stimmt er dem Scrapen jedoch zu (z. B. Ihr Großhandelslieferant), kann er die Domain verifizieren und Ihnen damit den Zugriff ermöglichen.
  • Schutz von Privatsphäre und Daten – Scraping Camel verarbeitet nur Daten von Domains, zu denen der Nutzer eine Beziehung nachgewiesen hat, was sicherstellt, dass mit den Einstellungen der Erweiterung stets eine berechtigte Person aus Ihrem Team oder Ihrer Agentur arbeitet.
  • Zugriffsverwaltung – Dank der Bindung an den Onlineshop in Mergado lassen sich Nutzerberechtigungen leicht verwalten, und bei Beendigung der Zusammenarbeit kann die Einstellung samt gescrapten Daten an den Kunden übergeben werden.

Wie Sie die Domain verifizieren#

Im Assistenten zum Anlegen einer neuen Seite können Sie eine von vier Methoden wählen, die Ihnen am besten passt:

  1. Google Search Console (GSC) – Die einfachste und schnellste Methode, besonders für Marketingspezialisten und Agenturen. Haben Sie bereits Zugriff auf die Domain in GSC, verbindet sich Scraping Camel über API mit dem Google-Dienst und überprüft, ob Sie berechtigt sind, mit der Domain zu arbeiten.
  2. DNS-TXT-Eintrag – In die DNS-Einstellungen bei Ihrem Domain-Verwalter fügen Sie eine spezifische Textzeichenfolge ein, die Ihnen Scraping Camel generiert. Diese Methode ist dauerhaft und unabhängig von Änderungen am Website-Code, allerdings müssen Sie auf die korrekte Einstellung von Subdomains achten (z. B. www vs. ohne www). Weitere Details finden Sie im Artikel Wie Sie den Domainbesitz in Scraping Camel per DNS verifizieren.
  3. Meta-Tag – In den Header des Quellcodes der Website (zwischen die Tags <head> und </head>) fügen Sie einen kurzen Code ein. Diese Methode ist ideal für Nutzer von Shoptet und WordPress.
  4. HTML-Datei – Auf den Server Ihrer Website (in das Stammverzeichnis) laden Sie eine generierte HTML-Datei hoch. Scraping Camel überprüft anschließend die Existenz dieser Datei unter Ihrer URL-Adresse.

Arbeiten in Scraping Camel#

Die Aktivierung der Erweiterung erfolgt im Mergado Store: I want to activate (Ich möchte aktivieren) → wählen Sie den Onlineshop aus, für den Sie die Erweiterung aktivieren möchten → Enable (Aktivieren).

In der Oberfläche der Erweiterung Scraping Camel sehen Sie im Menü zwei Hauptbereiche:

  • Websites (Webseiten)
  • Keywords (Schlüsselwörter)

Websites (Webseiten)#

Dieser Bereich ist der primäre Ort für die Verwaltung Ihrer Projekte (Websites). Sie sehen hier die Liste aller erstellten Websites, wobei jeder Eintrag in der Liste den Daten einer konkreten Domain entspricht. Die Anzahl der Domains, die Sie in einer Instanz (einer Aktivierung) der Erweiterung verarbeiten können, ist nicht begrenzt. Bei Agenturen empfehlen wir jedoch, die Erweiterung getrennt zu nutzen — immer eine Scraping-Camel-Instanz pro Kunde.

Im oberen Bereich dieses Abschnitts finden Sie die Schaltfläche New website (Neue Website), mit der Sie den Assistenten zum Hinzufügen einer neuen Website starten. Alle Einstellungen, die Sie im Assistenten vornehmen, können Sie anschließend in den einzelnen Reitern innerhalb des konkreten erstellten Projekts bearbeiten.

Für eine effiziente Verwaltung, besonders wenn Sie Dutzende Domains verwalten, können Sie die Filterung nutzen, zum Beispiel nach Erstellungsdatum (geeignet zum Monitoring von Änderungen der letzten Woche) oder nach Verarbeitungsstatus der Seite. Filter lassen sich auch auf den einzelnen Reitern innerhalb eines konkreten Projekts nutzen.

Ein Klick auf ein konkretes Projekt (Website) zeigt eine übersichtliche Oberfläche mit mehreren Reitern — Overview (Übersicht), File Exports (Datei-Exporte), Pages (Seiten), Elements (Elemente), Bulk Elements (Massenelemente), Validation (Validierung), Settings (Einstellungen).

1. Overview (Übersicht)#

Diese Seite dient als Startbildschirm des Projekts mit den wichtigsten Angaben. Sie sehen hier die Adressen der Ausgabefeeds (CSV-Exporte) und die Möglichkeit, diese herunterzuladen.

Sie können hier auch den Download-Status verfolgen. Da Scraping Camel die Website behutsam durchsucht, um sie nicht zu überlasten oder vom Anti-DDoS-Schutz blockiert zu werden, dauert das Herunterladen tausender Seiten je nach Ihren Limit-Einstellungen eine gewisse Zeit.

2. File Exports (Datei-Exporte)#

Hier verwalten Sie die Ausgabedaten, die die Erweiterung von der Website gewonnen hat. Sie können beliebig viele Exporte erstellen (mit der Schaltfläche Create new export file (Neue Exportdatei erstellen)) mit unterschiedlichen Namen für unterschiedliche Zwecke (z. B. einen Feed für DSA-Kampagnen oder eine SEO-Analyse). In den Export-Einstellungen wählen Sie selbst, welche Elemente die resultierende CSV-Datei enthalten soll, und bestimmen deren genaue Reihenfolge.

3. Pages (Seiten)#

Liste aller konkreten URL-Adressen, die Scraping Camel auf Ihrer Website entdeckt hat. Nach Klick auf eine konkrete Adresse sehen Sie eine Übersicht aller Elemente mit ihren konkreten Werten, die auf der jeweiligen Seite erfolgreich heruntergeladen wurden.

4. Elements (Elemente)#

Auf dieser Seite finden Sie die Liste der Elemente, die Sie im Assistenten beim Anlegen einer neuen Website definiert haben. Es handelt sich um Elemente, nach denen Scraping Camel auf der Website suchen soll. Ein Klick auf jedes konkrete Element zeigt die Werte dieses Elements für die einzelnen Seiten.

Mit einem Klick auf Edit elements (Elemente bearbeiten) können Sie diese anpassen. Links wird Ihnen dann die Liste der Elemente angezeigt, rechts sehen Sie eine Vorschau des HTML-Codes der Seite. Ob die Elemente heruntergeladen werden sollen oder nicht, bestimmen Sie durch Ankreuzen in der Liste links.

Die Elemente sind hier in Kategorien unterteilt:

  • Gefundene Elemente – Systemelemente, die Scraping Camel im HTML-Code finden konnte.
  • Nicht gefundene Elemente – Systemelemente, die Scraping Camel im HTML-Code nicht finden konnte.
  • AI-Elemente – Von künstlicher Intelligenz generierte Elemente. Mehr Informationen im Artikel Was ist Scraping Camel AI?
  • Eigene Elemente – In diesem Bereich erstellen Sie eigene Elemente, deren Werte Sie entweder mittels regulärer Ausdrücke oder als „Text davor/danach" definieren.

5. Bulk Elements (Massenelemente)#

Spezielle Elemente, bestimmt für das Herunterladen von Daten, die auf einer Seite mehrfach vorkommen. Anders als bei gewöhnlichen Elementen bleibt Scraping Camel nicht beim ersten Fund stehen, sondern speichert alle Vorkommen auf der jeweiligen Seite. Es handelt sich um die Elemente:

  • IMAGES (Bilder) – Enthält Informationen zur Bild-URL, ihrem Alternativtext, der Dateigröße und dem Typ (z. B. image, jpg). 💡 In der Übersicht auf der Seite Bulk Elements wird die Bildgröße in Kilobyte (KB) angezeigt, in den Einstellungen der Validierungsregel wird jedoch Byte (B) verwendet.
  • LINKS (Backlinks) – Enthält Informationen zur Ziel-URL, dem Text innerhalb des Links und dem HTTP-Statuscode der Zieladresse.

Die Extraktion dieser Daten ist rechenintensiv, daher muss ihr Herunterladen manuell über die Schaltfläche Run extraction (Extraktion starten) ausgelöst werden.

Über Massenelemente lassen sich System- und eigene Validatoren ausführen. So erhalten Sie leicht Listen defekter Bilder (Fehler 404), Bilder ohne Beschreibung oder zu großer Dateien, die das Laden der Website verlangsamen.

6. Validation (Validierung)#

Diese Seite dient als fortlaufendes und umfassendes SEO-Audit Ihrer Website, das direkt auf dem Server läuft. Anders als klassische Desktop-Werkzeuge, die Sie manuell ausführen müssen, kontrolliert Scraping Camel den Zustand der Website automatisch gemäß Ihrem Aktualisierungsplan. Da es online funktioniert, können mehrere Teammitglieder gleichzeitig auf die aktuellen Validierungsergebnisse zugreifen.

Sie aktivieren hier bis zu 35 Systemvalidatoren, die wichtige SEO-Bereiche abdecken (z. B. fehlende H1, zu lange Titel, fehlende Meta Description, nicht funktionierende Seiten usw.). Diese Validatoren lassen sich nach Bedarf ein-/ausschalten und anpassen (Schaltfläche Edit default validators (Standardvalidatoren bearbeiten)).

Außerdem können Sie eigene Validatoren für spezifische Bedürfnisse erstellen (Schaltfläche New custom validator (Neuer eigener Validator)). Damit überwachen Sie leicht zum Beispiel das Vorhandensein von Tracking-Codes (GTM, GA), überprüfen die Einzigartigkeit von Inhalten oder kontrollieren spezifische Parameter wie den Autor eines Artikels oder die Kategorie.

Die Validierungsergebnisse sehen Sie in einer übersichtlichen Tabelle, sortiert nach Schweregrad und mit farbigen Symbolen gekennzeichnet. Nach Anklicken des jeweiligen Validators wird eine Liste aller URLs angezeigt, die von dem Fehler/der Warnung/dem Hinweis betroffen sind.

  • 🔴 Rotes Symbol (Schwerer Fehler): Kritische Mängel, die sofortige Aufmerksamkeit erfordern (z. B. defekte URL 404 oder fehlender TITLE).
  • 🟠 Oranges Symbol (Warnung): Fehler, die behoben werden sollten, aber die Website bleibt funktionsfähig (z. B. zu lange Meta Description).
  • 🔘 Graues Symbol (Hinweis/Information): Weniger schwerwiegende Zustände oder Verbesserungsempfehlungen.
  • 🟢 Grüne Symbole (In Ordnung): Werden bei Validatoren angezeigt, bei denen keiner der kontrollierten Punkte die Fehlerbedingung erfüllt.

Damit die Datenvalidierung erfolgreich ist, müssen im Reiter Elements die Elemente aktiviert (angekreuzt) sein, die der Validator kontrollieren soll (möchten Sie zum Beispiel H1 validieren, muss das Element H1 zum Herunterladen aktiv sein). Die Geschwindigkeit der Aktualisierung der Validierungsergebnisse richtet sich nach der im Reiter Settings eingestellten Frequenz des Seiten-Downloads.

7. Settings (Einstellungen)#

Auf den einzelnen Reitern hier können Sie die technischen Scraping-Parameter anpassen.

a. Seiteneinstellungen

Änderung des Projektnamens oder der Domain.

b. Anfragenbegrenzung

Sie können die Häufigkeit und Geschwindigkeit ändern, mit der Scraping Camel auf Ihre Website zugreift. Diese Parameter sind entscheidend dafür, dass die Website in angemessener Zeit verarbeitet wird, ohne sie zu überlasten oder den Scraper durch Anti-DDoS-Schutz blockieren zu lassen.

  • Häufigkeit des Seiten-Downloads – Wie oft Scraping Camel Änderungen auf Seiten kontrollieren soll, die es bereits erfolgreich heruntergeladen hat und kennt. Während neue Seiten (die zum ersten Mal in der Sitemap erscheinen) so schnell wie möglich heruntergeladen werden (in der Regel täglich), können Sie bei bekannten Seiten aus Intervallen wählen — nur einmal (und nie wieder aktualisieren), täglich, alle drei Tage, wöchentlich oder monatlich.
  • Anzahl der Seiten-Downloads im jeweiligen Intervall – Definiert die Batch-Größe, also wie viele Seiten innerhalb eines Zeitabschnitts auf einmal verarbeitet werden sollen. Geben Sie in dieses Feld zum Beispiel den Wert 5 ein, bedeutet das, dass die Erweiterung in jedem festgelegten Zeitabschnitt eine Anfrage zum Herunterladen von 5 URL-Adressen sendet.
  • Intervall des Seiten-Downloads – Bestimmt die zeitliche Verzögerung zwischen den einzelnen Download-Batches. Stellen Sie das Intervall zum Beispiel auf 500 ms ein, versucht die Erweiterung alle halbe Sekunde, die festgelegte Anzahl an Seiten herunterzuladen (die Sie im Feld Anzahl der Seiten-Downloads im jeweiligen Intervall bestimmt haben).

c. AI-Einstellungen

Verwaltung der Parameter für die Generierung von Schlüsselwörtern und Stoppwortlisten. Hier können Sie zum Beispiel die minimale Länge der Schlüsselwörter, die Score-Schwelle (minimale prozentuale Bedeutung, die ein Wort haben muss, um in die Schlüsselwort-Auswahl aufgenommen zu werden), Regeln für die Verarbeitung von Zahlen, sogenannte Stoppwörter festlegen (Ausdrücke, die die AI bei der Erstellung von Schlüsselwörtern vollständig ignorieren soll) oder Phrasen definieren (mehrwortige Verbindungen, die der Algorithmus gemeinsam als ein Schlüsselwort verarbeiten soll). Mehr Informationen im Artikel Was ist Scraping Camel AI?

d. Regeln zur Seitenverarbeitung

Mittels Regeln bestimmen Sie, welche Seiten heruntergeladen werden sollen (alles andere wird ignoriert) oder umgekehrt vom Download ausgeschlossen werden sollen (alles außer ihnen wird heruntergeladen). Sie können zum Beispiel nur Kategorien herunterladen und im Gegenzug Blog-Seiten ausschließen. Das spart deutlich Serverleistung, verkürzt die Zeit der Datenaktualisierung und bereinigt den Ausgabe-CSV-Feed von unnötigen Daten.

Bedingungen für die URL-Auswahl können Sie auf zwei Arten definieren:

  • Über eine URL-Zeichenfolge – Sie geben einen Teil der Adresse an (z. B. /blog/ oder /produkt/).
  • Über einen regulären Ausdruck – Für fortgeschrittenere und präzisere Filterung (z. B. für URLs, die auf eine bestimmte Zahl enden).

Seiten, die Ihren Regeln nicht entsprechen, erscheinen zwar in der Liste im Reiter Pages (damit der Überblick über den Sitemap-Inhalt vollständig ist), werden aber mit einem roten Symbol gekennzeichnet. Diese Seiten werden nicht gescrapt oder in Ausgabedateien exportiert.

Keywords (Schlüsselwörter)#

Dieser Bereich dient der automatischen Generierung und Verwaltung von Datenfeeds mit Schlüsselwörtern, die direkt auf Ihren Websites gefunden wurden. Anders als im Bereich Websites, wo die URL-Adresse der Primärschlüssel ist, ist in dieser Agenda das konkrete Schlüsselwort der Ausgangspunkt, dem relevante Seiten und Metriken zugeordnet werden.

Auf dieser Seite sehen Sie die Liste aller erstellten Schlüsselwort-Analysen. Eine neue Analyse erstellen Sie mit der Schaltfläche New keyword analysis (Neue Schlüsselwort-Analyse), wo Sie die Domain (eine oder mehrere) wählen, aus der die Daten stammen sollen.

Ein Klick auf eine konkrete Analyse zeigt eine übersichtliche Oberfläche mit mehreren Reitern — Overview (Übersicht), File Exports (Datei-Exporte), Labels, Variants (Varianten), Diagnostics (Diagnostik), Validation (Validierung) und Settings (Einstellungen).

1. Overview (Übersicht)#

Sie finden hier die Liste aller gefundenen Schlüsselwörter. Für jedes Schlüsselwort in der Tabelle sehen Sie:

  • seinen Wortlaut (Element KEYWORD),
  • die URL der Landingpage, die für das jeweilige Wort die höchste gemessene Relevanz, also den höchsten Score, hat (Element URL),
  • einen numerischen Wert, der den höchsten Relevanz-Score der Landingpage für das jeweilige Wort ausdrückt (Element TOP_SCORE),
  • die Anzahl aller Seiten der Website, auf denen dieses Wort unter die Top-Schlüsselwörter kam, also die festgelegte Bedeutungsschwelle überschritten hat (Element PAGES_COUNT),
  • Angaben zum Suchvolumen und CPC (Klickpreis), sofern für das jeweilige Wort verfügbar,
  • den Status, also ob das Schlüsselwort aktiv ist oder nicht,
  • ob ihm Labels zugeordnet sind,
  • Datum und Uhrzeit des ersten Fundes.

Von der Liste aus lässt sich direkt zu den Google-SERPs durchklicken, um die realen Suchergebnisse für den jeweiligen Begriff zu überprüfen. Einzelne Wörter lassen sich in der Liste aktivieren oder deaktivieren, was sich anschließend im Export widerspiegelt. Ein Klick auf ein Schlüsselwort zeigt die Liste aller für dieses Schlüsselwort relevanten Seiten.

2. File Exports (Datei-Exporte)#

In diesem Bereich können Sie CSV-Dateien für die Schlüsselwort-Analyse verwalten und exportieren. Für den Export wählen Sie die Elemente, die in der Datei enthalten sein sollen, und bestimmen deren Reihenfolge. Zur Wahl stehen zwei Export-Typen:

  • Klassischer Export (Schaltfläche Create classic export file) – Tabelle, in der jedem Schlüsselwort eine Zeile mit den gewählten Zusatzinformationen gewidmet ist.
  • Inverser Export (Schaltfläche Create reverse export file) – Spezielles Format, das die Daten „umdreht". Der Primärschlüssel ist die URL-Adresse, der in der nächsten Spalte alle relevanten Schlüsselwörter zugeordnet werden. Dieses Format ist ideal für die Erstellung von DSA- oder Performance-Max-Kampagnen in Google Ads.

3. Labels#

Dient der Organisation von Schlüsselwörtern in thematische Gruppen. Bei Onlineshops werden sie am häufigsten zur Aufteilung von Wörtern nach Produktkategorien genutzt (z. B. Label „Kühlschränke", „Waschmaschinen" usw.). Labels lassen sich Wörtern gebündelt oder einzeln im Detail des Schlüsselworts zuordnen.

Nach Anklicken eines Labels wird die Liste der ihm zugeordneten Schlüsselwörter angezeigt.

4. Variants (Varianten)#

Dieser Reiter dient der manuellen Vereinheitlichung verschiedener Formen desselben Wortes. Scraping Camel versucht zwar automatisch zu erkennen, dass zum Beispiel Wörter wie „Waschmaschine", „Waschmaschinen" oder „Waschmaschinen-" zusammengehören, aber gelegentlich entgeht ihm eine kompliziertere Form oder Beugung.

In diesem Bereich können Sie dem System manuell nachhelfen und diese Ausdrücke unter einem Hauptwort zusammenfassen. Zum Beispiel festlegen, dass das Wort „Agenturen" als Variante des Wortes „Agentur" gezählt werden soll. Das Ergebnis ist eine deutlich sauberere und übersichtlichere Analyse, in der sich die Daten nicht auf viele ähnliche Zeilen verteilen.

5. Diagnostics (Diagnostik)#

Die Diagnostik hilft Ihnen zu erkennen, ob die Texte auf Ihren Seiten wirklich über das sprechen, was Sie verkaufen, oder ob sie mit irrelevanten Wörtern überladen sind, die die Analyseergebnisse verzerren.

Scraping Camel nimmt alle gefundenen Schlüsselwörter (einschließlich mehrwortiger Phrasen), zerlegt sie in einzelne Wörter und zählt, wie oft welches davon auf der gesamten Website vorkommt. Dadurch sehen Sie sofort, welche Wörter auf Ihrer Website dominieren.

Stellen Sie fest, dass das häufigste Wort in Ihrem Onlineshop zum Beispiel „MwSt.", „Cookies" oder „auf Lager" ist, ist das für Sie ein wichtiges Signal. Es bedeutet, dass diese technischen oder allgemeinen Wörter in der Analyse wichtige Schlüsselwörter „übertönen", die Ihre Produkte wirklich treffend beschreiben. Sobald Sie solche Ausdrücke in der Diagnostik entdeckt haben, können Sie sie im Reiter Validation zu den Stoppwörtern hinzufügen. Dadurch bereinigen Sie die Analyse, und in der Übersicht bleiben nur die Wörter, die für Ihr Marketing wirklich von Bedeutung sind.

6. Validation (Validierung)#

Der Reiter Validation dient der automatischen Bereinigung, Organisation und Qualitätssteigerung Ihres gesamten Schlüsselwort-Datensatzes. Hier können Sie Validierungsregeln (Validatoren) einstellen, mit denen Sie sicherstellen, dass der resultierende Schlüsselwort-Export maximal relevant für Ihr Marketing ist und keine unnötigen Daten enthält. Dank der Validatoren wird der Datensatz fortlaufend und automatisch im Hintergrund bereinigt, sodass er ohne ständige manuelle Eingriffe qualitativ hochwertig bleibt.

Mittels Validierungsregeln können Sie zum Beispiel gebündelt einstellen:

  • Sperrung von Wörtern (Stoppwörter) – Identifizieren Sie in der Analyse Wörter, die für Sie nicht von Nutzen sind (z. B. allgemeine Ausdrücke wie „MwSt.", „auf Lager", „Warenkorb" oder Ihre eigene Marke, die einzigartige Schlüsselwörter übertönt), können Sie hier Regeln für deren dauerhaften Ausschluss aus der Analyse festlegen.
  • Zusammenführung zu Phrasen – Sie können Regeln definieren, die zwei oder mehr Wörter zu einer Einheit (Phrase) zusammenführen, z. B. „Bidding Fox" oder „Google Analytics". Scraping Camel behandelt diese Phrasen dann als ein Schlüsselwort, was die Genauigkeit des Scorings und die Relevanz der Ergebnisse erhöht.
  • Automatische Beschriftung – Mittels Validatoren können Sie Schlüsselwörtern auch automatisch Labels basierend auf definierten Bedingungen zuordnen. Das ist entscheidend für das sogenannte Clustering, also die Gruppierung von Wörtern in logische Einheiten, zum Beispiel nach Produktgruppen (Kühlschränke, Waschmaschinen, Mobiltelefone).

7. Settings (Einstellungen)#

In Settings passen Sie grundlegende Parameter der Analyse an, wie ihren Namen oder die Liste ignorierter Zeichen. Diese Funktion ist entscheidend, um unerwünschte Elemente aus den Texten zu entfernen, aus denen Schlüsselwörter generiert werden. Sie ermöglicht die Definition einer Liste konkreter Symbole und Zeichen, die Scraping Camel bei der Analyse vollständig übersehen soll. So stellen Sie eine höhere Datensauberkeit sicher und verhindern die Erstellung irrelevanter Schlüsselwörter.

Alle hier genannten Parameter stellen Sie im Assistenten beim Anlegen einer neuen Analyse ein. In diesem Moment wählen Sie auch eine oder mehrere Websites, aus denen Daten bezogen werden sollen. Diese Einstellung gilt dauerhaft und lässt sich später im Reiter Settings nicht mehr ändern. Müssen Sie eine andere Domain analysieren, müssen Sie eine komplett neue Analyse erstellen.

Datenschutz und Datenverarbeitung#

Scraping Camel verarbeitet ausschließlich Daten von öffentlich zugänglichen Websites, bei denen der Nutzer nachweislich seinen Besitz oder seine Beziehung zur Domain verifiziert hat. Alle gewonnenen Daten gelten als privat, werden keinen Dritten bereitgestellt, und der Nutzer hat deren Umfang vollständig unter Kontrolle direkt in der Administration der Erweiterung. Wird ein Projekt gelöscht, werden alle zugehörigen Daten innerhalb von 14 Tagen endgültig entfernt, auch aus den Backup-Systemen, die nur der Wiederherstellung der Erweiterung bei technischen Störungen dienen.

FAQ#

Was ist Scraping Camel und wozu dient es?#

Scraping Camel ist eine Erweiterung, die automatisch und fortlaufend Websites durchsucht, Daten von ihnen herunterlädt und sie in einem CSV-Feed speichert oder über API bereitstellt. Es läuft nonstop auf einem Server, sodass die Daten ständig aktualisiert werden, ohne Software manuell auf Ihrem Computer ausführen zu müssen. Es eignet sich überall dort, wo Sie Daten benötigen, die in gewöhnlichen Produktfeeds nicht verfügbar sind.

Für wen ist Scraping Camel geeignet?#

Es wird vor allem von PPC- und SEO-Spezialisten, Onlineshop-Betreibern, Betreibern von Websites ohne Warenkorb (Kataloge, Magazine, Firmenwebsites) und Content-Managern genutzt. Das Werkzeug ist universell einsetzbar — es hilft bei der automatisierten Kampagnenerstellung, SEO-Audits, Schlüsselwort-Analysen und der Kontrolle der Inhaltsqualität.

Was kostet Scraping Camel?#

Der Preis beträgt 986 CZK monatlich bei monatlicher Abrechnung oder 788,80 CZK monatlich bei jährlicher Abrechnung. Der Preis ist fix für einen Onlineshop, unabhängig von der Anzahl der erstellten Projekte (Websites) oder Schlüsselwort-Analysen. Es steht eine 30-tägige kostenlose Testphase zur Verfügung.

Muss ich ein kostenpflichtiges Projekt in Mergado haben, damit Scraping Camel funktioniert?#

Nein. Scraping Camel lässt sich auch ohne kostenpflichtiges Projekt in Mergado verwenden. Es genügt, sich kostenlos ein Mergado-Konto und darin einen Onlineshop für Anmeldung, Abrechnung und Zugriffsverwaltung anzulegen.

Welche Voraussetzungen gibt es für den Start von Scraping Camel?#

Sie benötigen drei Dinge — ein Mergado-Konto mit Onlineshop, verifizierten Domainbesitz der Website, die Sie scrapen möchten, und eine funktionierende sitemap.xml-Datei, aus der die Erweiterung die Liste der URL-Adressen bezieht.

Warum muss ich den Domainbesitz verifizieren?#

Scraping Camel ist ausschließlich für die Verarbeitung eigener Websites oder der Websites Ihrer Kunden bestimmt. Die Domainverifizierung verhindert den Missbrauch des Werkzeugs zum Scrapen fremder oder konkurrierender Websites und stellt sicher, dass stets eine berechtigte Person mit den Daten arbeitet.

Wie kann ich die Domain verifizieren?#

Es stehen vier Methoden zur Verfügung: über Google Search Console (die schnellste Variante für Agenturen), über einen DNS-TXT-Eintrag (dauerhafte Methode unabhängig vom Website-Code), durch Einfügen eines Meta-Tags in den Header der Website (geeignet für Shoptet und WordPress) oder durch Hochladen einer HTML-Datei auf den Server.

Funktioniert Scraping Camel auch auf Websites, die auf JavaScript basieren?#

Nein. Die Erweiterung arbeitet nur mit dem HTML-Code von Seiten und rendert kein JavaScript. Ist der Inhalt einer Seite von JavaScript abhängig, kann Scraping Camel ihn nicht extrahieren.

Welche Daten lassen sich mit Scraping Camel gewinnen?#

Praktisch alles, was im HTML-Code der Seite enthalten ist. Die Daten werden dann entweder in vordefinierten Systemelementen (Title, H1, Meta Description, HTTP-Status, GTM/GA-Codes u. a.), eigenen Elementen, die per regulärem Ausdruck oder Text „davor und danach" definiert werden, oder in automatisch generierten AI-Elementen (Schlüsselwörter, Seitensprache, Wortanzahl, Seitentitel) gespeichert.

Was sind Massenelemente und wie unterscheiden sie sich von gewöhnlichen?#

In ein gewöhnliches Element wird das erste Vorkommen des jeweiligen Werts auf der Seite gespeichert. Massenelemente speichern alle Vorkommen. Konkret speichern sie die vollständige Liste aller Bilder (einschließlich Alt-Texten und Dateigröße) oder aller Links (einschließlich HTTP-Statuscodes) auf der jeweiligen Seite. Das Herunterladen von Informationen in diese Elemente wird manuell ausgelöst, da es rechenintensiver ist.

Wie funktioniert die SEO-Validierung in Scraping Camel?#

Scraping Camel enthält 35 Systemvalidatoren, die fortlaufend den technischen Zustand der Website kontrollieren und auf Fehler wie fehlende H1, zu lange Titel oder nicht funktionierende Seiten hinweisen. Die Ergebnisse sind farblich nach Schweregrad gekennzeichnet und online zugänglich. Neben Systemvalidatoren können Sie auch eigene erstellen.

Wie hilft Scraping Camel bei PPC-Kampagnen?#

Es erstellt Page-Feeds mit URL-Adressen und deren Inhalt, die ideal für DSA- und Performance-Max-Kampagnen sind. Es lassen sich auch inverse Schlüsselwort-Exporte gewinnen — CSV-Dateien, bei denen die URL-Adresse der Primärschlüssel ist und ihr alle relevanten Schlüsselwörter zugeordnet werden.

Kann ich nur einen Teil der Website scrapen, zum Beispiel nur Kategorien?#

Ja. In den Einstellungen der Regeln zur Seitenverarbeitung bestimmen Sie, welche Teile der Website gescrapt und welche ignoriert werden sollen — zum Beispiel schließen Sie den Blog aus und verarbeiten nur Kategorien. Bedingungen lassen sich per URL-Zeichenfolge oder regulärem Ausdruck definieren.

Wie schnell aktualisiert Scraping Camel die Daten?#

Neue Seiten, die zum ersten Mal in der Sitemap erscheinen, versucht die Erweiterung in der Regel täglich herunterzuladen. Bei bereits bekannten Seiten wählen Sie die Häufigkeit selbst — einmal, täglich, alle drei Tage, wöchentlich oder monatlich. Die Geschwindigkeit lässt sich zusätzlich durch die Einstellung der Downloadanzahl im Batch und des Intervalls zwischen den Batches beeinflussen.

In welchem Format sind die Ausgabedaten verfügbar?#

Die Daten werden als CSV-Datei exportiert, die als eigenständiger Feed in den Mergado Editor hochgeladen oder mit der Regel Data File Import an ein bestehendes Projekt angebunden werden kann. Die Daten sind auch über API zugänglich, zum Beispiel für die Erweiterung Mergado Marketing Buddy.

Kann ich innerhalb einer Aktivierung der Erweiterung mehrere Websites scrapen?#

Ja, die Anzahl der Domains innerhalb einer Aktivierung ist nicht begrenzt. Für Agenturen, die Websites mehrerer Kunden verwalten, wird jedoch empfohlen, für jeden Kunden eine eigene Instanz der Erweiterung zu starten — das erleichtert die Zugriffsverwaltung und Datenübergabe bei Beendigung der Zusammenarbeit.

Was passiert mit meinen Daten, wenn ich das Projekt lösche?#

Nach dem Löschen des Projekts werden alle zugehörigen Daten innerhalb von 14 Tagen endgültig entfernt, auch aus den Backup-Systemen. Scraping Camel verarbeitet ausschließlich Daten von öffentlich zugänglichen Seiten mit verifiziertem Besitz und stellt sie keinen Dritten bereit.

Wie funktioniert die Schlüsselwort-Analyse in Scraping Camel?#

Im Bereich Keywords erstellen Sie eine Analyse für eine oder mehrere Domains. Scraping Camel generiert automatisch Schlüsselwörter aus dem Seiteninhalt, ordnet ihnen Relevanz-Scores zu und aktualisiert sie fortlaufend. Die Daten lassen sich mittels Labels sortieren, über Varianten unterschiedliche Wortformen vereinheitlichen, mit Stoppwörtern bereinigen und als klassische oder inverse CSV-Datei exportieren.

Wie erkenne ich, dass meine Schlüsselwort-Analyse irrelevante Wörter enthält?#

Dazu dient der Reiter Diagnostics. Scraping Camel zeigt dort, welche Wörter auf Ihrer Website am häufigsten vorkommen. Dominieren darunter allgemeine Ausdrücke wie „MwSt." oder „Cookies", ist das ein Signal, dass diese Wörter die relevanten Schlüsselwörter übertönen und der Stoppwortliste hinzugefügt werden sollten.

Related articles

Was this article helpful?