Wie Sie Cloudflare einrichten, damit es das Herunterladen von Feed und Bildern nicht blockiert?#

Warum Cloudflare Mergado blockiert, obwohl die IP-Adresse erlaubt ist#

Nutzt Ihr Onlineshop Cloudflare, kann es vorkommen, dass Mergado (oder eine seiner Erweiterungen, zum Beispiel Feed Image Editor) Ihren Feed oder Ihre Produktbilder nicht herunterladen kann, obwohl Sie seine IP-Adresse bereits zur Whitelist hinzugefügt haben.

Der Grund ist, dass Cloudflare das automatische Herunterladen des Feeds möglicherweise nicht als normalen Zugriff wertet, sondern als verdächtigen Traffic, und es blockieren oder eine sogenannte Sicherheitsherausforderung (Challenge) anzeigen kann. Also eine Seite vom Typ „Just a moment…", die nur ein Browser mit JavaScript lösen kann, nicht aber ein automatisierter Download. Das betrifft vor allem folgende Cloudflare-Funktionen:

• Bot Fight Mode / Super Bot Fight Mode,
• Managed Challenge (verwaltete Herausforderung),
• Browser Integrity Check,
• Hotlink Protection,
• Security Level,
• WAF Managed Rules.

Das bloße Hinzufügen der IP-Adresse zu den älteren IP Access Rules (Whitelist) schaltet diese Funktionen oft nicht aus. Zudem stellen wir fest, dass Cloudflare diese Möglichkeit bei manchen Konten nach und nach entfernt und durch das flexiblere Werkzeug WAF Custom Rules ersetzt. Diese Anleitung zeigt, wie Sie darüber eine zuverlässige Ausnahme für Mergado einrichten.

Welche IP-Adressen Sie erlauben müssen#

• 81.31.39.112 – IP-Adresse, von der Mergado Ihren Eingabefeed herunterlädt.
• 81.31.39.116 – IP-Adresse, die einige Erweiterungen zum Herunterladen von Produktbildern verwenden (z. B. Feed Image Editor, Bidding Fox, Pricing Fox, Fox Data+).

Nutzen Sie noch weitere Erweiterungen von Mergado, prüfen Sie deren IP-Adresse im Artikel Welche IP-Adressen verwendet Mergado und seine Erweiterungen?

Schritt für Schritt: Einrichtung der Ausnahme in Cloudflare#

a. Erstellen Sie eine neue Custom Rule#

1. Melden Sie sich in der Verwaltung Ihrer Domain in Cloudflare an.
2. Gehen Sie im linken Menü zu Security → WAF → Custom rules (je nach Oberflächenversion ggf. nur Security rules).
3. Klicken Sie auf Create rule.

b. Legen Sie die Bedingung für Mergado fest#

Stellen Sie im Bereich „When incoming requests match…" die Bedingung so ein, dass sie beiden IP-Adressen von Mergado entspricht, zum Beispiel:

(ip.src eq 81.31.39.112) or (ip.src eq 81.31.39.116)

Wir empfehlen, die Bedingung nicht zusätzlich auf einen konkreten Pfad (URI Path) oder eine HTTP-Methode einzuschränken. Je einfacher die Bedingung, desto geringer das Fehlerrisiko, und da es sich nur um zwei konkrete, vertrauenswürdige IP-Adressen handelt, bedeutet das keine Sicherheitsminderung gegenüber dem übrigen Traffic.

Achten Sie auf Tippfehler. Leicht gerät versehentlich ein zusätzliches Leerzeichen in das Textfeld (z. B. " /feed.xml" statt "/feed.xml") oder eine falsche Ziffer in die IP-Adresse. Eine solche Bedingung findet dann nie etwas, die Regel greift nie, und Sie suchen das Problem woanders. Überprüfen Sie stets die endgültige Form im Feld Expression Preview unter der Bedingung.

c. Stellen Sie die Aktion Skip ein und kreuzen Sie alle Komponenten an#

1. Wählen Sie im Bereich „Then take action…" die Aktion Skip.
2. Kreuzen Sie unter „WAF components to skip" wirklich alle Optionen an:
   • All remaining custom rules
   • All rate limiting rules
   • All managed rules
   • All Super Bot Fight Mode Rules
3. Klappen Sie auch „More components to skip" auf und kreuzen Sie auch diese an:
   • Zone Lockdown
   • User Agent Blocking
   • Browser Integrity Check
   • Hotlink Protection
   • Security Level
   • Rate limiting rules (Previous version)
   • Managed rules (Previous version)

Es genügt, dass ein einziger Punkt nicht angekreuzt bleibt, und genau der kann das Herunterladen weiterhin blockieren.

d. Platzieren Sie die Regel an erster Stelle#

Wählen Sie im Bereich „Place at", dass die Regel als erste ausgewertet wird (ggf. direkt hinter anderen technischen Regeln, die nichts mit Sicherheit zu tun haben). Cloudflare wertet Custom Rules von oben nach unten aus, und sobald eine frühere Regel eine Anfrage blockiert oder ihr eine Herausforderung anzeigt, kommt Ihre Whitelist-Regel möglicherweise gar nicht mehr zum Zug.

Haben Sie in Cloudflare noch weitere Sicherheitsregeln (z. B. Blockierung von Traffic außerhalb eines bestimmten Landes, Botschutz usw.), prüfen Sie, dass keine davon oberhalb der Regel für Mergado platziert ist.

e. Speichern Sie die Regel#

Klicken Sie auf Save. Die Änderung wirkt sich meist innerhalb weniger Sekunden bis Minuten aus.

Was tun, wenn das Problem trotz Regeleinrichtung weiterhin besteht#

Überprüfen Sie, ob die Regel wirklich greift#

1. Gehen Sie in Cloudflare zu Security → Events (oder Security → Analytics → Events).
2. Filtern Sie die Ereignisse nach Quell-IP-Adresse (81.31.39.112 oder 81.31.39.116).
3. Sehen Sie sich bei einem konkreten Ereignis den Bereich „Matched service" an. Dort sollte Action taken: Skip und der Name Ihrer Regel stehen.

Sehen Sie stattdessen eine andere Aktion (z. B. Managed Challenge oder Block) und eine andere Regel, bedeutet das, dass Ihre Whitelist-Regel überhaupt nicht gegriffen hat, und Sie müssen die Bedingung (Schritt b) oder die Reihenfolge der Regeln (Schritt d) überprüfen.

Prüfen Sie auch die Sicherheit auf Hosting-Seite#

Läuft Ihr Onlineshop auf einem verwalteten Hosting (z. B. Kinsta, WP Engine und ähnliche Dienste), kann dieses einen eigenen, von Cloudflare unabhängigen Botschutz haben, der separat eingerichtet werden muss. Auch nach korrekter Cloudflare-Einrichtung kann eine Anfrage zum Herunterladen von Feed oder Bild dann weiterhin mit dem Fehler 403 Forbidden enden, diesmal aber vom Hosting, nicht von Cloudflare.

Suchen Sie in diesem Fall in der Hosting-Verwaltung den Bereich für Botschutz (z. B. „Bot protection") und fügen Sie dort beide IP-Adressen von Mergado zur Ausnahmeliste hinzu (oft „Always allow" o. Ä. genannt). Bei manchen Erweiterungen (z. B. Feed Image Editor) lässt sich zusätzlich auch der User-Agent zu den Ausnahmen hinzufügen, mit dem sich die Erweiterung identifiziert: feedimageeditor/2.0.

Wie Sie erkennen, ob Cloudflare oder das Hosting blockiert#

Hilfreich ist ein technischer Test der Serverantwort (z. B. mit dem Befehl curl -I auf eine konkrete Bild- oder Feed-URL). Entscheidend ist der Header cf-mitigated: challenge in der Antwort:

• Ist er vorhanden, fängt Cloudflare die Anfrage ab (fahren Sie mit den obigen Schritten fort).
• Fehlt er, endet die Anfrage aber trotzdem mit einem Fehler 403, handelt es sich vermutlich um einen Schutz auf Hosting-Seite, nicht um Cloudflare.

Header wie server: cloudflare oder cf-ray erscheinen bei jeder Antwort, die durch Cloudflare läuft, egal ob Cloudflare die Anfrage blockiert oder den Traffic nur an das Hosting weiterleitet, und bestimmen für sich allein also nicht, wer die Anfrage blockiert hat.

FAQ#

Warum genügt es nicht, die IP-Adresse von Mergado zur älteren Whitelist (IP Access Rules) hinzuzufügen?#

IP Access Rules können eine Anfrage hereinlassen, schalten aber nicht unbedingt alle anderen Schutzmechanismen (Bot Fight Mode, Managed Challenge, Browser Integrity Check usw.) aus, die eine Anfrage zum Herunterladen von Feed oder Bild trotzdem blockieren können. Zuverlässiger ist daher, eine Custom Rule mit der Aktion Skip zu erstellen, die diese Schutzmechanismen für die betreffenden IP-Adressen explizit ausschaltet.

Muss ich wirklich alle Komponenten unter „WAF components to skip" ankreuzen?#

Ja, wir empfehlen, alle anzukreuzen. Die Regel zielt nur auf zwei konkrete, vertrauenswürdige IP-Adressen von Mergado, sodass Sie damit den Schutz der Website gegenüber dem übrigen Traffic nicht mindern. Es genügt, dass ein einziger Punkt nicht angekreuzt bleibt, und das Herunterladen kann weiterhin fehlschlagen.

Ich habe alles nach der Anleitung eingerichtet, und Feed/Bilder werden immer noch nicht heruntergeladen. Was weiter?#

Prüfen Sie in Cloudflare im Bereich Security → Events, welche Aktion und welche Regel Cloudflare bei Anfragen von IP 81.31.39.112 oder 81.31.39.116 tatsächlich angewendet hat. Sehen Sie eine andere Aktion als Skip, gehen Sie erneut die Bedingung der Regel durch (möglicher Tippfehler) und ihre Reihenfolge unter den anderen Regeln. Funktioniert die Regel korrekt und Sie erhalten trotzdem einen Fehler 403, könnte es sich um einen separaten Schutz auf Seiten Ihres Hostings handeln.

Wie erkenne ich, dass Mergado den Feed tatsächlich herunterlädt?#

Gehen Sie im Projekt in Mergado zur Seite Historie und filtern Sie in der Spalte Ereignistyp nach Download (ggf. Produktimport). Sie sehen dann Aufzeichnungen zu den einzelnen Versuchen einschließlich Zeit und Anzahl der heruntergeladenen Produkte.