Mi a Scraping Camel bővítmény?#

A Scraping Camel egy bővítmény, amely automatikusan és folyamatosan feltérképezi (crawlozza) a weboldalakat, letölti a róluk szóló információkat, és ezeket az adatokat gépileg olvasható adatfeedben (CSV) tárolja, vagy API-n keresztül más bővítmények (pl. Mergado Marketing Buddy) számára elérhetővé teszi. Szerveres scraperként működik, amely folyamatosan fut, ami azt jelenti, hogy az adatok állandóan frissülnek, anélkül hogy szoftvert kellene futtatni egy helyi számítógépen.

A bővítmény ideális olyan adatok gyűjtésére, amelyek a szokásos termékes feedekben nem érhetők el, például kategóriaoldalak, blogok, statikus oldalak információi, vagy olyan weboldalak adatai, amelyeknek egyáltalán nincs feedjük.

Kinek ajánlott:

• PPC szakemberek – Az egész webhely adatain alapuló automatizált kampányok létrehozásához (pl. DSA vagy Performance Max).
• SEO szakemberek – Oldalak folyamatos monitorozásához, SEO auditokhoz és kulcsszó-elemzésekhez valós időben.
• Webáruház-tulajdonosok – Akiknek termékes feedeket kell létrehozniuk ott, ahol a rendszerük nem biztosítja őket, vagy akik kiegészítő adatokkal szeretnék feltölteni meglévő feedjeiket (pl. paraméterek, készlet, képek).
• Kosár nélküli weboldalak – Mint a szolgáltatáskatalógusok, magazinok, céges bemutatók vagy nagykereskedelmi katalógusok, amelyeknek a Scraping Camel lehetővé teszi, hogy belépjenek a feed marketing világába.
• Tartalomszakemberek és menedzsment – A munkájuk eredményének ellenőrzéséhez és a weboldalak tartalmának és szerkezetének áttekintéséhez.

Ár és számlázás#

A bővítmény ára:

• 13 600 Ft havonta havi számlázás esetén,
• 10 880 Ft havonta éves számlázás esetén.

Az ár egy webáruházra (Mergadóban) van meghatározva, és fix, a létrehozott projektek (weboldalak) vagy kulcsszó-elemzések számától függetlenül.

A technikai összefüggés miatt a bővítmény számlázása a Mergado Editorban kiválasztott számlázási frekvenciához igazodik. Az egyes szolgáltatásokhoz nem lehet különböző számlázási frekvenciát választani.

A Scraping Camel bővítménynek 30 napos ingyenes próbaidőszaka van.

Lehet a Scraping Camelt Mergado nélkül is használni?#

A Scraping Camelt fizetős Mergado-projekt nélkül is lehet használni. Ehhez azonban szükség van egy Mergado-fiók létrehozására a felhasználói hitelesítéshez és a számlázáshoz, valamint egy webáruházra a felhasználói hozzáférések kezeléséhez. Mindkettő ingyenesen létrehozható a Mergadóban, fizetős projekt nélkül is.

A Scraping Camel bővítményhez kapcsolódó alapfogalmak#

• Scraper (Crawler) – Egy automatizált robot, amely folyamatosan fut a szerveren, feldolgozza az oldalak HTML-kódját, és gépileg olvasható formátumba nyeri ki belőle az adatokat.
• Kulcsszó – A Scraping Camel által közvetlenül a weboldal szövegéből automatikusan generált szó vagy szókapcsolat. A kulcsszavak az oldal tartalmát és fő témáját jellemzik.
• Elem – Egy konkrét adatmező, amely a Scraping Camel által a weboldalról letöltött információt hordozza. Az elemek a következő csoportokra oszthatók:
  • Rendszerelemek – Előre definiált általános SEO-attribútumok (Title, H1, Meta Description stb.).
  • Egyéni elemek – Felhasználó által definiált mezők (pl. ár, készlet).
  • AI elemek – Mesterséges intelligencia által generált mezők manuális konfiguráció nélkül (kulcsszavak, nyelvdetektálás, szószám).
• Tömeges elemek – Speciális elemtípus, amelynél a Scraping Camel nem áll meg az első találatnál, hanem egy adott oldalon az összes előfordulást tárolja.
• Validator – Olyan feltétel vagy szabály, amely automatikusan és folyamatosan ellenőrzi a webhely állapotát, és technikai vagy SEO-hibákra figyelmeztet.
• Inverz export – Speciális típusú kimeneti CSV-fájl kulcsszavakhoz, amelyben az elsődleges kulcs az URL-cím, amelyhez az összes talált kulcsszó van rendelve (PPC-kampányokhoz alkalmas).
• Pontszám – Egy numerikus érték, amely egy adott weboldal kulcsszavának fontosságát (relevanciáját) fejezi ki.
• Frázis – Két vagy több szóból álló szókapcsolat, amelyet a felhasználó definiál, hogy az elemzés során egységként (egyetlen kulcsszóként) legyen kezelve.
• Stop szavak – Azon szavak listája, amelyeket a kulcsszavak generálásakor figyelmen kívül kell hagyni (pl. kötőszavak, elöljárószavak vagy saját brand), hogy az eredmény tisztább legyen.
• Címkék – Eszköz a kulcsszavak tematikus csoportokba szervezéséhez és klaszterezéséhez, például termékategóriák szerint.

Mi szükséges a Scraping Camel bővítmény elindításához#

• Mergado Editor-fiók és benne létrehozott webáruház.
• A doménhez való viszony igazolása – A Scraping Camel nem idegen weboldalak vagy versenyárs weboldalak feltérképezésére készült. Ezért szükséges a domén tulajdonjogának ellenőrzése, hogy ne kerülhessen sor idegen weboldalak jogosulatlan feltérképezésére.
• A sitemap.xml hozzáadása és ellenőrzése – A sitemapfájl elengedhetetlen a bővítmény működéséhez, mivel a Scraping Camel ebből meríti a letöltendő URL-eket. Ha a bővítmény nem találja meg automatikusan a sitemapot, manuálisan kell megadni a címét.

Főbb funkciók#

1. Tetszőleges adatok lekérése egy weboldal HTML-jéből#

A Scraping Camel bármilyen információt le tud kérni egy weboldalról, amelyet a szokásos feedek nem tartalmaznak. Folyamatosan feltérképezi a weboldalt, és közvetlenül az oldalak forráskódjából tölt le információkat, amelyeket ezután gépileg olvasható CSV-feedben tárol. A begyűjtött adatokat elemekben tárolja:

• Rendszerelemek – Előre definiált attribútumok, amelyek egy kattintással aktiválhatók. Ezek közé tartoznak a különböző SEO-paraméterek, mint a TITLE, H1, META_DESCRIPTION, HTTP_STATUS, mikroformátum-információk (Open Graph, Twitter Cards) vagy a mérőkódok azonosítói (GTM, GA).
• Egyéni elemek – Lehetővé teszik olyan specifikus adatok lekérését, amelyeket a rendszerelemek nem fednek le (pl. ár, készlet, paraméterek, cikk szerzője vagy morzsamenü). Saját magad definiálod őket reguláris kifejezések vagy az „előtte és utána" szöveg megadásával.
• Scraping Camel AI – Mesterséges intelligencia által generált elemek, amelyek automatikusan elemzik a tartalmat manuális konfiguráció nélkül. A szokásos elemekkel ellentétben te nem határozod meg a tartalmukat – a bővítmény automatikusan lekéri azt a mesterséges intelligencia segítségével. A Scraping Camel így önállóan felderíti a nyelvet (SC_DETECTED_LANGUAGE), megszámolja az oldalon lévő szavakat (SC_NUMBER_OF_WORDS), generálja az oldal főcímét (SC_MAIN_TITLE), és kulcsszavakat is generál az adott oldalhoz (SC_WORDS_COUNT, SC_WORDS_TUPLES_COUNT, SC_WORDS_AGG_MIN_FREQ_3). Tudj meg többet az AI elemekről.

⚠️ A Scraping Camel nem rendereli a JavaScriptet, kizárólag HTML-alapon működik. Ha a tartalom szkriptek mögött rejtőzik, a bővítmény nem tudja kinyerni.

2. Tömeges elemek#

A szokásos elemekkel ellentétben, amelyek csak az első előfordulást mentik el a kódban, a tömeges elemek az adott oldalon lévő összes előfordulást tárolják. Ezáltal megszerezheted:

• Visszamutató linkek – Megkapod az oldalon lévő összes link listáját, beleértve a szövegüket és a célzott URL HTTP-kódját. Így könnyen azonosíthatod például a nem működő linkeket.
• Képek – Megkapod az oldalon lévő összes kép URL-jét, azok alternatív szövegét (alt), a fájlméretet és a tartalomtípust. Ez a funkció kulcsfontosságú a nem működő linkek (404-es hiba) vagy a weboldalt lelassító túl nagy képek azonosításához.

3. Folyamatos SEO-ellenőrzés és monitoring#

A Scraping Camel olyan SEO-auditként működik, amely folyamatosan fut a szerveren. 35 rendszervalidátort tartalmaz, amelyek folyamatosan ellenőrzik a webhely technikai állapotát (pl. hiányzó H1, túl hosszú title-ok, robots.txt-ben tiltott URL-ek), és hibákra figyelmeztetnek. Saját validátorokat is létrehozhatsz specifikus ellenőrzésekhez, például a mérőkódok (GTM, GA) meglétének ellenőrzéséhez vagy a tartalom egyediségének ellenőrzéséhez.

4. Automatizált kulcsszó-elemzés#

A Scraping Camel lehetővé teszi komplex kulcsszó-elemzések létrehozását a webhely tartalmából, amelyek az oldalak minden változásakor automatikusan frissülnek.

5. Fejlett crawlkezelés#

A Scraping Camelben teljes kontrolled van a fölött, hogyan és mit tölts le a weboldaladról.

• URL-szűrés – Kizárhatsz bizonyos részeket a weboldalból (pl. blog), és csak kiválasztott szekciókra (pl. kategóriák) korlátozhatod a scrapinget, ami takarékoskodik a szerver teljesítményével és tisztábbá teszi a kimeneti feedet.
• Kérések korlátozása – Meghatározod a letöltés frekvenciáját és sebességét, hogy ne terheld túl a weboldalt, és ne kerüljön sor a scraper Anti-DDoS-védelemmel való blokkolására.
• Frissítések ütemezése – Kiválasztod, milyen gyakran ellenőrizze a Scraping Camel a már letöltött oldalak változásait (egyszer, naponta, háromnaponta, hetente, havonta).

6. Univerzális kimenetek és API#

Az összes begyűjtött adat elérhető egy univerzális CSV-fájlban, amely feltölthető a Mergado Editorba önálló feedként, vagy egy meglévő projekthez csatolható az Adatfájl import szabály segítségével. Az adatok API-n keresztül is elérhetők, ami lehetővé teszi a felhasználásukat mesterséges intelligencia alapú eszközökben, mint például a Mergado Marketing Buddy.

Valós felhasználási példák#

• PPC-kampányok automatizálása (DSA és PMax) – A Scraping Camel ideális alapanyagokat hoz létre dinamikus keresési hirdetésekhez (DSA) és Performance Max kampányokhoz. URL-listákat biztosít a tartalmukkal (ún. oldalfeedek) és „inverz exportokat" az egyes oldalakhoz legrelevásabb kulcsszavakkal.
• Feedek létrehozása kosár nélküli weboldalakhoz – Lehetővé teszi, hogy katalógusok, magazinok vagy ingatlanportálok is részt vegyenek a feed marketingben, annak ellenére, hogy általában nem rendelkeznek termékes feedekkel. A Scraping Camel közvetlenül a HTML-kódjukból hoz létre adatfájlt.
• Hiányzó adatok pótlása meglévő feedekben – Ha az e-kereskedelmi platformod nem exportálja a fontos paramétereket a feedbe (pl. szín, anyag, részletes készletinformációk vagy termékszámok), a Scraping Camel közvetlenül a weboldalról húzza ki őket, és ezután a Mergado Editorban hozzáadhatod őket a feedhez.
• Kategóriafeedek előkészítése – Segít a PPC-szakembereknek specifikus kampányokat létrehozni a webhely kategóriáit célozva, amelyekhez a webáruházak általában nem generálnak feedeket.
• Folyamatos on-page SEO-audit – Az egyszeri ellenőrzések helyett a Scraping Camel automatikusan és folyamatosan figyeli például a title-ok, H1-fejlécek és meta-leírások állapotát. Figyelmeztet a hiányukra, a duplikátumokra vagy a nem megfelelő hosszra.
• Adatvezérelt SEO és üzleti riportok – Lehetővé teszi a szakemberek számára, hogy összekapcsolják a technikai SEO-paramétereket (pl. kulcsszó-pontszámok) az üzleti információkkal (ár, árrés, eladások) a stratégiai döntéshozatalhoz.
• Tartalom minőségének ellenőrzése – A mesterséges intelligencia segítségével azonosítja a túl kevés szót tartalmazó oldalakat, automatikusan felderíti az oldal nyelvét (pl. külföldi beszállítótól származó lefordítatlan termékek), és az oldal témáját jellemző kulcsszavakat generál.
• Linkek és képek auditálása – A tömeges elemeken keresztül azonosítja a nem működő linkeket és képeket (404-es hiba), a hiányzó alternatív szövegeket (alt) vagy a weboldalt lelassító túl nagy képfájlokat.
• Technikai elemek és mérőkódok monitorozása – Ellenőrzi a Google Analytics vagy Google Tag Manager azonosítóinak meglétét az összes aloldalon, hogy ne legyen kiesés az adatmérésben.
• Változások és új oldalak nyomon követése – A DISCOVERED elem segítségével ki lehet szűrni azokat az oldalakat, amelyek az elmúlt héten vagy hónapban kerültek fel a weboldalra, ami nagy projektek fejlődésének áttekintéséhez hasznos.

Miért szükséges a domén tulajdonjogát ellenőrizni#

A domén ellenőrzése elengedhetetlen biztonsági lépés, amelyet a Scraping Camel adatok letöltésének megkezdése előtt el kell végezni. A fő ok, hogy ez a bővítmény kizárólag saját weboldalak, illetve az ügyfeleid vagy partnereid weboldalainak feldolgozására szánt.

Miért vezették be ezt az intézkedést?#

• Versenyárs weboldalak scrapeelésének megakadályozása – A bővítmény célja nem az, hogy lehetővé tegye idegen adatbázisok feltérképezését vagy versenyárs weboldalak figyelését.
• Jogi és etikai szempontok – Mások adatainak a tulajdonos hozzájárulása nélküli feltérképezése nem biztos, hogy jogszerű, és a weboldal tulajdonosa nem feltétlenül egyezne bele az ilyen adatbányászatba. Ha azonban beleegyezik a scrapeelésbe (pl. a nagykereskedelmi szállítód), ellenőrizheti a domént, és ezzel engedélyezheti számodra a hozzáférést.
• Adatvédelmi szempontok – A Scraping Camel kizárólag olyan domének adatait dolgozza fel, amelyekhez a felhasználó igazolta a viszonyát, biztosítva, hogy a bővítmény beállításaival mindig egy jogosult személy dolgozzon a csapatodból vagy az ügynökségedből.
• Hozzáférés-kezelés – A Mergadóban lévő webáruházhoz való kapcsolódás révén könnyen kezelhetők a felhasználói jogosultságok, és az együttműködés megszűnésekor a beállítások az összegyűjtött adatokkal együtt átadhatók az ügyfélnek.

Hogyan ellenőrizd a doménedet?#

Az új weboldal létrehozásának varázslójában négy módszer közül választhatsz, amelyik a leginkább megfelel számodra:

1. Google Search Console (GSC) – A legegyszerűbb és leggyorsabb módszer, különösen marketing-specialista és ügynökségek számára. Ha már van hozzáférésed a doménhez a GSC-ben, a Scraping Camel API-n keresztül csatlakozik a Google-höz, és ellenőrzi, hogy rendelkezel-e jogosultsággal a domén kezeléséhez.
2. DNS TXT-rekord – A Scraping Camel által generált specifikus szöveges karakterláncot beilleszted a domén DNS-beállításaiba a doménkezelődnél. Ez a módszer tartós és független a weboldal kódjában bekövetkező változásoktól, de ügyelni kell az aldomének helyes beállítására (pl. www vs. www nélkül). Részletesebb útmutatót a Hogyan ellenőrizheted a domén tulajdonjogát a Scraping Camelben DNS-sel cikkben találsz.
3. Meta tag – A weboldal forráskódjának fejlécébe (a <head> és </head> tagek közé) illeszted be a rövid kódot. Ez a módszer ideális a Shoptet és a WordPress platformok felhasználói számára.
4. HTML-fájl – A weboldalad szerverére (a gyökérkönyvtárba) töltöd fel a generált HTML-fájlt. A Scraping Camel ezután ellenőrzi ennek a fájlnak a meglétét az URL-eden.

Munka a Scraping Camelben#

A bővítmény aktiválása a Mergado Store-ban végezhető: Aktiválni szeretném → válaszd ki a webáruházat, amelyhez aktiválni szeretnéd a bővítményt → Bekapcsolás.

A Scraping Camel bővítmény felületén a menüben két fő szekciót fogsz látni:

• Webhelyek
• Kulcsszavak

Webhelyek#

Ez a rész a projektek (weboldalak) kezelésének fő helye. Látható lesz az összes létrehozott webhely listája, ahol a lista egy eleme egyetlen konkrét domén adatainak felel meg. A bővítmény egy példányán (egy indításán) belül feldolgozható domének száma nincs korlátozva. Ügynökségek esetén azonban javasoljuk a bővítmény külön-külön való használatát – mindig egy Scraping Camel-példányt egy ügyfélnek.

A szekció felső részén megtalálod az Új webhely gombot, amellyel elindítod az új webhely hozzáadásának varázslóját. A varázslóban elvégzett összes beállítás ezután szerkeszthető a konkrét létrehozott projekt egyes fülein.

A hatékony kezeléshez – különösen ha tucatnyi doménedet kezeled – szűrést használhatsz, például a létrehozás dátuma (hasznos az elmúlt heti változások monitorozásához) vagy az oldal feldolgozási állapota szerint. A szűrőket a konkrét projekten belüli egyes füleken is alkalmazhatod.

Egy konkrét projektre (weboldalra) kattintva megjelenik egy áttekinthető felület több füllel – Áttekintés, Fájlexportok, Oldalak, Elemek, Tömeges elemek, Ellenőrzés, Beállítások.

1. Áttekintés#

Ez az oldal a projekt nyitóképernyőjeként szolgál a legfontosabb adatokkal. Láthatók a kimeneti feedek URL-jei (CSV-exportok) és a letöltési lehetőség.

A letöltési állapotot is figyelemmel kísérheted itt. Mivel a Scraping Camel körültekintően járja be a weboldalt, hogy ne terhelje azt túl, és ne kerüljön sor a scraper Anti-DDoS-védelemmel való blokkolására, az ezrek oldalak letöltése a limit-beállításodtól függően bizonyos ideig tart.

2. Fájlexportok#

Itt kezelheted a bővítmény által a weboldalról összegyűjtött kimeneti adatokat. Tetszőleges számú exportot hozhatsz létre (az Új exportfájl létrehozása gombra kattintva) különböző nevekkel, különböző célokra (pl. feed DSA-kampányokhoz vagy SEO-elemzéshez). Az export beállításaiban magad döntöd el, milyen elemeket tartalmazzon a keletkező CSV, és meghatározod az pontos sorrendjüket.

3. Oldalak#

Az összes konkrét URL-cím listája, amelyeket a Scraping Camel talált a weboldaladon. Egy konkrét URL-re kattintva láthatod az összes elem áttekintését a konkrét értékeikkel, amelyeket az adott oldalról sikerült letölteni.

4. Elemek#

Ezen az oldalon megtalálod az elemek listáját, amelyeket az új webhely létrehozásának varázslójában definiáltál. Ezek azok az elemek, amelyeket a Scraping Camelnek keresnie kell a weboldaladon. Az egyes elemekre kattintva megjelennek az adott elem értékei az egyes oldalakhoz.

Az Elemek szerkesztése gombra kattintva szerkesztheted őket. Bal oldalon megjelenik az elemek listája, jobb oldalon pedig az oldal HTML-kódjának előnézete. Azt, hogy az elemek letöltődnek-e vagy sem, a bal oldali listában való bejelölésükkel határozod meg.

Az elemek itt kategóriákra vannak osztva:

• Talált elemek – A Scraping Camel által a HTML-kódban megtalált rendszerelemek.
• Nem talált elemek – A Scraping Camel által a HTML-kódban nem megtalált rendszerelemek.
• AI elemek – Mesterséges intelligencia által generált elemek. Részletesebb információk a Mi a Scraping Camel AI? cikkben.
• Egyéni elemek – Ebben a részben hozod létre az egyéni elemeket, amelyek értékeit reguláris kifejezésekkel vagy „előtte/utána szövegként" definiálod.

5. Tömeges elemek#

Speciális elemek, amelyek olyan adatok letöltésére szolgálnak, amelyek egy oldalon többször fordulnak elő. A szokásos elemekkel ellentétben a Scraping Camel az első találatnál nem áll meg, hanem az összes előfordulást tárolja az adott oldalon. Ezek az elemek:

• IMAGES (Képek) – Tartalmazza a kép URL-jét, az alternatív szövegét, a fájlméretet és a típusát (pl. image, jpg). 💡 A Tömeges elemek oldal áttekintésében a képméretek kilobájtban (KB) jelennek meg, de az ellenőrzési szabály beállításaiban bájtot (B) kell használni.
• LINKS (Visszamutató linkek) – Tartalmazza a célzott URL-t, a linken belüli szöveget és a célzott cím HTTP-státuszkódját.

Ezen adatok kinyerése teljesítmény-igényes, ezért a letöltést manuálisan kell elindítani a Kinyerés indítása gombbal.

A tömeges elemeken rendszer- és egyéni validátorok futtathatók. Így könnyen megkaphatod a nem működő képek (404-es hiba), leírás nélküli képek vagy a weboldal betöltését lelassító túl nagy fájlok listáját.

6. Ellenőrzés#

Az oldal folyamatos és átfogó SEO-auditként szolgál a weboldaladhoz, amely közvetlenül a szerveren fut. A hagyományos asztali eszközöktől eltérően, amelyeket manuálisan kell futtatni, a Scraping Camel automatikusan ellenőrzi a webhely állapotát az adatfrissítési ütemtervednek megfelelően. Mivel online működik, az ellenőrzések aktuális eredményeihez a csapat több tagja egyszerre férhet hozzá.

Akár 35 rendszervalidátort aktiválhatsz, amelyek kulcsfontosságú SEO-területeket fednek le (pl. hiányzó H1, túl hosszú title-ok, hiányzó meta-leírás, nem működő oldalak stb.). Ezek a validátorok igény szerint be- és kikapcsolhatók, és módosíthatók (az Alapértelmezett validátorok szerkesztése gombbal).

Emellett saját validátorokat is létrehozhatsz specifikus igényekhez (az Új egyéni validátor gombbal). Ezek segítségével könnyen ellenőrizheted például a mérőkódok (GTM, GA) meglétét, ellenőrizheted a tartalom egyediségét, vagy specifikus paramétereket, például a cikk szerzőjét vagy a kategóriát.

Az ellenőrzési eredmények egy áttekinthető táblázatban jelennek meg, fontosság szerint rendezve, és színes ikonokkal jelölve. Az adott validátorra kattintva megjelenik az összes érintett URL listája.

• 🔴 Piros ikon (Kritikus hiba): Azonnali figyelmet igénylő kritikus hiányosságok (pl. nem működő URL 404-es hibával vagy hiányzó TITLE).
• 🟠 Narancssárga ikon (Figyelmeztetés): Hibák, amelyeket javítani kellene, de a weboldal működőképes (pl. túl hosszú Meta Description).
• 🔘 Szürke ikon (Értesítés/Információ): Kevésbé súlyos állapotok vagy fejlesztési javaslatok.
• 🟢 Zöld ikon (Rendben): Azon validátoroknál jelenik meg, amelyeknél az ellenőrzött elemek egyike sem teljesíti a hibafeltételt.

Az adatellenőrzés sikeréhez az Elemek fülön aktiválva (bejelölve) kell lennie azoknak az elemeknek, amelyeket a validátornak ellenőriznie kell (pl. ha a H1-et szeretnéd validálni, a H1 elemnek aktívnak kell lennie letöltésre). Az ellenőrzési eredmények frissítési sebessége a Beállítások fülön beállított oldal-letöltési frekvenciától függ.

7. Beállítások#

Az egyes füleken itt módosíthatod a scraping technikai paramétereit.

a. Oldalbeállítások

A projekt nevének vagy a domén megváltoztatása.

b. Kérések korlátozása

Megváltoztathatod a frekvenciát és a sebességet, amellyel a Scraping Camel eléri a weboldaladat. Ezek a paraméterek kulcsfontosságúak ahhoz, hogy a weboldal ésszerű idő alatt feldolgozódjon, de ne kerüljön sor sem a túlterhelésére, sem a scraper Anti-DDoS-védelemmel való blokkolására.

• Oldalak letöltési frekvenciája – Milyen gyakran ellenőrizze a Scraping Camel a változásokat a már egyszer sikeresen letöltött oldalakon. Míg az új oldalakat (amelyek először jelennek meg a sitemapban) a bővítmény igyekszik minél hamarabb letölteni (általában naponta), az ismert oldalakhoz több intervallum közül választhatsz – csak egyszer (és soha többé nem frissíteni), naponta, háromnaponta, hetente vagy havonta.
• Letöltött oldalak száma az adott intervallumon belül – Meghatározza a köteg méretét, vagyis azt, hogy hány oldalt kell feldolgozni egyszerre egy adott időszakon belül. Ha például az 5 értéket adod meg ebben a mezőben, az azt jelenti, hogy a bővítmény minden meghatározott időszakban 5 URL letöltésére irányuló kérelmet küld.
• Oldalak letöltési intervalluma – Meghatározza az egyes letöltési kötegek közötti időközt. Ha például 500 ms-ra állítod az intervallumot, a bővítmény félmásodpercenként megkísérli a meghatározott számú oldalt letölteni (amelyet az Oldalak letöltési száma adott intervallumon belül mezőben határoztál meg).

c. AI-beállítások

A kulcsszógenerálás és a stop szavak listájának paramétereinek kezelése. Itt definiálhatod például a kulcsszavak minimális hosszát, a pontszám küszöbét (az a minimális százalékos fontosság, amellyel egy szónak rendelkeznie kell ahhoz, hogy bekerüljön a kulcsszavak közé), a számjegyek feldolgozásának szabályait, az ún. stop szavakat (kifejezések, amelyeket az AI teljesen figyelmen kívül hagyjon a kulcsszavak generálásakor) vagy frázisokat definiálhatsz (többszavas kifejezések, amelyeket az algoritmus egységként kezel, egyetlen kulcsszóként). Részletesebb információk a Mi a Scraping Camel AI? cikkben.

d. Oldalfeldolgozási szabályok

A szabályok segítségével meghatározod, hogy melyik oldalakat kell letölteni (minden más figyelmen kívül lesz hagyva), vagy épp ellenkezőleg, melyeket kell kizárni a letöltésből (mindent, kivéve azokat, le kell tölteni). Például csak kategóriákat tölthet le, és kizárhatja a blogoldalakat. Ez jelentősen takarékoskodik a szerver teljesítményével, lerövidíti az adatfrissítési időt, és a felesleges adatoktól megtisztítja a kimeneti CSV-feedet.

A URL-kiválasztás feltételeit kétféleképpen definiálhatod:

• URL-karakterlánc alapján – Megadsz egy cím egy részét (pl. /blog/ vagy /termek/).
• Reguláris kifejezéssel – Fejlettebb és pontosabb szűréshez (pl. egy adott számmal végződő URL-ekhez).

Azok az oldalak, amelyek nem felelnek meg a szabályaidnak, megjelennek ugyan az Oldalak fül listájában (hogy a sitemap tartalmának áttekintése teljes legyen), de piros szimbólummal lesznek megjelölve. Ezeket az oldalakat nem scrapelják és nem exportálják a kimeneti fájlokba.

Kulcsszavak#

Ez a szekció a weboldalaidon közvetlenül talált kulcsszavak adatfeedjének automatikus generálására és kezelésére szolgál. A Webhelyek szekciótól eltérően, ahol az elsődleges kulcs az URL-cím, ebben a modulban a kiindulóelem a konkrét kulcsszó, amelyhez releváns oldalak és metrikák vannak rendelve.

Ezen az oldalon láthatod az összes létrehozott kulcsszó-elemzés listáját. Új elemzést az Új kulcsszó-elemzés gombbal hozhatsz létre, ahol kiválasztod a domént (egyet vagy többet is), amelyből az adatokat kell meríteni.

Egy konkrét elemzésre kattintva megjelenik egy áttekinthető felület több füllel – Áttekintés, Fájlexportok, Címkék, Variánsok, Diagnosztika, Ellenőrzés és Beállítások.

1. Áttekintés#

Megtalálod az összes talált kulcsszó listáját. A táblázatban minden kulcsszónál látható:

• a szövege (KEYWORD elem),
• a céloldal URL-je, amelynek a legmagasabb a mért relevanciája, vagyis a legmagasabb pontszáma az adott szóhoz (URL elem),
• numerikus érték, amely a céloldal relevanciájának legmagasabb pontszámát fejezi ki az adott szóhoz (TOP_SCORE elem),
• a webhely összes oldalának száma, amelyeken ez a szó a top kulcsszavak közé került, vagyis meghaladta a beállított fontossági küszöböt (PAGES_COUNT elem),
• keresési volumen és CPC (kattintásonkénti költség) adatok, ha elérhetők az adott szóhoz,
• státusz, vagyis hogy a kulcsszó aktív-e vagy sem,
• hogy vannak-e Címkék hozzárendelve,
• az első találat dátuma és ideje.

A listából közvetlenül átkattinthatsz a Google SERP-jére, hogy ellenőrizd az adott kifejezés tényleges keresési eredményeit. Az egyes szavakat a listában aktiválhatod vagy deaktiválhatod, ami ezután az exportban fog tükröződni. Egy kulcsszóra kattintva megjelenik az adott kulcsszóhoz releváns összes oldal listája.

2. Fájlexportok#

Ebben a részben kezelheted és exportálhatod a kulcsszó-elemzés CSV-fájljait. Az exporthoz kiválasztod az elemeket, amelyeket a fájlnak tartalmaznia kell, és meghatározod a sorrendjüket. Kétféle export áll rendelkezésre:

• Klasszikus export (Klasszikus exportfájl létrehozása gomb) – Egy táblázat, ahol minden kulcsszóhoz egy sor tartozik a kiválasztott kiegészítő információkkal.
• Inverz export (Inverz exportfájl létrehozása gomb) – Speciális formátum, amely „megfordítja" az adatokat. Az elsődleges kulcs az URL-cím, amelyhez a következő oszlopban az összes releváns kulcsszó van rendelve. Ez a formátum ideális DSA-kampányok vagy Google Ads-ban Performance Max kampányok létrehozásához.

3. Címkék#

Kulcsszavak tematikus csoportokba szervezésére szolgál. Webáruházaknál leggyakrabban arra használják, hogy a szavakat termékategóriák szerint osszák fel (pl. „hűtők", „mosógépek" stb. nevű Címke). A Címkéket tömegesen vagy egyenként lehet a szavakhoz rendelni a kulcsszó részletein belül.

Egy Címkére kattintva megjelenik a hozzárendelt kulcsszavak listája.

4. Variánsok#

Ez a fül ugyanazon szó különböző formáinak kézi egységesítésére szolgál. Bár a Scraping Camel automatikusan igyekszik felismerni, hogy például „mosógép", „mosógépet" vagy „mosógéppel" szavak összetartoznak, időnként kihagy egy bonyolultabb formát vagy ragozást.

Ebben a részben kézileg „súgnatsz" a rendszernek, és egy fő szó alá vonhatod ezeket a kifejezéseket. Például meghatározhatod, hogy az „ügynökségek" szót az „ügynökség" szó variansaként kell figyelembe venni. Az eredmény egy sokkal tisztább és áttekinthetőbb elemzés, amelyben az adatok nem szóródnak szét sok hasonló sorba.

5. Diagnosztika#

A diagnosztika segít feltárni, hogy az oldalaid szövegei valóban arról szólnak-e, amit eladsz, vagy irreleváns szavakkal vannak telítve, amelyek torzítják az elemzési eredményeket.

A Scraping Camel veszi az összes talált kulcsszót (beleértve a többszavas frázisokat is), egyes szavakra bontja őket, és megszámolja, hogy melyik szó hányszor fordul elő az egész webhelyen. Ezáltal azonnal láthatod, melyek a domináns szavak a webhelyen.

Ha azt találod, hogy a webáruházadon a leggyakoribb szó például az „ÁFA", „sütik" vagy „készleten", az fontos jelzés számodra. Ez azt jelenti, hogy ezek a technikai vagy általános szavak az elemzésben „felülírják" a fontos kulcsszavakat, amelyek valóban leírják a termékeidet. Ha ezeket a kifejezéseket azonosítod a diagnosztikában, az Ellenőrzés fülön hozzáadhatod őket a stop szavak listájához. Ezáltal megtisztítod az elemzést, és az áttekintésben csak azok a szavak maradnak, amelyek valódi marketing-értékkel bírnak.

6. Ellenőrzés#

Az Ellenőrzés fül a teljes kulcsszó-adatsetted automatikus megtisztítására, szervezésére és minőségének javítására szolgál. Ellenőrzési szabályokat (validátorokat) állíthatsz be, amelyek biztosítják, hogy a kulcsszó-export maximálisan releváns legyen a marketinged számára, és ne tartalmazzon felesleges adatokat. A validátorok a datasetet folyamatosan és automatikusan tisztítják a háttérben, így az folyamatos manuális beavatkozás nélkül marad minőségi.

Az ellenőrzési szabályok segítségével tömegesen beállíthatod például:

• Szavak tiltása (stop szavak) – Ha azonosítod az elemzésben azokat a szavakat, amelyek számodra nem hasznosak (pl. általános kifejezések, mint „ÁFA", „készleten", „kosár" vagy a saját branded, amely felülírja az egyedi kulcsszavakat), szabályokat állíthatsz be itt azok végleges kizárásához az elemzésből.
• Frázisokba való összevonás – Meghatározhatsz olyan szabályokat, amelyek két vagy több szót egy egységgé (frázissá) vonnak össze, pl. „Bidding Fox" vagy „Google Analytics". A Scraping Camel ezeket a frázisokat egyetlen kulcsszóként kezeli, ami növeli a pontozás pontosságát és az eredmények relevanciáját.
• Automatikus Címkézés – A validátorokkal automatikusan is hozzárendelhetsz Címkéket a kulcsszavakhoz meghatározott feltételek alapján. Ez elengedhetetlen az ún. klaszterezéshez, vagyis a szavak logikai egységekbe – például termékcsoportok (hűtők, mosógépek, mobiltelefonok) szerinti – csoportosításához.

7. Beállítások#

A Beállításokban módosíthatod az elemzés alapvető paramétereit, például a nevét vagy a figyelmen kívül hagyott karakterek listáját. Ez a funkció kulcsfontosságú a nemkívánatos elemek eltávolításához azokból a szövegekből, amelyekből a kulcsszavakat generálják. Lehetővé teszi, hogy meghatározd azokat a konkrét szimbólumokat és karaktereket, amelyeket a Scraping Camel az elemzés során teljesen figyelmen kívül hagyjon. Így biztosíthatod az adatok nagyobb tisztaságát, és megakadályozhatod az irreleváns kulcsszavak keletkezését.

Az itt felsorolt összes paramétert a varázsló állítja be egy új elemzés létrehozásakor. Ebben a pillanatban választod ki azt az egy vagy több weboldalt is, amelyből az adatokat kell meríteni. Ez a beállítás végleges, és a Beállítások fülön később nem módosítható. Ha másik doménedet szeretnéd elemezni, teljesen új elemzést kell létrehoznod.

Adatvédelem és adatkezelés#

A Scraping Camel kizárólag nyilvánosan elérhető weboldalak adatait dolgozza fel, amelyeknél a felhasználó igazolhatóan megerősítette a domén tulajdonjogát vagy ahhoz való viszonyát. Az összes megszerzett adat magánjellegűnek minősül, semmilyen harmadik félnek nem kerül át, és a felhasználó teljes mértékben ellenőrzés alatt tartja azok körét közvetlenül a bővítmény adminisztrációjában. A projekt törlése esetén az összes kapcsolódó adat 14 napon belül véglegesen törlésre kerül a biztonsági mentési rendszerekből is, amelyek kizárólag a bővítmény műszaki meghibásodás esetén való visszaállítására szolgálnak.

GYIK#

Mi a Scraping Camel, és mire való?#

A Scraping Camel egy bővítmény, amely automatikusan és folyamatosan feltérképezi a weboldalakat, adatokat tölt le róluk, és CSV-feedben tárolja, vagy API-n keresztül teszi elérhetővé. Folyamatosan fut egy szerveren, így az adatok állandóan frissülnek anélkül, hogy szoftvert kellene kézzel futtatni a számítógépeden. Mindenhol hasznos, ahol olyan adatokra van szükséged, amelyek nem érhetők el a szokásos termékes feedekben.

Kinek ajánlott a Scraping Camel?#

Elsősorban PPC- és SEO-szakemberek, webáruház-tulajdonosok, kosár nélküli weboldalak (katalógusok, magazinok, céges weboldalak) üzemeltetői és tartalommenedzserek használják. Az eszköz sokoldalú – segít az automatizált kampányok létrehozásában, az SEO-auditokban, a kulcsszó-elemzésben és a tartalom minőségének ellenőrzésében.

Mennyibe kerül a Scraping Camel?#

Az ár havonta 986 CZK havi számlázás esetén, vagy havonta 788,80 CZK éves számlázás esetén. Az ár fix egy webáruházra, a létrehozott projektek (weboldalak) vagy kulcsszó-elemzések számától függetlenül. 30 napos ingyenes próbaidőszak áll rendelkezésre.

Szükséges-e fizetős Mergado-projekt a Scraping Camel működéséhez?#

Nem. A Scraping Camel fizetős Mergado-projekt nélkül is használható. Csak ingyenesen létre kell hoznod egy Mergado-fiókot és benne egy webáruházat a bejelentkezéshez, a számlázáshoz és a hozzáférések kezeléséhez.

Milyen feltételek szükségesek a Scraping Camel elindításához?#

Három dologra van szükséged: Mergado-fiókra webáruházzal, az ellenőrizni kívánt domén tulajdonjogának igazolására, és egy működő sitemap.xml-fájlra, amelyből a bővítmény az URL-ek listáját meríti.

Miért kell igazolnom a domén tulajdonjogát?#

A Scraping Camel kizárólag saját weboldalaid vagy az ügyfeleid weboldalainak feldolgozására való. A domén ellenőrzése megakadályozza az eszköz idegen vagy versenyárs weboldalak feltérképezésére való felhasználását, és biztosítja, hogy az adatokkal mindig jogosult személy dolgozzon.

Hogyan lehet ellenőrizni a doménedet?#

Négy módszer áll rendelkezésre: Google Search Console segítségével (ügynökségeknek a leggyorsabb opció), DNS TXT-rekordon keresztül (weboldal kódjától független, tartós módszer), meta tag beillesztésével a weboldal fejlécébe (Shoptet és WordPress esetén ajánlott) vagy HTML-fájl feltöltésével a szerverre.

Működik a Scraping Camel JavaScript-alapú weboldalakon is?#

Nem. A bővítmény kizárólag az oldalak HTML-kódjával dolgozik, és nem rendereli a JavaScriptet. Ha az oldal tartalmának bármely része JavaScripttől függ, a Scraping Camel nem tudja kinyerni.

Milyen adatokat lehet a Scraping Camel segítségével gyűjteni?#

Gyakorlatilag bármit, ami az oldal HTML-kódjában szerepel. Az adatok ezután vagy előre definiált rendszerelemekbe (Title, H1, Meta Description, HTTP-státusz, GTM/GA-kódok stb.), vagy reguláris kifejezéssel vagy „előtte/utána szöveggel" definiált egyéni elemekbe, vagy automatikusan generált AI elemekbe (kulcsszavak, az oldal nyelve, szószám, oldal Főcíme) kerülnek mentésre.

Mik azok a tömeges elemek, és miben különböznek a szokásosoktól?#

Egy szokásos elembe az adott érték oldalon lévő első előfordulása kerül mentésre. A tömeges elemek az összes előfordulást mentik. Konkrétan az összes kép teljes listáját tárolják (az alt szövegekkel és a fájlméretekkel együtt) vagy az összes linket (HTTP-státuszkódokkal együtt) az adott oldalon. Az ezekbe az elemekbe való információletöltés manuálisan indítható el, mivel teljesítmény-igényesebb.

Hogyan működik az SEO-ellenőrzés a Scraping Camelben?#

A Scraping Camel 35 rendszervalidátort tartalmaz, amelyek folyamatosan ellenőrzik a webhely technikai állapotát, és hibákra figyelmeztetnek, mint pl. hiányzó H1, túl hosszú title-ok vagy nem működő oldalak. Az eredmények fontosság szerint, színkóddal vannak megjelölve, és online elérhetők. A rendszervalidátorok mellett saját validátorokat is létrehozhatsz.

Hogyan segíti a Scraping Camel a PPC-kampányokat?#

URL-eket és azok tartalmát tartalmazó oldalfeedeket hoz létre, amelyek ideálisak DSA- és Performance Max kampányokhoz. Inverz kulcsszó-exportok is elérhetők – CSV-fájlok, amelyekben az elsődleges kulcs az URL-cím, és az összes releváns kulcsszó hozzá van rendelve.

Lehet csak a weboldal egy részét scrapelni, például csak a kategóriákat?#

Igen. Az oldalfeldolgozási szabályok beállításaiban meghatározhatod, hogy a webhely mely részeit kell scrapelni, és melyeket figyelmen kívül hagyni – például kizárhatod a blogot, és csak a kategóriákat dolgozhatod fel. A feltételek URL-karakterlánccal vagy reguláris kifejezéssel definiálhatók.

Milyen gyorsan frissíti a Scraping Camel az adatokat?#

A sitemapban először megjelenő új oldalakat a bővítmény általában naponta igyekszik letölteni. Az már ismert oldalakhoz saját magad választod ki a frekvenciát – egyszer, naponta, háromnaponta, hetente vagy havonta. A sebesség tovább befolyásolható a köteges letöltések számának és a kötegek közötti intervallum beállításával.

Milyen formátumban érhetők el a kimeneti adatok?#

Az adatok CSV-fájlként kerülnek exportálásra, amely feltölthető a Mergado Editorba önálló feedként, vagy egy meglévő projekthez csatolható az Adatfájl import szabály segítségével. Az adatok API-n keresztül is elérhetők, például a Mergado Marketing Buddy bővítményhez.

Lehet egy bővítménypéldányon belül több weboldalt is scrapelni?#

Igen, egy példányon belüli domének száma nincs korlátozva. Több ügyfél weboldalait kezelő ügynökségek számára azonban javasolt minden ügyfélhez külön bővítménypéldányt futtatni – ez megkönnyíti a hozzáférések kezelését és az adatok átadását az együttműködés megszűnésekor.

Mi történik az adataimmal, ha törlöm a projektet?#

A projekt törlése után az összes kapcsolódó adat 14 napon belül véglegesen törlésre kerül a biztonsági mentési rendszerekből is. A Scraping Camel kizárólag nyilvánosan elérhető, ellenőrzött tulajdonjoggal rendelkező oldalak adatait dolgozza fel, és semmilyen harmadik félnek nem adja át.

Hogyan működik a kulcsszó-elemzés a Scraping Camelben?#

A Kulcsszavak szekciójában egy vagy több domén elemzését hozod létre. A Scraping Camel automatikusan generál kulcsszavakat az oldalak tartalmából, relevanciapont-értékeket rendel hozzájuk, és folyamatosan frissíti azokat. Az adatok Címkékkel rendezhetők, a szavak különböző alakjai Variánsokkal egységesíthetők, stop szavakkal megtisztíthatók, és klasszikus vagy inverz CSV-fájlként exportálhatók.

Honnan tudom, hogy a kulcsszó-elemzésem irreleváns szavakat tartalmaz?#

Erre a Diagnosztika fül való. A Scraping Camel megjeleníti benne, hogy milyen szavak fordulnak elő a leggyakrabban a webhelyen. Ha köztük az „ÁFA" vagy a „sütik" stb. általános kifejezések dominálnak, az jelzés arra, hogy ezek felülírják a releváns kulcsszavakat, és hozzá kellene adni őket a stop szavak listájához.