Scraping Camel bővítmény#

A Scraping Camel egy bővítmény, amely automatikusan és folyamatosan bejárja (crawlolja) a weboldalakat, adatokat tölt le róluk, és ezeket az adatokat gépileg olvasható adatfeedbe (CSV) menti, vagy API-n keresztül elérhetővé teszi más bővítmények számára (pl. Mergado Marketing Buddy). Szerveres scraperként működik, amely nonstop fut – az adatok tehát folyamatosan frissülnek, anélkül hogy szoftvert kellene futtatni a helyi számítógépen.

A bővítmény ideális olyan adatok megszerzéséhez, amelyek nem érhetők el a hagyományos termékes feedekben – például kategóriákból, blogokból, statikus oldalakról vagy olyan weboldalakról, amelyek egyáltalán nem rendelkeznek feedekkel.

Kinek ajánlott:

• PPC specialisták – automatizált kampányok létrehozásához (pl. DSA vagy Performance Max) a teljes weboldal adatai alapján.
• SEO specialisták – weboldalak folyamatos monitorozásához, SEO-auditokhoz és kulcsszóelemzésekhez valós időben.
• Webáruház-tulajdonosok – akiknek termékes feedeket kell létrehozniuk ott, ahol a rendszerük nem kínál ilyeneket, vagy szeretnék kiegészíteni a feedeket hiányzó adatokkal (pl. paraméterek, készletinformációk, képek).
• Kosár nélküli weboldalak – például szolgáltatáskatalógusok, magazinok, céges bemutatók vagy nagykereskedelmi katalógusok, amelyeknek a Scraping Camel lehetővé teszi a feed marketing világába való belépést.
• Tartalmi specialisták és menedzsment – a munka eredményeinek ellenőrzéséhez és a weboldalak tartalmának, struktúrájának áttekintéséhez.

Ár és számlázás#

A bővítmény ára:

• 986 Kč havonta havi számlázás esetén,
• 788,80 Kč havonta éves számlázás esetén.

Az ár egy webáruházra (a Mergadóban) vonatkozik, és fix, függetlenül a létrehozott projektek (weboldalak) vagy kulcsszóelemzések számától.

Technikai összefüggések miatt a bővítmény számlázása a Mergado Editorban választott számlázási gyakorisággal összhangban történik. Az egyes szolgáltatásokhoz nem lehet különböző számlázási gyakoriságot választani.

A Scraping Camel bővítménynek 30 napos ingyenes próbaidőszaka van.

Használható-e a Scraping Camel Mergado nélkül?#

A Scraping Camel fizetős Mergado-projekt nélkül is használható. Szükséges azonban létrehozni egy Mergado-fiókot a felhasználók hitelesítéséhez és a számlázáshoz, valamint egy webáruházat a felhasználói hozzáférések kezeléséhez. Mindkettő létrehozható a Mergadóban ingyenesen, fizetős projekt nélkül is.

A Scraping Camel bővítményhez kapcsolódó alapfogalmak#

• Scraper (Crawler) – automatizált robot, amely nonstop fut a szerveren, bejárja az oldalak HTML-kódját, és az adatokat gépileg olvasható formátumba nyeri ki.
• Kulcsszó – a Scraping Camel által automatikusan, közvetlenül a weboldal szövegéből generált kifejezés vagy szókapcsolat. A kulcsszavak jellemzik az oldal tartalmát és fő témáját.
• Elem – konkrét adatmező, amely a Scraping Camel által a weboldalról letöltött információkat tartalmazza. Az elemek a következőkre oszthatók:
  • Rendszerelemek – előre definiált általános SEO-elemek (Title, H1, Meta Description stb.).
  • Egyéni elemek – felhasználó által definiált mezők (pl. ár, készlet).
  • AI-elemek – mesterséges intelligencia által generált mezők, manuális beállítás nélkül (kulcsszavak, nyelvfelismerés, szószám).
• Tömeges elemek – speciális elemtípus, amelynél a Scraping Camel nem áll meg az első találatnál, hanem elmenti az adott oldalon található összes előfordulást.
• Validátor – feltétel vagy szabály, amely automatikusan és folyamatosan ellenőrzi a weboldal állapotát, és technikai vagy SEO-hibákra figyelmeztet.
• Inverz export – speciális CSV-kimeneti fájltípus kulcsszavakhoz, ahol az elsődleges kulcs az URL-cím, amelyhez az összes megtalált kulcsszó hozzá van rendelve (PPC-kampányokhoz ideális).
• Score (pontszám) – numerikus érték, amely egy adott weboldal szempontjából a kulcsszó jelentőségének (relevanciájának) mértékét fejezi ki.
• Kifejezés – két vagy több szóból álló szókapcsolat, amelyet a felhasználó definiál, hogy az elemzés során egységként (egy kulcsszóként) kezelje.
• Tiltott szavak – szavak listája, amelyeket a kulcsszógenerálás során figyelmen kívül kell hagyni (pl. kötőszavak, elöljárók vagy saját márkanév), hogy a végeredmény tisztább legyen.
• Címkék – eszköz a kulcsszavak tematikus csoportokba való szervezéséhez és klaszterezéséhez, például termékkategóriák szerint.

A Scraping Camel bővítmény indításához szükséges feltételek#

• Fiók a Mergado Editorban és abban létrehozott webáruház.
• A domainhez való viszony igazolása – a Scraping Camel nem idegen weboldalak vagy versenytársak scrapelésére való. Ezért szükséges ellenőrizni a domain tulajdonjogát, hogy megakadályozzuk az idegen weboldalak jogosulatlan scrapelését.
• A sitemap.xml megadása és ellenőrzése – a sitemap fájl elengedhetetlen a bővítmény működéséhez, mivel a Scraping Camel ebből nyeri a letöltendő URL-címeket. Ha a bővítmény nem találja meg automatikusan a sitemapet, a címét manuálisan kell megadni.

Főbb funkciók#

1. Tetszőleges adatok kinyerése egy weboldal HTML-kódjából#

A Scraping Camel képes bármilyen olyan információt kinyerni a weboldalról, amely nem szerepel a szokásos feedekben. Folyamatosan bejárja a weboldalt, és közvetlenül az oldalak forráskódjából tölti le az információkat, amelyeket aztán gépileg olvasható CSV-feedbe ment. Az összegyűjtött adatokat elemekbe menti:

• Rendszerelemek – előre definiált elemek, amelyek egy kattintással aktiválhatók. Ide tartoznak többtucat SEO-paraméter, mint például TITLE, H1, META_DESCRIPTION, HTTP_STATUS, mikroformátum-információk (Open Graph, Twitter cards) vagy mérési kódok azonosítói (GTM, GA).
• Egyéni elemek – lehetővé teszik olyan specifikus adatok kinyerését, amelyeket a rendszerelemek nem fednek le (pl. ár, készlet, paraméterek, cikk szerzője vagy breadcrumb navigáció). Te magad definiálod őket reguláris kifejezések vagy a kívánt érték „előtti és utáni szöveg" megadásával.
• Scraping Camel AI – mesterséges intelligencia által generált elemek, amelyek automatikusan elemzik a tartalmat, manuális beállítás nélkül. A szokásos elemekkel ellentétben nem te határozod meg a tartalmukat, hanem a bővítmény szerzi be azokat automatikusan a mesterséges intelligencia segítségével. A Scraping Camel így maga fedezi fel a nyelvet (SC_DETECTED_LANGUAGE), az oldalon lévő szavak számát (SC_NUMBER_OF_WORDS), generálja az oldal fő címét (SC_MAIN_TITLE), valamint az adott oldal kulcsszavait (SC_WORDS_COUNT, SC_WORDS_TUPLES_COUNT, SC_WORDS_AGG_MIN_FREQ_3). Tudj meg többet az AI-elemekről.

⚠️ A Scraping Camel nem rendereli a JavaScriptet, csak HTML alapon működik. Ha a tartalom szkriptek mögé van rejtve, a bővítmény nem tudja kinyerni azt.

2. Tömeges elemek#

A szokásos elemekkel ellentétben, amelyek csak a kódban szereplő első előfordulást mentik el, a tömeges elemek az adott oldalon lévő összes előfordulást elmentik. Ennek köszönhetően megkaphatod:

• Visszamutató linkek – megkapod az oldalon lévő összes hivatkozás listáját, azok szövegével és a cél URL HTTP-kódjával együtt. Így könnyen felfedezheted például a nem működő hivatkozásokat.
• Képek – megkapod az oldalon lévő összes kép URL-jét, alternatív szövegüket (alt), fájlméretüket és tartalomtípusukat. Ez a funkció kulcsfontosságú a nem működő hivatkozások (404-es hiba) vagy a weboldalt lassító túl nagy képek azonosításához.

3. Folyamatos SEO-validáció és monitorozás#

A Scraping Camel SEO-auditként működik, amely nonstop fut a szerveren. 35 rendszervalidátort tartalmaz, amelyek folyamatosan ellenőrzik a weboldal technikai állapotát (pl. hiányzó H1, túl hosszú title-ök, a robots.txt által tiltott URL-ek) és figyelmeztetnek a hibákra. Saját validátorokat is létrehozhatsz egyedi ellenőrzésekhez, például a mérési kódok (GTM, GA) jelenlétének vagy a tartalom egyediségének ellenőrzéséhez.

4. Automatizált kulcsszóelemzés#

A Scraping Camel lehetővé teszi átfogó kulcsszóelemzések készítését a weboldal tartalmából, amelyek az oldalak minden módosításakor automatikusan frissülnek.

5. Fejlett scrapelési vezérlés#

A Scraping Camelben teljes kontrollt gyakorolhatsz afölött, hogyan és mit kell letölteni a weboldaladról.

• URL-szűrés – kizárhatsz bizonyos weboldalrészeket (pl. blog), és csak a kiválasztott szakaszokat scrapeleted (pl. kategóriák), ami megtakarítja a szerver teljesítményét és áttekinthetőbbé teszi a kimeneti feedet.
• Kérelmek korlátozása – meghatározod a letöltések gyakoriságát és sebességét, hogy elkerüld a weboldal túlterhelését vagy a scraper Anti-DDoS-védelemmel való blokkolását.
• Frissítések ütemezése – megválaszthatod, milyen gyakran ellenőrizze a Scraping Camel a már letöltött oldalakon bekövetkező változásokat (egyszer, naponta, háromnaponta, hetente, havonta).

6. Univerzális kimenetek és API#

Az összes összegyűjtött adat elérhető egy univerzális CSV-fájlban, amely önálló feedként feltölthető a Mergado Editorba, vagy hozzákapcsolható egy meglévő projekthez az Import datového souboru szabállyal. Az adatok API-n keresztül is elérhetők, ami lehetővé teszi azok felhasználását AI-eszközökben, például a Mergado Marketing Buddy-ban.

Gyakorlati felhasználási példák#

• PPC-kampányok automatizálása (DSA és PMax) – a Scraping Camel ideális alapanyagot nyújt a keresési dinamikus hirdetésekhez (DSA) és a Performance Max kampányokhoz. Tartalmukkal együtt (ún. page feedek) biztosítja az URL-listák és az egyes oldalakhoz tartozó legrelevánsabb kulcsszavakat tartalmazó inverz exportokat.
• Feedek létrehozása kosár nélküli weboldalakhoz – lehetővé teszi a feed marketingbe való bekapcsolódást katalógusok, magazinok vagy ingatlanportálok számára is, amelyek általában nem rendelkeznek termékes feedekkel. A Scraping Camel közvetlenül a HTML-kódjukból hoz létre adatfájlt.
• Hiányzó adatok pótlása meglévő feedekbe – ha a webáruházi rendszer nem exportálja a feedbe a fontos paramétereket (pl. szín, anyag, részletes készletinformációk vagy cikkszámok), a Scraping Camel közvetlenül a weboldalról nyeri ki azokat, és ezután a Mergado Editorban hozzáadhatod őket a feedhez.
• Kategóriafeedek előkészítése – segít a PPC specialistáknak olyan specifikus kampányok létrehozásában, amelyek a weboldal kategóriáira irányulnak, amelyekhez a webáruházak általában nem generálnak feedeket.
• Folyamatos on-page SEO-audit – az egyszeri ellenőrzések helyett a Scraping Camel automatikusan és folyamatosan figyeli például a title-ök, H1-es fejlécek vagy meta leírások állapotát. Figyelmeztet hiányukra, duplikátumaikra vagy nem megfelelő hosszukra.
• Adatvezérelt SEO és üzleti riportok – lehetővé teszi a specialistáknak, hogy a technikai SEO-paramétereket (pl. kulcsszavak pontszáma) összekapcsolják üzleti információkkal (ár, árrés, értékesítések) a stratégiai döntéshozatalhoz.
• Tartalomminőség ellenőrzése – az AI segítségével azonosítja a túl kevés szót tartalmazó oldalakat, automatikusan felismeri az oldal nyelvét (pl. külföldi szállítóktól származó lefordítatlan termékek), és kulcsszavakat generál az oldal témájának megfelelően.
• Linkek és képek auditálása – a tömeges elemeken keresztül azonosítja a nem működő hivatkozásokat és képeket (404-es hiba), a hiányzó alternatív szövegeket (alt) vagy a weboldalt lassító túl nagy képfájlokat.
• Technikai elemek és mérési kódok monitorozása – ellenőrzi a Google Analytics vagy Google Tag Manager azonosítók jelenlétét az összes aloldalon, hogy elkerülje a mérési adatok kiesését.
• Változások és új oldalak nyomon követése – a DISCOVERED elem segítségével lehetővé teszi az elmúlt héten vagy hónapban megjelent új oldalak kiszűrését, ami hasznos a nagy projektek fejlődésének nyomon követéséhez.

Miért szükséges igazolni a domain tulajdonjogát#

A domain ellenőrzése elengedhetetlen biztonsági lépés, amelyet el kell végezni, mielőtt a Scraping Camel megkezdi az adatok letöltését a weboldaladról. A bővítmény kizárólag saját weboldalak, illetve ügyfelek vagy partnerek weboldalainak feldolgozására készült.

Miért vezették be ezt az intézkedést?#

• A versenytársak scrapelésének megakadályozása – a bővítmény célja nem az idegen adatbázisok kiaknázásának vagy a versenytárs weboldalak megfigyelésének lehetővé tétele.
• Jogi és etikai szempontok – az idegen adatok tulajdonos hozzájárulása nélküli kiaknázása nem feltétlenül legális. Ha azonban a weboldal tulajdonosa hozzájárul a scrapeléshez (pl. a nagykereskedelmi szállítód), ellenőrizheti a domaint, ezzel hozzáférést biztosítva neked.
• Adatvédelem – a Scraping Camel kizárólag olyan domainekről dolgoz fel adatokat, amelyekhez a felhasználó igazolta a kapcsolatát. Ez biztosítja, hogy a bővítmény beállításaival mindig a csapatod vagy ügynökséged erre jogosult személye dolgozzon.
• Hozzáférés-kezelés – a Mergadóban lévő webáruházhoz való kötés révén könnyen lehet kezelni a felhasználói engedélyeket, és az együttműködés befejezésekor az összegyűjtött adatokkal együtt átadni a beállításokat az ügyfélnek.

Hogyan lehet ellenőrizni a domaint?#

Az új oldal létrehozási varázslójában kiválaszthatod az alábbi négy módszer egyikét:

1. Google Search Console (GSC) – a legegyszerűbb és leggyorsabb módszer, különösen marketing specialisták és ügynökségek számára. Ha már van hozzáférésed a domainhez a GSC-ben, a Scraping Camel API-n keresztül kapcsolódik a Google szolgáltatáshoz, és ellenőrzi a jogosultságodat.
2. DNS TXT-rekord – a domainregisztrátor DNS-beállításaiba beillesztesz egy specifikus szöveges karakterláncot, amelyet a Scraping Camel generál neked. Ez a módszer állandó és független a weboldal kódjának változásaitól. Ügyelni kell azonban az aldomainek helyes beállítására (pl. www vs. www nélkül). Részletesebb információk: Domain-tulajdonjog igazolása DNS-rekorddal.
3. Meta tag – a weboldal forráskódjának fejlécébe (a <head> és </head> tagek közé) illesztesz be egy rövid kódot. Ez az eljárás ideális a Shoptet és WordPress platformok felhasználói számára.
4. HTML-fájl – a weboldalad szerverére (a gyökérkönyvtárba) feltöltöd a generált HTML-fájlt. A Scraping Camel ezután ellenőrzi, hogy ez a fájl valóban megtalálható-e az URL-címen.

Munka a Scraping Camelben#

A bővítményt a Mergado Store-ban lehet aktiválni: Aktiválni szeretném → válaszd ki a webáruházat, amelyhez engedélyezni szeretnéd a bővítményt → Bekapcsolás.

A Scraping Camel bővítmény felületén a menüben két fő részt fogsz látni:

• Weboldalak
• Kulcsszavak

Weboldalak#

Ez a rész a projektek (weboldalak) kezelésének elsődleges helye. Látni fogod az összes létrehozott weboldal listáját, ahol a lista egy eleme egy konkrét domainből származó adatoknak felel meg. Az egy példányban feldolgozható domainszám nincs korlátozva. Ügynökségek esetén azonban ajánljuk, hogy a bővítményt külön-külön használják – minden ügyfélhez egy Scraping Camel-példányt.

E szakasz felső részén megtalálod az Új weboldal gombot, amellyel elindítod az új weboldal hozzáadásának varázslóját. A varázslóban elvégzett összes beállítást ezután szerkesztheted az adott létrehozott projekt egyes fülein.

A hatékony kezelés érdekében, különösen ha tucatnyi domaint kezelsz, használhatsz szűrést, például létrehozási dátum szerint (alkalmas az elmúlt héten bekövetkező változások monitorozásához) vagy az oldal feldolgozási állapota szerint. A szűrőket az adott projekten belüli egyes füleken is használhatod.

Egy konkrét projektre (weboldalra) kattintva megjelenik az áttekinthető felület, amelyen több fül található – Áttekintés, Fájlexport, Oldalak, Elemek, Tömeges elemek, Validáció, Beállítások.

1. Áttekintés#

Ez az oldal a projekt bevezető képernyőjeként szolgál a legfontosabb adatokkal. Látni fogod a kimeneti feedek (CSV-exportok) URL-jeit és a letöltési lehetőséget.

Nyomon követheted a letöltési állapotot is. Mivel a Scraping Camel óvatosan járja be a weboldalt, nehogy túlterhelje, vagy az Anti-DDoS-védelem blokkolja, a több ezer oldal letöltése a korlátok beállításától függően bizonyos ideig tart.

2. Fájlexport#

Itt kezeled a bővítmény által a weboldalról lekért kimeneti adatokat. Tetszőleges számú exportot hozhatsz létre (az Új exportfájl létrehozása gombra kattintva) különböző nevekkel és különböző célokra (pl. DSA-kampányokhoz vagy SEO-elemzéshez szükséges feed). Az exportbeállításokban magad választod meg, mely elemeket tartalmazza az eredő CSV, és meghatározod azok pontos sorrendjét.

3. Oldalak#

Az összes konkrét URL-cím listája, amelyeket a Scraping Camel a weboldalon talált. Egy konkrét URL-re kattintva láthatod az összes elem áttekintőjét azok konkrét értékeivel, amelyeket sikerült letölteni az adott oldalon.

4. Elemek#

Ezen az oldalon találod az elemek listáját, amelyeket az új weboldal létrehozásakor a varázslóban definiáltál. Ezek azok az elemek, amelyeket a Scraping Camelnek keresnie kell a weboldalon. Az egyes elemekre kattintva láthatod az adott elem értékeit az egyes oldalakhoz.

Az Elemek szerkesztése gombra kattintva szerkesztheted azokat. Balra megjelenik az elemek listája, jobbra pedig az oldal HTML-kódjának előnézete. Azt, hogy az elemek letöltésre kerülnek-e vagy sem, azzal határozod meg, hogy bejelölöd-e őket a bal oldali listában.

Az elemek itt kategóriákra vannak osztva:

• Megtalált elemek – rendszerelemek, amelyeket a Scraping Camelnek sikerült megtalálni a HTML-kódban.
• Nem megtalált elemek – rendszerelemek, amelyeket a Scraping Camelnek nem sikerült megtalálni a HTML-kódban.
• AI-elemek – mesterséges intelligencia által generált elemek. Több információ a Scraping Camel AI cikkben.
• Egyéni elemek – ebben a részben hozod létre a saját elemeidet, amelyek értékeit reguláris kifejezésekkel vagy „előző/utáni szöveg" formájában definiálod.

5. Tömeges elemek#

Speciális elemek, amelyek olyan adatok letöltésére szolgálnak, amelyekből egy oldalon több is szerepel. A szokásos elemekkel ellentétben a Scraping Camel nem áll meg az első találatnál, hanem elmenti az adott oldalon lévő összes előfordulást. Ezek az elemek:

• IMAGES (Képek) – a kép URL-jére, alternatív szövegére, fájlméretére és típusára vonatkozó információkat tartalmaz (pl. image, jpg). 💡 A Tömeges elemek oldal áttekintőjében a képek mérete kilobájtban (KB) jelenik meg, a validálási szabály beállításainál azonban bájtot (B) kell használni.
• LINKS (Visszamutató linkek) – a cél URL-re, a hivatkozáson belüli szövegre és a cél URL HTTP-állapotkódjára vonatkozó információkat tartalmaz.

Ezeknek az adatoknak a kinyerése teljesítményigényes, ezért a letöltést manuálisan kell elindítani a Kinyerés indítása gombbal.

A tömeges elemeken rendszer- és egyéni validátorokat is futtathatunk. Így könnyen megkapod a nem működő képek listáját (404-es hiba), a leírás nélküli képekét vagy a weboldal betöltését lassító túl nagy fájlokét.

6. Validáció#

Ez az oldal a weboldal folyamatos és átfogó SEO-auditjaként szolgál, amely közvetlenül a szerveren fut. A klasszikus asztali eszközökkel ellentétben, amelyeket manuálisan kell elindítani, a Scraping Camel automatikusan ellenőrzi a weboldal állapotát az adatfrissítési ütemterveddel összhangban. Mivel online működik, az aktuális validálási eredményekhez egyszerre több csapattag is hozzáférhet.

Aktiválhatsz itt akár 35 rendszervalidátort, amelyek a legfontosabb SEO-területeket fedik le (pl. hiányzó H1, túl hosszú title-ök, hiányzó meta description, nem működő oldalak stb.). Ezek a validátorok be- és kikapcsolhatók és testreszabhatók igényeid szerint (Alapértelmezett validátorok szerkesztése gomb).

Ezenkívül saját validátorokat is létrehozhatsz egyedi igényekre (Új egyéni validátor gomb). Segítségükkel könnyen ellenőrizheted például a mérési kódok (GTM, GA) jelenlétét, igazolhatod a tartalom egyediségét, vagy ellenőrizheted a specifikus paramétereket, mint a cikk szerzője vagy kategóriája.

A validálás eredményeit egy áttekinthető táblázatban látod, ahol súlyosság szerint vannak rendezve és színes ikonokkal jelölve. Az egyes validátorokra kattintva megjelenik azon összes URL listája, amelyekre a hiba/figyelmeztetés/megjegyzés vonatkozik.

• Piros ikon (Súlyos hiba): kritikus hiányosságok, amelyek azonnali figyelmet igényelnek (pl. nem működő URL 404 vagy hiányzó TITLE).
• Narancssárga ikon (Figyelmeztetés): hibák, amelyeket javítani kellene, de a weboldal működőképes (pl. túl hosszú Meta Description).
• Szürke ikon (Megjegyzés/Információ): kevésbé súlyos állapotok vagy fejlesztési javaslatok.
• Zöld ikonok (Rendben): azon validátoroknál jelenik meg, ahol az ellenőrzött elemek egyike sem teljesíti a hibaállapotot.

Az adatok sikeres validálásához az Elemek fülön aktiválni (bejelölni) kell azokat az elemeket, amelyeket a validátornak ellenőriznie kell (pl. ha H1-et szeretnél validálni, a H1 elemnek aktívnak kell lennie a letöltéshez). A validálási eredmények frissítési sebessége a Beállítások fülön beállított oldalletöltési frekvenciától függ.

7. Beállítások#

Az egyes füleken itt szerkesztheted a scrapelés technikai paramétereit.

a. Oldalbeállítások

A projekt neve vagy a domain módosítása.

b. Kérelmek korlátozása

Megváltoztathatod a frekvenciát és sebességet, amellyel a Scraping Camel hozzáfér a weboldaladhoz. Ezek a paraméterek kulcsfontosságúak ahhoz, hogy a weboldal ésszerű időn belül feldolgozásra kerüljön, de egyszerre ne terhelje túl, és ne blokkolja a scrappert az Anti-DDoS-védelem.

• Oldalletöltési frekvencia – milyen gyakran ellenőrizze a Scraping Camel a változásokat azon oldalakat, amelyeket már egyszer sikeresen letöltött és ismer. Míg az új oldalak (amelyek először jelentek meg a sitemapben) letöltésére a bővítmény általában minden nap törekszik, az ismert oldalak esetén te választhatsz az intervallumok közül – csak egyszer (és soha többé ne frissítse), naponta, háromnaponta, hetente vagy havonta.
• Letöltések száma adott intervallumonként – meghatározza a köteg méretét, azaz hány oldalt kell egyszerre feldolgozni egy időszakban. Ha pl. 5-öt adsz meg ebben a mezőben, a bővítmény minden meghatározott időszakban 5 URL-cím letöltésére küld kérelmet.
• Oldalletöltési intervallum – meghatározza az egyes letöltési kötegek közötti időkülönbséget. Ha tehát az intervallumot például 500 ms-ra állítod, a bővítmény félmásodpercenként megpróbálja letölteni a meghatározott számú oldalt.

c. AI-beállítások

A kulcsszógenerálás és tiltottszó-listák paramétereinek kezelése. Meghatározhatod például a kulcsszavak minimális hosszát, a pontossági küszöböt (minimális százalékos jelentőség, amellyel a szónak rendelkeznie kell ahhoz, hogy bekerüljön a kulcsszavak kiválasztásába), a számok feldolgozásának szabályait, megállapíthatod az ún. tiltott szavakat (kifejezések, amelyeket az AI a kulcsszógeneráláshoz teljesen figyelmen kívül hagy) vagy definiálhatsz kifejezéseket (többszavas kapcsolatok, amelyeket az algoritmusnak együtt, egy kulcsszóként kell kezelnie). Több információt a Scraping Camel AI cikkben találsz.

d. Oldalfeldolgozási szabályok

A szabályok segítségével meghatározod, mely oldalak töltődjenek le (minden más figyelmen kívül marad), vagy éppen kizárandók a letöltésből (minden más letöltődik). Letöltésre korlátozhatod például a kategóriákat, és kizárhatod a blog oldalait. Ez jelentősen megtakarítja a szerver teljesítményét, lerövidíti az adatfrissítési időt, és megtisztítja a kimeneti CSV-feedet a szükségtelen adatoktól.

Az URL-kiválasztás feltételeit kétféleképpen definiálhatod:

• URL-karakterlánccal – megadsz egy cím egy részét (pl. /blog/ vagy /termek/).
• Reguláris kifejezéssel – fejlettebb és pontosabb szűréshez (pl. bizonyos számra végződő URL-ekhez).

A szabályaidnak nem megfelelő oldalak megjelennek ugyan az Oldalak fül listájában (hogy a sitemap tartalmáról teljes áttekintés legyen), de piros szimbólummal lesznek jelölve. Ezek az oldalak nem kerülnek scrapelésre és nem exportálódnak a kimeneti fájlokba.

Kulcsszavak#

Ez a rész az automatikus kulcsszó-adatfeedek generálására és kezelésére szolgál, amelyeket közvetlenül a weboldalaidon találtak. A Weboldalak résszel ellentétben, ahol az elsődleges kulcs az URL-cím, ebben a részben az alapelemek az egyes kulcsszavak, amelyekhez a releváns oldalak és mérőszámok vannak rendelve.

Ezen az oldalon láthatod az összes létrehozott kulcsszóelemzés listáját. Új elemzést az Új kulcsszóelemzés gombbal hozol létre, ahol kiválasztod azt a domaint (egyet vagy többet), amelyből az adatokat meríteni kell.

Egy konkrét elemzésre kattintva megjelenik az áttekinthető felület, amelyen több fül található – Áttekintés, Fájlexport, Címkék, Variánsok, Diagnosztika, Validáció és Beállítások.

1. Áttekintés#

Megtalálod az összes megtalált kulcsszó listáját. A táblázatban minden kulcsszóhoz látható:

• a szövege (KEYWORD elem),
• a bejáratóoldal URL-je, amelynek az adott szóhoz a legmagasabb mért relevanciája, azaz a legmagasabb pontszáma van (URL elem),
• numerikus érték, amely a bejáratóoldalhoz tartozó adott szóhoz a legmagasabb relevanciapontszámot fejezi ki (TOP_SCORE elem),
• a weboldalon lévő összes oldal száma, amelyen ez a szó a legfontosabb kulcsszavak közé került, azaz átlépte a beállított jelentőségi küszöböt (PAGES_COUNT elem),
• keresési volumenre és CPC-re (kattintásonkénti költségre) vonatkozó adatok, ha az adott szóhoz elérhetők,
• állapot, azaz hogy a kulcsszó aktív-e vagy sem,
• hogy címkék vannak-e hozzárendelve,
• az első megtalálás dátuma és ideje.

A listából közvetlenül a Google SERP-re kattinthatsz, hogy ellenőrizd az adott kifejezés valós keresési eredményeit. Az egyes szavakat a listában aktiválhatod vagy deaktiválhatod, ami az exportban fog megjelenni. A kulcsszóra kattintva megjelenik az adott kulcsszóhoz releváns összes oldal listája.

2. Fájlexport#

Ebben a részben kezelheted és exportálhatod a kulcsszóelemzés CSV-fájljait. Az exporthoz kiválasztod az elemeket, amelyek szerepeljenek a fájlban, és meghatározod sorrendjüket. Kétféle exporttípus közül választhatsz:

• Klasszikus export (Klasszikus exportfájl létrehozása gomb) – tábla, ahol minden kulcsszónak egy sor van szentelve a kiválasztott kiegészítő információkkal.
• Inverz export (Inverz exportfájl létrehozása gomb) – speciális formátum, amely az adatokat „megfordítja". Az elsődleges kulcs az URL-cím, amelyhez a következő oszlopban az összes releváns kulcsszó hozzá van rendelve. Ez a formátum ideális DSA-kampányok vagy Google Ads Performance Max kampányok létrehozásához.

3. Címkék#

A kulcsszavak tematikus csoportokba való szervezésére szolgál. Webáruházaknál leggyakrabban termékkategóriák szerinti szóosztásra használják (pl. „hűtők", „mosógépek" stb. címkék). A címkék tömegesen vagy egyenként hozzárendelhetők a szavakhoz az egyes kulcsszavak részletes nézetében.

Egy adott címkére kattintva megjelenik a hozzárendelt kulcsszavak listája.

4. Variánsok#

Ez a fül az ugyanazon szó különböző alakjainak manuális egységesítésére szolgál. A Scraping Camel ugyan automatikusan megpróbálja felismerni, hogy például a „mosógép", „mosógépek" vagy „mosógéppel" szavak összetartoznak, de időnként elkerül egy bonyolultabb alakot vagy ragozást.

Ebben a részben manuálisan segíthetsz a rendszernek, és összevonhatod ezeket a kifejezéseket egy fő szó alá. Meghatározhatod például, hogy az „ügynökség" szónak tekintendő az „ügynökségek" variánsaként. Az eredmény egy sokkal tisztább és áttekinthetőbb elemzés, amelyben az adatok nem szóródnak szét sok hasonló sorba.

5. Diagnosztika#

A diagnosztika segít felfedezni, hogy az oldalaidon lévő szövegek valóban arról szólnak-e, amit értékesítesz, vagy tele vannak irreleváns szavakkal, amelyek torzítják az elemzés eredményeit.

A Scraping Camel összegyűjti az összes megtalált kulcsszót (beleértve a többszavas kifejezéseket), azokat egyes szavakra bontja, és megszámolja, hogy melyik szó hányszor fordul elő az egész weboldalon. Ennek köszönhetően azonnal láthatod, mely szavak dominálnak a weboldalon.

Ha kiderül, hogy a webáruházadon a leggyakoribb szó például az „ÁFA", „cookie-k" vagy „raktáron", ez fontos jelzés számodra. Ez azt jelenti, hogy ezek a technikai vagy általános szavak az elemzésben „felülírják" azokat a fontos kulcsszavakat, amelyek valóban jellemzik a termékeidet. Ha a diagnosztikában azonosítod az ilyen kifejezéseket, hozzáadhatod őket a Validáció fülön a tiltott szavak közé. Ezzel megtisztítod az elemzést, és az áttekintőben csak azok a szavak maradnak, amelyeknek valódi jelentőségük van a marketingedhez.

6. Validáció#

A Validáció fül az egész kulcsszó-adathalmazod automatikus megtisztítására, szervezésére és minőségének javítására szolgál. Beállíthatsz itt validálási szabályokat (validátorokat), amelyek biztosítják, hogy a kulcsszavak exportja maximálisan releváns legyen a marketingedhez, és ne tartalmazzon szükségtelen adatokat. A validátoroknak köszönhetően az adathalmaz folyamatosan és automatikusan tisztul a háttérben, anélkül hogy folyamatos manuális beavatkozásra lenne szükség.

A validálási szabályok segítségével tömegesen beállíthatod például:

• Szavak tiltását (tiltott szavak) – ha az elemzésben olyan szavakat azonosítasz, amelyek nem előnyösek számodra (pl. általános kifejezések, mint „ÁFA", „raktáron", „kosár" vagy saját márkanév), itt beállíthatod a tartós kizárásuk szabályait az elemzésből.
• Kifejezésekbe való összevonás – definiálhatsz szabályokat, amelyek két vagy több szót egy egésszé (kifejezéssé) vonnak össze, pl. „Bidding Fox" vagy „Google Analytics". A Scraping Camel ezután ezekkel a kifejezésekkel egy kulcsszóként dolgozik, ami növeli a pontozás pontosságát és az eredmények relevanciáját.
• Automatikus címkézés – a validátorok segítségével automatikusan is rendelhetsz címkéket a kulcsszavakhoz definiált feltételek alapján. Ez alapvető a klaszterezéshez, azaz a szavak logikai egységekbe, például termékcsoport szerint való csoportosításához.

7. Beállítások#

A Beállításokban módosítod az elemzés alapvető paramétereit, mint annak neve vagy figyelmen kívül hagyott karakterek listája. Ez a funkció alapvető a nem kívánt elemek eltávolításához azokból a szövegekből, amelyekből a kulcsszavak generálódnak. Lehetővé teszi az egyes szimbólumok és karakterek listájának meghatározását, amelyeket a Scraping Camelnek teljesen figyelmen kívül kell hagynia az elemzés során. Ezzel nagyobb adattisztaságot biztosítasz, és megakadályozod a nem releváns kulcsszavak létrehozását.

Az itt felsorolt összes paramétert az új elemzés létrehozásakor, a varázslóban állítod be. Ekkor egy vagy több olyan weboldalt is kiválasztasz, amelyekből az adatokat meríteni kell. Ez a beállítás örökre érvényes, és később a Beállítások fülön nem módosítható. Ha egy másik domaint kell elemezned, teljesen új elemzést kell létrehoznod.

Adatvédelem és adatkezelés#

A Scraping Camel kizárólag nyilvánosan elérhető weboldalakról dolgoz fel adatokat, ahol a felhasználó bizonyíthatóan ellenőrizte a domain tulajdonjogát vagy ahhoz való viszonyát. Az összes megszerzett adat magánnak minősül, nem kerül megosztásra harmadik felekkel, és a felhasználó teljes mértékben kontrollálja azok körét közvetlenül a bővítmény adminisztrációjában. Egy projekt törlése esetén az összes kapcsolódó adat 14 napon belül véglegesen törlésre kerül a biztonsági mentési rendszerekből is, amelyek kizárólag a bővítmény technikai meghibásodás esetén való helyreállítására szolgálnak.

GYIK#

Mi a Scraping Camel és mire való?#

A Scraping Camel egy bővítmény, amely automatikusan és folyamatosan bejárja a weboldalakat, letölti róluk az adatokat, és CSV-feedbe menti, vagy API-n keresztül elérhetővé teszi azokat. Nonstop fut a szerveren, így az adatok folyamatosan frissülnek anélkül, hogy manuálisan kellene szoftvert indítani a számítógépeden. Mindenhol jól jön, ahol olyan adatokat kell megszerezni, amelyek nem érhetők el a hagyományos termékes feedekben.

Kinek ajánlott a Scraping Camel?#

Elsősorban PPC és SEO specialisták, webáruház-tulajdonosok, kosár nélküli weboldalak kezelői (katalógusok, magazinok, céges weboldalak) és tartalommenedzserek használják. Az eszköz univerzális – segít az automatizált kampánylétrehozásnál, SEO-auditoknál, kulcsszóelemzéseknél és tartalomminőség-ellenőrzésnél.

Mennyibe kerül a Scraping Camel?#

Az ár 986 Kč havonta havi számlázás esetén, vagy 788,80 Kč havonta éves számlázás esetén. Az ár fix egy webáruháznál, függetlenül a létrehozott projektek (weboldalak) vagy kulcsszóelemzések számától. Elérhető 30 napos ingyenes próbaidőszak.

Szükségem van fizetős Mergado-projektre a Scraping Camel működéséhez?#

Nem. A Scraping Camel fizetős Mergado-projekt nélkül is használható. Elég ingyenesen létrehozni egy Mergado-fiókot és abban egy webáruházat a bejelentkezés, számlázás és hozzáférés-kezelés céljára.

Milyen feltételek szükségesek a Scraping Camel elindításához?#

Három dologra van szükséged – webáruházzal rendelkező Mergado-fiókra, az általad scrapelni kívánt domain ellenőrzött tulajdonjogára, és egy működő sitemap.xml fájlra, amelyből a bővítmény az URL-listát meríti.

Miért kell ellenőrizni a domain tulajdonjogát?#

A Scraping Camel kizárólag saját weboldalak vagy ügyfeleid weboldalainak feldolgozására készült. A domain ellenőrzése megakadályozza az eszköz visszaélésszerű, idegen vagy versenytársi weboldalak scrapelésére való felhasználását, és biztosítja, hogy az adatokkal mindig erre jogosult személy dolgozzon.

Hogyan tudom ellenőrizni a domaint?#

Négy módszer áll rendelkezésre: Google Search Console-on keresztül (a leggyorsabb opció ügynökségek számára), DNS TXT-rekordon keresztül (a weboldal kódjától független, állandó módszer), meta tag beillesztésével a weboldal fejlécébe (Shoptet és WordPress esetén ajánlott) vagy HTML-fájl feltöltésével a szerverre.

Működik a Scraping Camel JavaScript alapú weboldalakon is?#

Nem. A bővítmény csak az oldalak HTML-kódjával dolgozik, és nem rendereli a JavaScriptet. Ha az oldal bármely tartalma JavaScripttől függ, a Scraping Camel nem tudja kinyerni azt.

Milyen adatokat lehet a Scraping Camel segítségével megszerezni?#

Gyakorlatilag bármit, ami az oldal HTML-kódjában szerepel. Az adatok ezután vagy előre definiált rendszerelemekbe kerülnek (Title, H1, Meta Description, HTTP-állapot, GTM/GA kódok stb.), felhasználó által reguláris kifejezéssel vagy „előző/utáni szöveg" formájában definiált egyéni elemekbe, vagy automatikusan generált AI-elemekbe (kulcsszavak, oldalnyelv, szószám, oldalcím).

Mik a tömeges elemek, és miben különböznek a szokásosaktól?#

A szokásos elembe az adott érték oldali első előfordulása kerül elmentésre. A tömeges elemek az összes előfordulást mentik. Konkrétan elmentik az összes kép teljes listáját (beleértve az alt szövegeket és a fájlméretet) vagy az összes hivatkozást (beleértve a HTTP-állapotkódokat) az adott oldalon. Ezekbe az elemekbe az információk letöltése manuálisan indítható el, mert teljesítményigényesebb.

Hogyan működik az SEO-validáció a Scraping Camelben?#

A Scraping Camel 35 rendszervalidátort tartalmaz, amelyek folyamatosan ellenőrzik a weboldal technikai állapotát, és figyelmeztetnek a hibákra, mint például a hiányzó H1, a túl hosszú title-ök vagy a nem működő oldalak. Az eredmények súlyosság szerint színkódolva vannak, és online elérhetők. A rendszervalidátorok mellett saját validátorokat is létrehozhatunk.

Hogyan segít a Scraping Camel a PPC-kampányokban?#

Page feedeket hoz létre URL-ekkel és azok tartalmával, amelyek ideálisak DSA-kampányokhoz és Performance Maxhoz. Lehetséges kulcsszavak inverz exportjait is megszerezni – CSV-fájlokat, ahol az elsődleges kulcs az URL-cím, és ahhoz az összes releváns kulcsszó hozzá van rendelve.

Csak a weboldal egy részét is scrapelhetem, például csak a kategóriákat?#

Igen. Az oldalfeldolgozási szabályok beállításában meghatározod, a weboldal mely részeit kell scrapelni, és melyeket figyelmen kívül hagyni – például kizárhatod a blogot, és csak a kategóriákat dolgozod fel. A feltételeket URL-karakterlánccal vagy reguláris kifejezéssel is meghatározhatod.

Milyen gyorsan frissíti a Scraping Camel az adatokat?#

Az új oldalakat, amelyek először jelennek meg a sitemapben, a bővítmény általában minden nap megpróbálja letölteni. A már ismert oldalak esetén magad választod a frekvenciát – egyszer, naponta, háromnaponta, hetente vagy havonta. A sebesség tovább befolyásolható a kötegenkénti letöltések számának és a kötegek közötti intervallum beállításával.

Milyen formátumban érhetők el a kimeneti adatok?#

Az adatok CSV-fájlként exportálódnak, amely önálló feedként feltölthető a Mergado Editorba, vagy hozzákapcsolható egy meglévő projekthez az Import datového souboru szabállyal. Az adatok API-n is elérhetők, például a Mergado Marketing Buddy bővítmény számára.

Egy példányban scrapelhetek több weboldalt?#

Igen, a domainszám egy példányon belül nincs korlátozva. Több ügyfél weboldalait kezelő ügynökségeknek azonban ajánlott minden ügyfélnél külön bővítménypéldányt indítani – ez megkönnyíti a hozzáférés-kezelést és az adatok átadását az együttműködés befejezésekor.

Mi történik az adataimmal, ha törlöm a projektet?#

A projekt törlése után az összes kapcsolódó adat 14 napon belül véglegesen törlésre kerül a biztonsági mentési rendszerekből is. A Scraping Camel kizárólag nyilvánosan elérhető, ellenőrzött tulajdonjogú oldalakról dolgoz fel adatokat, és nem osztja meg azokat harmadik felekkel.

Hogyan működik a kulcsszóelemzés a Scraping Camelben?#

A Kulcsszavak részben egy vagy több domainhez hozol létre elemzést. A Scraping Camel automatikusan generál kulcsszavakat az oldalak tartalmából, relevanciapotszámot rendel hozzájuk, és folyamatosan frissíti őket. Az adatok rendezhetők címkék segítségével, a szavak különböző alakjai variánsok révén egységesíthetők, tiltott szavakkal megtisztíthatók, és klasszikus vagy inverz CSV-fájlként exportálhatók.

Hogyan ismerem fel, hogy a kulcsszóelemzésem irreleváns szavakat tartalmaz?#

Erre a Diagnosztika fül szolgál. A Scraping Camel megmutatja, mely szavak fordulnak elő a leggyakrabban a weboldalon. Ha ezek között általános kifejezések dominálnak, mint az „ÁFA" vagy „cookie-k", ez jelzés arra, hogy ezek a szavak felülírják a releváns kulcsszavakat, és hozzá kellene adni azokat az ún. tiltott szavak listájához.