Mi az a keresőrobot?
A Crawler vagy Keresőrobot/keresőpók (tükörfordításban: csúszómászó) olyan programok gyűjtőneve, amelyeket a keresőmotorok a webhelyek feltérképezésére használnak. Ezek a botok adatokat gyűjtenek a webhelyek taralmairól, hogy a lekérdezésekhez a legjobb minőségű és releváns válaszokat adó weboldalakat prezentálhassák a felhasználóknak.
Működése
Úgy lehet elképzelni, mint egy emberfeletti képességekkel rendelkező könyvtárost, aki egy kaotikus, rendezetlen könyvtárban végiglapozza az összes könyvet. Elolvassa a címeket, fülszövegeket, a törzsszöveget, ebből készít egy katalógust, így aki ellátogat a könyvtárba, gyorsan és egyszerűen megtalálhatja, amit keres.
Azonban a weboldalaknak nincs fizikai formájuk, vagyis nem halmokban állva várják, mint a könyvek, hogy rendbe tegye őket valaki. Először is meg kell találni, hogy egyáltalán hol vannak. Ezért a robotok ismert weboldalakról indulnak, követik a más oldalakra mutató hivatkozásaikat, így linkről linkre haladva vizsgálják meg a kapcsolódó oldalakat. Tovább haladnak a kapcsolódó oldalakhoz kapcsolódó további oldalakra, és ezen munka eredményeként jön létre a weboldal-katalógus, vagyis az index.
Amikor a felhasználók rákeresnek bizonyos szavakra, a keresőmotor megnézi a katalógus azon részeit, ahol ezek a szavak megjelennek, és kiválasztja a legrelevánsabbakat.
A crawler programok tehát minden olyan webhelyet rögzítenek és indexelnek, amely legalább egy másik webhelyre mutat. Azonban, mivel az internet folyamatosan bővül, és irdatlan mennyiségű weboldal létezik, a térképezés/indexelés folyamata a végtelenségig tarthatna. Ezért vannak speciális szabályok és irányelvek, amelyeket a botoknak követniük kell. Ezek a szabályok mondják meg a keresőrobotoknak, hogy mely oldalakat kell feltérképezniük, milyen sorrendben és gyakran kell újra felkeresniük egy-egy oldalt. Például egy sok hivatkozással, nagy látogatószámmal rendelkező oldalt gyakrabban látogathatnak meg, mint egy kicsi webshop honlapját. Arra alapozva, hogy előbbi hiteles, releváns információkkal szolgál, utóbbi pedig kevésbé, ezért az előbbit feltételezhetően szívesebben látja a felhasználó.
Üzemeltetői oldalról
Ugyanakkor a keresőpókok tevékenységének irányításába a webhelyüzemeltetőknek/tulajdonosoknak is van valamennyi beleszólásuk. Ha például a térképezést/indexelést a webhely tulajdonosa letiltja a robots.txt-ben vagy a robot metatag által, vagy levédi az oldalt jelszóval. Például azért, mert nem szívesen látja az indexelés okozta szerverterhelést vagy mert nincs még készen az oldal. Ilyenkor a botok elkerülik az oldalt, így a keresőalgoritmus sem fogja megtalálni, és megjeleníteni a keresőtalálati listán. Egyes források szerint az internet mindössze 40–70%-a kereshető, bár ez is több milliárd weboldalt jelent.
A különböző keresőmotorok által használt crawler programok természetesen különböző nevek alatt futnak.
- Bing: Bingbot
- Google: GoogleBot
- Yahoo!: SlurpBot
- Yandex: Yandex Bot
- DuckDuckGo: DuckDuckBot
- Baidu: Baiduspider stb.
Rosszindulatú keresők
A fenti a botok minden esetben engedelmeskednek a robots.txt-ben foglalt utasításoknak, és a webszerverek működésére is tekintettel vannak. (Tehát például nem terhelik túl azokat szükségtelen kérésekkel.) Ugyanakkor nem minden crawler ilyen jóindulatú. Léteznek olyan programok, melyek egyáltalán nincsenek tekintettel a robots.txt-ben, vagy a robot metatagban foglalt szabályokra. Ilyen esetekben a webhely tulajdonosa például tűzfallal lehet kénytelen védekezni a nem szívesen fogadott látogatókkal szemben. A rosszindulatú crawlerek gyakran azzal a céllal fürkészik a weboldalakat, hogy tartalmakat, metaadatokat nyerjenek ki a versenytársak SEO-technikáinak ellopása céljából (scraping bot). Ok lehet még az e-mail-címek eltulajdonítása, vagy a DDOS-támadások végrehajtása.