A feltérképezési költéségkeret vagy Crawl Budget kifejezés arra az idő- és erőforrás mennyiségre utal, amelyet a Google keresőrobotja egy webhely feltérképezésére fordít.
A feltérképezési költségkeret olyan technikai SEO kifejezés, ami megmutatja, hogy adott időkereten belül a keresőrobotok hány oldalt térképeznek fel. Mivel az internet gyakorlatilag végtelen, a Googlebot kapacitása viszont véges, ezért nem képes azonnal és minden weboldalt feltérképezni, bár törekszik rá. Ennek eredményeként a Googlebot csak limitált időt tölthet egy-egy webhely feltérképezésével, máskülönben az internet jó részére soha nem juthatna el.
Miért fontos a feltérképezés?
A keresőmotorok tevékenysége alapvető, mert ha a Google nem indexel egy weblapot, az a weblap nem létezik a számára. Vagyis lehet az az oldal bármilyen fantasztikus, ha nincs indexelve, nem járul hozzá a jó helyezéshez a keresőtalálati listán.
Mi befolyásolja?
A crawl budget-t két tényező határozza meg: az egyik tényező a feltérképezési kapacitás korlátja, a másik a feltérképezési igény. A feltérképezési kapacitás korlátja megmutatja, hogy a Googlebot hány oldalt térképezhet fel adott időkereten belül anélkül, hogy túlterhelné a szervereket. Ha például gyorsan töltenek be az oldalak, ez a korlát megemelkedik, ha lassan, lecsökken.
A feltérképezési igény megmutatja, hogy a Googlebotnak mennyi feladatot kell elvégeznie ahhoz, hogy a webhely térképezettségi állapota megfeleljen a Google kritériumainak.
- Ha például a webhelyet áthelyezik egy új URL alá, a feltérképezési igény megnövekedhet, hiszen a tartalom indexelését a „nulláról” kell elvégezni.
- A változatlan helyen lévő site-okkal sokkal gyorsabban végez, mivel ezek nagy részén a Googlebot már „ismerősként” mozog.
- A népszerű webhelyek esetében gyakrabban szereti elvégezni a robot a térképezést. A feltérképezési igény ezek esetében tehát jóval magasabb, mint az ismeretlen, kis website-oknál.
- Ha a webmester letiltja a pókok elől a webhelye URL-jeinek egy részét, azzal a feltérképezési igényt csökkenti.
A Google a feltérképezési kapacitást és a feltérképezési igényt együttesen veszi figyelembe. Egy webhely feltérképezési költségkeretét azon URL-ek halmazaként határozza meg, amelyeket a Googlebot fel tud és fel is szeretne térképezni.
Ha a feltérképezési igény alacsony, a bot ritkábban fogja feltérképezni a webhelyet akkor is, ha nem éri el a feltérképezési kapacitás korlátját. Alacsony lehet a feltérképezési igény például, ha a webhelyet kevesen látogatják. Ez esetben nem különösebben kár érte, ha nem teljesen frissek róla az információk az adatbázisában – a Google gondolkodásmódja szerint.
Kiknek kell aggódni a crawl budget korlátai miatt?
Habár a website-ok nagy részének a korlátos költéskeret miatt nem kell aggódniuk, lehetnek olyan esetek, amikor mégis. Például:
- A nagy (több mint 1 millió egyedi oldallal) és közepesen gyakran (hetente egyszer) frissülő tartalommal rendelkező oldalak;
- a közepes vagy nagyobb (10 000+ egyedi oldallal) és nagyon gyorsan – naponta – frissülő tartalommal rendelkező oldalak;
- vagy a sok átirányítással rendelkező webhelyek esetében.
Hogyan segíthetjük a keresőrobot munkáját?
- Gyorsan betöltődő oldalakkal,
- megfelelő számú belső linkekkel,
- az árva oldalak és duplikált tartalmak kerülésével,
- a navigációs elemek célszerű használatával a robot munkája felgyorsítható.
Ezekkel a megoldásokkal biztosítható, hogy adott időkereten belül minél több oldalt legyen képes indexelni a kereső.