robot.lapozz.hu

Üdvözlöm.

Ez az oldal információt nyújt a lapozz.hu robotjáról, továbbiakban !bot.

Nagy valószínűséggel azért olvassa ezt az oldalt mert hivatkozást talált honlapjának szerverlogjában. A !bot meglátogatta oldalait.

A !bot
A lapozz.hu
Robotok szabályozása, kitiltása
Kérdések válaszok

Keresőoptimalizálás - tanácsok webmestereknek

 

A !bot

A !bot a lapozz.hu keresőrendszer és linkkönyvtár robotja. Működése: A !bot meglátogat egy oldalt feldolgozza annak tartalmát, indexeli a szavakat, kigyűjti a linkeket, megállapítja az oldal értékét a weblaptérkép és a "teljes" internet térkép függvényében. Ezután egy másik oldalt látogat meg.

További értékes információk a robotokkal kapcsolatban: http://www.robotstxt.org/wc/robots.html

A !bot jelenleg a magyar internet oldalait látogatja. Financiális okokból a www.lapozz.hu oldalon megjelenő adatbázis a kapacitás töredékét mutatja és jelenleg az adatbázis frissítése is kb. havonta történik meg.

A lapozz.hu

A lapozz.hu egy keresőrendszer és linkgyűjtemény.

A keresőrendszer egy számítógépes program, a !bot keresőtevékenysége alapján készül. A !bot meglátogatja az internetoldalakat és indexeli azok tartalmát.

A linkkönyvtár egy emberek által készített, témák szerint rendszerezett katalógus. A !bot ezeket az oldalakat is meglátogatja és ellenőrzi, hogy azok elérhetőek, vagy sem.

Robotok szabályozása, kitiltása

A Robots Exclusion Protocol lehetőséget nyújt, hogy a webmesterek megadják oldalaik mely részét, vagy egészét ne látogassák robotok. Másik lehetőség a Robots META tag használata melyet az oldalak forráskódjában kell elhelyezni, valamint a linkekre illeszthető rel= linkparaméter használata.

A lapozz.hu támogatja mind a robots.txt fájl, mind a Robots META tag, mint a link rel linkparaméter használatát.

A robots.txt fájlnévnek kisbetűsnek kell lennie és a gyökérkönyvtárban kell elhelyezni.

Összes robot eltiltása a megjelölt könyvtárakból
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

Összes robot teljes eltiltása
User-agent: *
Disallow: /

A Robots META tagot az egyes oldalak forráskódjában kell elhelyezni a <HEAD> és </HEAD> tagok közé a következő módon.

Például:

<meta name="robots" content="index,follow">
vagy pl:
<meta name="robots" content="noindex,follow">
vagy pl:
<meta name="robots" content="index,nofollow">
vagy pl:
<meta name="robots" content="noindex,nofollow">

Valójában az index és follow értékeknek nincs sok haszna hiszen ha ezek ott vannak, vagy nincsenek ott az ugyanazt jelenti. Sokkal fontosabb a noindex és nofollow tiltások.
Ha azt szeretné hogy az oldal ne legyen indexelve, helyezze el a noindex értéket, így a robot ugyan letölti az oldalt de nem fogja annak tartalmát feldolgozni. Ha azt szeretné hogy a robot ne kövesse az oldalon található linkeket helyezze el a nofollow értéket. Ha az indexelést és a linkek követését is tiltani szeretné akkor mindkettőt helyezze el.

A Rel= paraméter elhelyezése a linkekben. Ha a rel= paraméter tartalmazza a nofollow értéket a linket nem fogja követni a robot. Ez a paraméterezés ajánlott minden olyan oldalon ahol a látogatók linkeket küldhetnek be, pl. blog, fórum, vendégkönyv.

<a href="http://www.domain.hu/page.html" rel="nofollow">ide kattints </a>

további információ a robots.txt használatáról:
http://www.robotstxt.org/wc/exclusion-admin.html

további információ a Robots META tag használatáról:
http://www.robotstxt.org/wc/meta-user.html


További lehetőség ha felveszi a kapcsolatot a fejlesztővel a lapozz.hu oldalról. A rendszert készíti Török Zoltán

Kérdések

Kérdés: Mennyi időközönként látogatja meg a !bot az oldalam?
Válasz: Ha a weblapot a !bot már feldolgozta akkor 2-3 hétben egyszer tér vissza. Azonban ha más weboldalakon található olyan hivatkozás az ön weblapjára melyet a feldolgozáskor nem találtunk, vagy men tekintettük értékesnek és nem látogattuk meg, de más oldalak értékesnek találnak akkor a bot visszatér, egy-egy oldal erejéig.

Kérdés: Mikor jön a !bot?
Válasz: A !bot általában éjszaka dolgozik, a kevésbé forgalmas órákban

Kérdés: Milyen terhelést jelent a szerveremen a !bot látogatása?
Válasz: A bot egy-egy oldal forráskódját kéri le ez a terhelés jelentéktelen. Oldalanként 1 fájlt jelent, míg egy valós látogatónál letöltődnek az oldal képei, a stíluslapok, külső javascript fájlok, stb. is.

Kérdés: Pörgeti-e a számlálómat a !bot?
Válasz: Ha olyan számlálója van amely egy kép letöltésével méri a látogatásokat, akkor ez nem fog találatot mutatni a !bot látogatásánál, a szerver logjában és a szerveroldali számlálók találatot fognak mutatni.

Kérdés: Hogyan bírhatom rá a !bot-ot hogy egy másik oldalt is meglátogasson?
Válasz: Hivatkozást kell elhelyezni valamely oldalon, vagy beküldheti az oldal url-jét itt.

Kérdés: Miért látogat meg 404-es oldalt a !bot?
Válasz: Nem elérhető oldalt csak abban az esetben látogat meg a !bot ha weblapján, vagy valaki más weblapján egy hivatkozást talál és az hibásnak, vagy elavultnak (törötnek) bizonyul. A törött linkek elérésére még néhány próbálkozás történhet. Azok az oldalak melyeken törött linkek vannak értéktelen oldalaknak vannak nyilvánítva. Ez igaz több keresőre is, jó észben tartani.

Kérdés: Meglátogatta a !bot az oldalam mégsem tudok rákeresni
Válasz: A meglátogatott oldalak kis késéssel kerülnek az adatbázisba, csak a tartalom és az oldalra mutató hivatkozások alapján értékesnek ítélt oldalak kerülnek a keresőbe.