Credit image

¿Te gusta el diseño web? ¡Echa un vistazo a la documentación de LenguajeCSS.com!

La metamorfosis de GoogleBot

Examinando las estadísticas web de hoy me sorprendo al observar un pequeño detalle:

Desde hace algún tiempo sabía que existía la posibilidad de instalar una extensión en Firefox para falsificar nuestro User Agent llamada User Agent Switcher y poder hacernos pasar por el mismisimo Crawler de Google, GoogleBot.

La diferencia radica en que mientras el crawler original de Google mantenía su identificación como:

Googlebot/2.1 (+http://www.google.com/bot.html)

Los usuarios que navegaban con esta extensión tenían la siguiente, pudiendo hacerse pasar por el robot, pero siendo fácilmente identificable por los webmasters:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

...o eso creía yo, hasta que ví que el "supuesto" usuario con la segunda identificación tenía una IP/Host de Google.

Buscando un poco por la red, doy con una aclaración de GoogleGuy, empleado de Google que responde a las preguntas de webmasters en relación al buscador. En este caso nos explica el porque Google está cambiando su User Agent. Un resumen en español:

GoogleGuy:

Estamos considerando el cambiar nuestro User Agent a algo similar a Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). La razón principal de éste cambio es que algunos servidores web asumen que un navegador que no sea Internet Explorer, Netscape/Mozilla u Opera no soporta Javascript, Frames, etc. Por lo tanto con este cambio Google podrá acceder a más información. GoogleBot estaría más cerca de ser un usuario normal y podría seguir siendo identificado como crawler y mostrando la dirección para ampliar información (sobre robots.txt y otros).

Escrito por Manz, el , en buscadores. Comentarios recibidos: 4.

4 comentarios de lectores
Driadan
Driadan
1

Interesante... ¿y por que usan firefox en vez de IE u Opera? No me malinterpreteis, me parece bien y siempre que puedo apoyo el software libre, pero supongo que hay una razon detras de ello mas alla del apoyo al software libre por parte de google. ¿Podría ser un intento de decir que la gente cumpla lo estandares para facilitar la tarea de los robots?

Manz
Manz
2

En realidad el icono del Firefox/Google lo diseñe yo en un principio para diferenciar las entradas reales de Googlebot y las que eran de usuarios "camuflados" (aunque me diera cuenta después que estaba equivocado). El crawler de Google lo unico que ha hecho es añadir la cadena de carácteres Mozilla/5.0 (compatible; (común en la mayoría de navegadores) para asegurarse de la entrada a páginas webs (mal diseñadas?) que lo requieren. Esto no implica que estén usando este navegador. Mis disculpas por no haber aclarado esto antes.

balmasedano
balmasedano
3

¿Y qué identificación sale cuando entras desde Konqueror como Googlebot? A todo esto, insisto en que tu web se ve muy mal en este navegador . Saludos

balmasedano
balmasedano
4

Lo que no sé es por qué no me sale la dichosa identificación si todo está bien configurado...

Publica tu opinión

Si lo deseas, puedes utilizar el siguiente formulario para publicar tu opinión o responder a alguna de las existentes:

Previsualización

Aquí se previsualizará su comentario. Revise que sea correcto antes de publicarlo.