La metamorfosis de GoogleBot

Examinando las estadísticas web de hoy me sorprendo al observar un pequeño detalle:

Desde hace algún tiempo sabía que existía la posibilidad de instalar una extensión en Firefox para falsificar nuestro User Agent llamada User Agent Switcher y poder hacernos pasar por el mismisimo Crawler de Google, GoogleBot.

La diferencia radica en que mientras el crawler original de Google mantenía su identificación como:

Googlebot/2.1 (+http://www.google.com/bot.html)

Los usuarios que navegaban con esta extensión tenían la siguiente, pudiendo hacerse pasar por el robot, pero siendo fácilmente identificable por los webmasters:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

...o eso creía yo, hasta que ví que el "supuesto" usuario con la segunda identificación tenía una IP/Host de Google.

Buscando un poco por la red, doy con una aclaración de GoogleGuy, empleado de Google que responde a las preguntas de webmasters en relación al buscador. En este caso nos explica el porque Google está cambiando su User Agent. Un resumen en español:

GoogleGuy:

Estamos considerando el cambiar nuestro User Agent a algo similar a Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). La razón principal de éste cambio es que algunos servidores web asumen que un navegador que no sea Internet Explorer, Netscape/Mozilla u Opera no soporta Javascript, Frames, etc. Por lo tanto con este cambio Google podrá acceder a más información. GoogleBot estaría más cerca de ser un usuario normal y podría seguir siendo identificado como crawler y mostrando la dirección para ampliar información (sobre robots.txt y otros).

11-12-2005