¡Ojo! Hago directos en Twitch sobre desarrollo web, ¿Te apuntas? ManzDev
La metamorfosis de GoogleBot
Escrito por J. Román Hernández Martín
Examinando las estadísticas web de hoy me sorprendo al observar un pequeño detalle:

Desde hace algún tiempo sabía que existía la posibilidad de instalar una extensión en Firefox para falsificar nuestro User Agent llamada User Agent Switcher y poder hacernos pasar por el mismisimo Crawler de Google, GoogleBot.
La diferencia radica en que mientras el crawler original de Google mantenía su identificación como:
Googlebot/2.1 (+http://www.google.com/bot.html)
Los usuarios que navegaban con esta extensión tenían la siguiente, pudiendo hacerse pasar por el robot, pero siendo fácilmente identificable por los webmasters:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
...o eso creía yo, hasta que ví que el "supuesto" usuario con la segunda identificación tenía una IP/Host de Google.
Buscando un poco por la red, doy con una aclaración de GoogleGuy, empleado de Google que responde a las preguntas de webmasters en relación al buscador. En este caso nos explica el porque Google está cambiando su User Agent. Un resumen en español:
GoogleGuy:Estamos considerando el cambiar nuestro User Agent a algo similar a Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). La razón principal de éste cambio es que algunos servidores web asumen que un navegador que no sea Internet Explorer, Netscape/Mozilla u Opera no soporta Javascript, Frames, etc. Por lo tanto con este cambio Google podrá acceder a más información. GoogleBot estaría más cerca de ser un usuario normal y podría seguir siendo identificado como crawler y mostrando la dirección para ampliar información (sobre robots.txt y otros).