Credit image

¿Te gusta el diseño web? ¡Echa un vistazo a la documentación de LenguajeCSS.com!

Robots.txt : Todo lo que deberia saber

El fichero robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan. Veamos como crearlos y configurarlos.

El fichero robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan (¡ojo! recomendaciones, no obligaciones). Pero comencemos por el principio.

Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc. También son llamados spiders, arañas, bots o indexadores.

Por ejemplo, Googlebot es el nombre del crawler del buscador Google. También existen otros como:

  • Mediapartners-Google, que es el crawler que se encarga de revisar los anuncios de Google Adsense.
  • Googlebot-Image, robot indexador de imagenes del buscador de Google.
  • Googlebot-News, robot indexador de noticias para Google News.
  • Bingbot, crawler de indexación del buscador Bing
  • Slurp, crawler de indexación del antiguo buscador Yahoo!
  • Scooter, del clásico buscador Altavista.

Y muchísimos más. Si establecemos un control en nuestro robots.txt, podremos conseguir una serie de beneficios:

  • Impedir acceso a robots determinados: Puede parecer contradictorio, pero algunos crawlers no nos proporcionarán sino problemas. Algunos robots no son de buscadores, e incluso algunos robots no son ni amigos. Pero de eso ya hablaremos más tarde.
  • Reducir la sobrecarga del servidor: Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
  • Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
  • Eliminar contenido duplicado: Uno de los casos más importantes, que casi siempre es olvidado por los webmasters. Si eliminamos la duplicidad de contenido, los buscadores nos puntuaran muy alto, aumentando el flujo de visitas.
  • Fijar mapas del sitio: También es posible acoplar un sitemap para indicar el buen camino a los robots.

Creación del fichero robots.txt

¿Y entonces, que hay que hacer? Es muy sencillo.

Sólo tenemos que crear un fichero de texto robots.txt y comenzar a escribir en él. Partiré del siguiente ejemplo donde permitimos la entrada a todos los crawlers (igual que sin ningún robots.txt):

User-agent: *
Disallow:

En User-agent debemos introducir el nombre del robot, y a continuación las rutas donde queremos prohibir que acceda. Algunos ejemplos:

  • Disallow: / prohibe la entrada a todo el sitio.
  • Disallow: /foro/ prohibe la entrada a los documentos del directorio foro.
  • Disallow: permite la entrada a todo el sitio.

En algunos casos suele utilizarse en lugar de Disallow, la palabra Allow. Aunque por definición es correcta, es conveniente no utilizarla, puesto que las rutas omitidas se asumen que están permitidas por defecto, y algunos crawlers no entienden la palabra Allow.

Es posible acumular varios Disallow bajo un mismo User-agent, pero no podemos utilizar varios User-agent encima de un Disallow. Veamos un ejemplo:

# Crawler de Bing
User-agent: bingbot
Disallow: /links.html
Disallow: /private/
Disallow: /photos/

Este código impide al crawler del buscador de Bing (Microsoft) acceder a la página links.html, y las carpetas private y photos (y todo su contenido) de nuestro sitio.

Añadiendo el carácter # al principio de una linea podemos escribir comentarios que no interpretará el crawler.

Opciones avanzadas: Comodines

Es posible ir acumulando reglas para distintos crawlers, formando un robots.txt más largo y completo. Cada vez que escribamos un User-agent deberemos dejar una linea en blanco de separación. Además, existe una ligera adaptación que permiten usar comodines ($ y *) en las rutas en algunos crawlers (sólo Googlebot y Slurp):

User-agent: Slurp
Disallow: /*.js$
Disallow: /2006/*
Disallow: /2007/*
Disallow: /articulos/*/pagina/*

Se está indicando al robot de Yahoo, que no indexe los ficheros que terminen en .js (javascript), direcciones que empiecen por 2007 o 2006 (fechas), ni artículos con la palabra pagina (paginado de comentarios). Estos casos pertenecen a la idea de no indexar contenido duplicado.

En la mayoría de los blogs, puedes acceder a un mismo artículo por las direcciones:

  • blog.com/articulo/titulo, la dirección principal.
  • blog.com/2007/04/, el archivo del mes.
  • blog.com/articulo/titulo/feed, feed RSS del artículo.
  • blog.com/articulo/titulo/pagina/2, pagina 2 de comentarios.

Todo esto es contenido duplicado, una de las razones más importantes de penalización para un buscador, a no ser, claro, que te las ingenies para que sólo sea accesible desde una dirección. A la hora de ver los resultados te asombrarás lo bien que estarás quedando ante los ojos de Google, por ejemplo.

Hay que tener mucho cuidado con usar cosas como Disallow: /pagina o Disallow: /*pagina, puesto que en lugar de bloquear lo que queríamos (carpeta pagina o artículos paginados), terminen bloqueando direcciones como /decorar-mi-pagina o /paginas-para-amigos/.

Reducir frecuencia de rastreo

Si revisas estadísticas y demás, también puedes observar que a veces algunos crawlers «se pasan» revisando nuestro sitio, y funden a peticiones a nuestro pobre servidor. Existe una manera de tranquilizar a los robots:

User-agent: noxtrumbot
Crawl-delay: 30

Con esto le decimos al robot de noxtrum que espere 30 segundos entre cada acceso. Cuidado, porque Crawl-delay puede que no lo soporten todos los crawlers. Bing y Google si lo soportan.

Incluir Sitemap

Finalmente, podemos también incluir un mapa del sitio en nuestro robots.txt de la siguiente forma:

Sitemap: http://www.emezeta.com/sitemap.xml

En RobotsTXT.org podrás encontrar documentación oficial si quieres profundizar y en esta búsqueda de Google encontrarás muchos robots.txt de ejemplo, incluso robots.txt optimizados para tu tipo de web. Además, también tienes un validador de robots.txt.

Conclusiones

Recordar a todos que con el fichero robots.txt no podemos bloquear los accesos por «fuerza bruta». Robots.txt es una recomendación del webmaster a los buscadores, que como son «robots buenos», las seguirán al pie de la letra.

Existen formas alternativas para indicar a los crawlers que secciones deben o no deben indexar, como los meta tag Robots o la cabecera X-Robots-Tag, creados para casos más específicos. Si quieres más información sobre optimización web, te recomiendo el artículo Optimizar el rendimiento de tu página web.

Existen otros «robots malos» (que buscan direcciones de correos o formularios para hacer SPAM) que no dudarán en acceder a los lugares que hayas prohibido si lo desean. Para bloquear estos otros robots, deberemos echar mano al fichero .htaccess, pero como decía Michael Ende, eso ya es otra historia...

Escrito por Manz, el , en optimizacion web. Comentarios recibidos: 117.

117 comentarios de lectores
buscador de video
buscador de video
1

Muy buena información y descripción de los robots que rondan por la web, necesario para identificar y valorar nuesrto contenido dentro de la web

  • 1
emarts
emarts
2

Buen artículo, aunque para complementarlo sugeriria añadir un enlace a la lista de los robots conocidos: http://www.robotstxt.org/wc/active.html

Liamngls
Liamngls
3

Especialmente interesante el apartado del contenido duplicado, sobre todo las direcciones de los feeds, se posicionan mucho (al menos en Google) y es bastante incómodo pinchar un resultado que lleva a un feed y no a una entrada.

Manz
Manz
4

emarts la verdad es que la lista de la página de robotstxt.org está muy bien, pero un poco anticuada. En ipron tenían una buena lista de crawlers famosos con sus respectivos rangos de IP, pero desgraciadamente, ya no está disponible.

Tecnometro
Tecnometro
5

Interesante articulo. Ya que por medio de Robots.txt le decimos al buscador si se desea indexar la página y/o se desean seguir los links. Saludos!

  • 1
Pernan
Pernan
6

Impresionante articulo!

franco
franco
7

esta re buena la chica de la pelicula bueno chau

  • 1
carlos
carlos
8

caramba, justo lo que necesitaba, muy buen post, gracias amigos

carballo
carballo
9

Vaya! muchisimas gracias! ahora ya tengo un Robots.txt decente! jejejeje. Te voy a enlazar desde mi blog explicando un poco el tema.

joan
joan
10

Artículo interesante.

  • -1
Cuidadin cuidadin
Cuidadin cuidadin
11

Si fuese un hacker, irónicamente diría: Gracias por utilizar el fichero robots.txt, gracias a él todos podremos saber un poco más sobre vuestras webs, como por ejemplo, la URL de vuestro panel de administración, al que hacer un SQL injection.... ;)

  • 2
SaSsEriNa
SaSsEriNa
12

con vista no?

matias-tv.com.ar
matias-tv.com.ar
13

EXELENTE INFORMACION. Buena calidad y cantidad.

Rodrigo oviedo
Rodrigo oviedo
14

Como se puede optimizar el ingreso de robots a nuestro sitio www.tvalterna.com

Andreas
Andreas
15

Revisa tu robots.txt porque contiene errores.

Manz
Manz
16

¿Que errores, Andreas?

Angel
Angel
18

Qué buen trozo de explicación Manz.

Angel
Angel
19

Le he puesto estas reglas al googlebot: Disallow: /blogs/*/*/*/*.html$ Allow: /blogs/*/*/*/*/*.html$ Y he conseguido estos resultados al analizar el robots.txt en las herramientas de google: http://www.cherada.com/blogs/do/view/id/2588/como-consentirte-estas-vacaciones.html Permitido por la línea 108: Allow: /blogs/*/*/*/*/*.html$ http://www.cherada.com/blogs/do/view/id/2588.html Bloqueado por la línea 107: Disallow: /blogs/*/*/*/*.html$ Para otros archivos que terminan en .html obtengo: http://www.cherada.com/search.html Autorizado Entonces te quería preguntar cuál es la diferencia entre Permitido y Autorizado y si también es conveniente usar la sintaxis Allow en lugar de Disallow y en caso que no cómo lo harías tú, teniendo en cuenta que lo que se desea (para evitar duplicidad) es que se permita los blogs que tengan nombre y se impidan los que solo tienen el numero sin ningun nombre.

Manz
Manz
20

La verdad es que no estoy muy seguro que entiende Google por Permitido y Autorizado, para tu caso necesitaría más datos, pero deduzco que uno será cuando encuentra el Allow (y le permites algo expresamente) y el otro será cuando no ha encontrado ningún impedimento (o se ha autorizado al bot a entrar en una sección con contraseñas). Son los términos que utiliza Google en cada caso. Mi idea es siempre asumir que todo está permitido, y evitar indexación con Disallow. Tu ejemplo de utilizar Allow es perfecto, no sólo en la práctica sino como ejemplo teórico. Se debe utilizar para permitir algo que anteriormente fue prohibido con Disallow. En estos casos lo que se suele hacer es modificar las URLs a golpe de modrewrite, ya que también tienes que tener en cuenta que a Google no le gustan las URLs con muchos niveles de profundidad.

  • -1
Angel
Angel
21

Tiene mucho sentido todo ahora con eso que decís de permitir expresamente y no dejar pasar. Lo de URLs cortas es lo mejor sí, defitivamente es de echarle un vistazo.

  • -1
Corto Maltes
Corto Maltes
22

E·stoy en Blogger y me dicen que no se puede modificar el archivo robot.txt ¿es sierto esto? y si no lo es ¿como se hace?

fafa
fafa
23

En Blogger no se puede, como es un servicio de Google ellos lo controlan. Los robots.txt se utilizan en websites propios.

juanshot
juanshot
24

Y si no quiero robots.txt en las url de mi blog como hago para eliminarlo??

Seo
Seo
25

Excelente artículo! me habían pedido que escribiese un artículo sobre robots.txt, y francamente sólo me queda recomendar este artículo, porque no se puede enriquecer más. Un saludo :)

La pregunta tonta
La pregunta tonta
26

Me puede decir e qué parte se pone en archivo, jejeje, en raíz, o en el theme? Graciaas -que conste que dije que era pregunta tonta-

  • -1
Manz
Manz
27

@La pregunta tonta: Se coloca en el raiz de tu sitio.

Cleo Morgause
Cleo Morgause
28

Ótimo tópico, bem completo! Parabéns

todotuto
todotuto
29

Magnífico tutorial, aguanta bien el paso del tiempo, lo recomendé hace unas semanas en mi blog como uno de los sitios más interesantes. Felicidades y gracias por tu trabajo, que es mucho y de calidad :)

al
al
30

Hola Alguien sabe como o donde se tiene que subir el robot, en el caso o los casos para los blogs de google (blogger) o directamente no se pueden usar los robots! Gracias!

ilanda68
ilanda68
31

Impresionante articulo, por otra parte, Internet viene del mundo oculto, no?, un proyecto de la Defensa que se le entrego al comercio estadounidense. yo tengo esta duda: si se aplica disallow al archivo, digamos, xyz.html este archivo no debe aparecer en el sitemap??

Fernando espinoza
Fernando espinoza
32

Muchisimas gracias che si me puedes ayudar con algunas cosas hacerca de los metas te dejo mi correco en msn por fa necesito ayuda corcelespi@hotmail.com un abrazo

Roxana
Roxana
33

Eres un Genio. Gracias

josema
josema
34

Muy buen post Manz! claridad y calidad de la misma mano, un saludo

Marcelo
Marcelo
35

Necesito que no aparezcan en el cache de google solamente 3 palabreas del contenido de una pagina, ¿como hago para colocar esto en un robots.txt ? Por ejemplo: en la pagina todos.net/lista/socios.htm tengo dos nombre y un teléfono que no quiero que los indexen los buscadores, y que no aparezcan en el cache. Si alguien sabe por favor dejen un ejemplo. Muchas gracias Marcelo

Robert Gordon
Robert Gordon
36

Me encanto tu post. Gracias por tu trabajo.

Blue Eyes
Blue Eyes
37

Muy buen post Manz! claridad y calidad de la misma mano, un saludo

Alejandro
Alejandro
38

la verdad, clarisimo. el mejor articulo de la web de explicacion de robots.txt. Estaria bueno algo para wordpress bien detallado para no ser penalizado por duplicar contenido y ademas para conocer exactamte los ejemplos que hay dando vuelta por la web, pero lo que esta, esta muy claro. Muchas gracias.

elios
elios
39

Hola Manz si en blogger no podemos modificar el robot.txt entonces porque aparece en la plantilla? A mi me gustaria modificarla y saber cuales son los robots mas importanmtes ademas de yahoo, google y msn. Saludos.

  • 1
jbmondeja
jbmondeja
40

completa la guia, muy buena, gracias

  • -1
gabriel
gabriel
41

algo me de claro de esto, aunque para mi es bastante complicado. LLegue aqui por el articulo en tu pagina de ocmo tener masvisitas en nuestro blog, pero aun asi no entedi como aplicarlo :/ no me queda claro aun. porfavor, agradeceria mucho una explicacion mas practica :p Saludos Felicitaciones por la pagina.

jaja
jaja
42

De acuerdo con #11. Cuidadito, que dejáis la puerta abierta a cualquiera! En algunos casos hay que saber combinar correctamete los Allow/Disallow!!

Daniel
Daniel
43

gracias por le post me sirvio de mucho para crear el archivo de robots en mi web :-)

puzzle
puzzle
44

me gustaria posicionar mi blog

  • -1
Codigos postales
Codigos postales
45

Si señor, una explicación bien detallada de como hacer un archivo robots.txt y que la mayoria de los desarroladores web tienen olvidado. Generan miles de páginas con sistemas como joomla, foros, script de anuncios etc que generan miles de páginas duplicadas y no se les ocurre instalar un robots.txt

José María
José María
46

Realmente espectacular el artículo! Bendiciones

Diseño web
Diseño web
47

Muy buen articulo, muy interesante

Hdg
Hdg
48

Excelente artículo! Me sirvió mucho. Muchas gracias!

Alvaro Martínez V
Alvaro Martínez V
49

Lo que me gustaria saber es si para montar un Robots.txt y que funcione en mi sitio basta solamente con hospedarlo o es necesario agregar algun codigo a la pagina principal de mi web para que sea detectado por los crawlers de los buscadores. Por cierto, aprovecho para invitarlos a descubrir la ventaja que ofrece buscar lo que quieras en los principales buscadores de internet desde un mismo punto http://www.ring.comyr.com

elaguadetodos
elaguadetodos
50

Hola, explicas todo pero aun no me he enterado: tengo un fichero en un blog de blogger "robots.txt" está mal y tengo que cambiarlo por otro robots.txt (bis) ¿como lo hago, paso a paso?. La verdad no recuerdo como lo subí en su dia. gracias

1 2 3

Publica tu opinión

Si lo deseas, puedes utilizar el siguiente formulario para publicar tu opinión o responder a alguna de las existentes:

Previsualización

Aquí se previsualizará su comentario. Revise que sea correcto antes de publicarlo.