El archivo robots.txt para Blogger

Usa el archivo robots.txt con cuidado, si no estás seguro de lo que haces o de si lo necesitas, te recomiendo no usarlo. Si tienes dudas puedes preguntar, pero antes revisa los otros comentarios.

Entre las opciones de Blogger hay una que pasa muy desapercibida pero que tiene una importancia "vital" para una buena estrategia a largo plazo y a corto para el SEO. Se trata del archivo robots.txt personalizado.

El archivo robots.txt es un fichero de texto que los rastreadores "honrados" de la web visitan antes de analizar tu sitio. Lo hacen para conocer las directrices para el indexado (inclusión en el índice), entre otras cosas, que le indiques. Estos robots son de buscadores cómo Yahoo, Google o Bing, pero también los de anuncios cómo Adsense, e imágenes cómo Google Images.

¿Por qué debemos añadir un archivo robots.txt personalizado?

Con el archivo robots.txt personalizado podemos indicar los buscadores, directivas para que indexen o no, determinado contenido. Lo más usual sería retirar las páginas o entradas que podrían perjudicar nuestro posicionamiento.

Paralelamente; en los blogs, y muchos otros formatos de web, tenemos un problema por el contenido duplicado que se genera cuando incluimos las entradas en secciones por etiquetas (directorio search en Blogger) o simplemente se almacenan en el archivo por periodos de tiempo (directorio archive en Blogger). Los rastreadores encuentran el mismo contenido con diferentes direcciones, y en algunos casos, como el de Google, nos puede acusar de un problema que, por desconocimiento -y falta de información precisa-, hemos generado.

Para solucionar el problema del contenido duplicado que se genera al tener el mismo contenido en diferentes direcciones el archivo robots.txt, tiene (en parte) la solución; impedir que los rastreadores incluyan en el índice de resultados de sus buscadores las direcciones a las páginas de etiquetas y archivo.

No es una medida efectiva al 100% porque seguirán existiendo enlaces que apunten a las direcciones que queremos bloquear; unos en nuestro blog -que podemos cambiar o añadir el atributo nofollow- y otros fuera de él.

Si no me equivoco en breve se acerca una novedad a Blogger que si lo permitirá, mientras, podemos y debemos usar las etiquetas de encabezado de robots personalizadas que nos permitiran retirar todo este contenido duplicado generado por Blogger.

El archivo ideal y cómo añadirlo en Blogger

Es muy sencillo de hacer en Blogger. Para ello copiamos el siguiente texto y lo pegamos en la sección de Blogger dedicada a ello (Configuración -> Preferencias para motores de búsqueda -> Archivo robots.txt personalizado -> Editar):

# Archivo robots.txt personalizado | Limborules.
User-agent: * # Todos los rastreadores se dan por aludidos.
Disallow: /*? # Bloquea las URL que incluyan un signo de interrogación
Disallow: /*archive/ # Bloquea los directorios que acaben por archive  
User-agent: Mediapartners-Google  # Sólo para el robot de Adsense
Disallow: # Al robot de Adsense le dejamos rastrear todas las páginas
# Incluimos la dirección del sitemap xml para hasta 1000 entradas
Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500

Todo lo que va después del # es un comentario, hasta el salto de línea así que los rastreadores no le harán caso.

Sustituye tublog.blogspot.com por el nombre de tu blog. Si tienes más de 1000 entradas, o tienes previsto alcanzarlas, agrega algunas de estas -o más, pero fíjate en la correlación de números- líneas para tu sitemap XML, aquí tienes la explicación de porque hay que hacerlo así:

Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=1001&max-results=500
Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=1501&max-results=500

Listo, la próxima vez que el robot de Google pase por tu sitio ya no tendrás más problemas con el contenido duplicado que aparece en las páginas de categorías ni archivo. Recuerda que puede crear tantas categorías cómo Blogger te permita.