SEO y SEM

Tendencias, novedades, noticias y tips del mundo de SEO y SEM

SEO y SEM

27 Nov 2014
Sé el primero en comentar

El archivo Robots.txt: nuestro gran aliado para el SEO

1 Star2 Stars3 Stars4 Stars5 Stars (1 votes, average: 5,00 out of 5)
Cargando…
Juan Ramón Marín

Si tienes una web seguramente sabrás de la gran importancia que tiene la indexación. Pero en algunas ocasiones la indexación de los motores de búsqueda puede ser excesiva llegando a hacerlo en páginas de carácter privado.

¿Qué podemos hacer para no indexar nuestras páginas?

Existen dos métodos para evitar que los motores de búsqueda no rastreen toda nuestra web de forma íntegra. Por una parte tenemos las etiqueta Meta Robots, donde podemos indicar si queremos que los crawlers sigan o indexan nuestras página, y también tenemos el archivo Robots.txt. En este artículo vamos a ver qué el archivo Robots.txt y la gran importancia que tiene en nuestra web.

¿Qué es el archivo Robots.txt?

Antes de empezar a rastrear nuestra web, las arañas de los buscadores pasan por el archivo robots.txt. En este archivo los bots se encuentran órdenes de ejecución que nos permitirán:

  • Denegar el acceso a determinadas páginas o directorios con el objetivo de evitar la indexación.
  • No permitir que ciertas partes del código de nuestra web sea indexado.
  • Evitar la indexación de contenido duplicado causado por parámetros o paginaciones
  • Mostrar el sitemap XML para facilitar el rastreo de la web.

robots txt TW

Quiero crear un archivo Robots.txt

Generar un archivo Robots.txt es relativamente fácil. Este es sencillamente un documento .txt donde escribimos determinadas ordenes con un lenguaje que ahora detallaremos. Una vez creado, lo subiremos a la raíz del dominio. (www.midominio.es/robots.txt)

¿Nunca habías visto uno? No os preocupéis, a continuación os vamos a detallar todos los comandos del archivo Robots.txt.

Comando del archivo Robots.txt

Antes de empezar a detallar los principales comando del archivo Robots.txt tenemos que saber que es muy importante la correcta escritura de estos. Es decir, tenemos que respetar los espacios, las mayúsculas o minúsculas y únicamente introducir comandos permitidos.

Los principales comandos son:

  • User-agent: con este comando estamos indicando a que robot le estamos obligando a cumplir ciertas acciones. No solo podemos encontrar el GoogleBot (crawler de Google), también está el de Bing, Yahoo y un gran repertorio de ellos. También existen bots maliciosos (malware) que rastrean nuestra web para robar información o para otros objetivos oscuros.
  • Disallow: No permite que los bots accedan a una determinada parte de neustra web
  • Allow: Todo lo contrarío que el comando Disallow. Le estamos dando acceso completo a los bots.
  • Sitemap: introduciendo la URL de nuestro sitemap facilitaremos el rastreo de toda nuestra web.
  • Crawl-delay: es para estipular cuantos segundos tiene que esperar el bot para saltar a otra página.
  • * (Asterisco): El asterisco tiene el mismo valor que una secuencia completa de caracteres. Por ejemplo, todos los directorios que empiecen por “page” sería “/page*/ (para evitar contenido duplicado con la paginación).

Ejemplo de archivo Robots.txt

Vamos a detallar un ejemplo de archivo robots.txt sencillo para acabar de comprender el funcionamiento de este.

Robots

Como podemos observar en la primera línea estamos indicando que las funciones del archivo son validas para todos los bots.

En la segunda y tercera línea le estamos denegando el acceso a las partes más privadas de WordPress. Aclarar que este archivo Robots.txt es de WordPress, cada web tiene sus propias necesidades y por esa razón no existe un archivo Robots.txt universal.

En la cuarta línea, le estamos denegando el acceso a las paginaciones de la web. Y por último, en la quinta línea le indicamos el sitemap.

El archivo Robots.txt es vital para cualquier web y su correcta creación, nos puede evitar serios problemas que impedirían nuestro posicionamiento SEO. ¿Quieres saber más? En el Master de SEO y Posicionamiento en Buscadores aprenderás todo lo que se tiene que saber de optimización On Page y por supuesto de nuestro aliado: el archivo Robots.txt. ¡Infórmate!

Comparte y comenta este artículo!

Ideas, noticias y mucha formación en tu bandeja de correo
Suscríbete ahora y recibe los mejores contenidos sobre Emprendedores, Marketing, Negocios e Internet

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

SUSCRÍBETE AL BLOG

Ideas, noticias y mucha formación en tu bandeja de correo
Sucríbete ahora y recibe todo el contenido de nuestro blog

LO MÁS LEÍDO HOY

BUSCA EN EL BLOG

IEBS EN LAS REDES

x
Ideas, noticias y mucha formación en tu bandeja de correo
Suscríbete ahora y recibe los mejores contenidos sobre Emprendedores, Marketing, Negocios e Internet

No gracias, seguir leyendo el post