Cosas que debes saber sobre el archivo robots.txt en WordPress

26 Jun Cosas que debes saber sobre el archivo robots.txt en WordPress

Hay muchas cosas que por defecto se configuran correctamente en WordPress nada más instalarlo. Pero a veces, es necesario hacer algunas modificaciones según el caso.

Hoy te vamos ha hablar sobre robots.txt. Seguro que alguna vez has oído hablar sobre este fichero, y debes saber que no solo se utiliza en WordPress, si no que también se utiliza en Prestashop, Joomla… y en cualquier web ya sean un gestor de contenidos o no.

Lo principal que debes saber es que este fichero se utiliza para decirle a los buscadores que partes de tu web no quieres que incluyan en sus resultados de búsqueda. Y claro, podrás decir: – «¡Pero si yo lo que quiero es que lo incluya todo! ¡Cuanto más mejor!»

¡Pues no te vamos a quitar la razón! Cuanto más información incluyan los buscadores de tu web mejor, pero con un pequeño matiz, cuanto más información ÚTIL. Ahora bien, habría que definir en cada caso, en cada web, que información es o no útil.

Volviendo al tema del WordPress, si sueles trabajar con dicho CMS, sabrás que hay 3 directorios muy comunes:

• wp-admin
• wp-content
• wp-includes

Pues bien, estos directorios incluyen información interna, de administrador, a nivel de programación, pero no incluyen información que sea ÚTIL para los usuarios, para los buscadores, de modo, que para que dejar que por ejemplo Google gaste parte de su tiempo, indexando la información que hay ahí dentro si no es relevante. Podrás decir: «Me importa poco que Google gaste su tiempo, mientras al final me indexe todo lo importante». Pues volvemos a darte la razón, mientras Google indexe lo importante lo presentará a sus usuarios cuando busquen. ¿Pero puede influir en que lo posicione mejor o peor? Probablemente si ayudas poco a Google, Google te ayudará poco a ti. Así que si le quitas trabajo, y no le haces perder el tiempo en que rastree información no relevante, ¡a lo mejor te lo agradece un poco más!

En estos 3 directorios, vamos a incluir una excepción. Es decir, no hay información relevante salvo en /wp-content/uploads/ que es donde se suelen subir los ficheros, las imágenes que luego se presentan en la web, luego es buena idea incluir ese directorio, para que Google (o los buscadores en general) lo indexen.

Ahora que ya te hemos hecho una pequeña introducción sobre robots.txt, veamos un poco que ocurre en WordPress.

Por lo general al instalar WordPress no existe el fichero robots.txt, sin embargo, si escribes en un navegador tudominio.com/robots.txt tendrá contenido. ¿Cómo puede ser esto? – Pues WordPress en la instalación, te lo pregunta, ¿Quieres que tu web sea indexada por los buscadores? Y depende de lo que respondas te generará virtualmente un robots.txt u otro.

Si indicas, que sí, que quieres que tu web sea indexada por buscadores, y pones en un navegador tudominio.com/robots.txt verás el siguiente contenido:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Con esto le estamos diciendo a todos los buscadores, que indexen todo menos los directorios /wp-admin y /wp-includes.

Si embargo, si en la instalación indicas que no quieres que tu web sea indexada o accesible por los buscadores, y escribes en un navegador robots.txt, veras:

User-agent: *
Disallow: /

Con esto lo que robots.txt le está diciendo a todos los buscadores es que no indexen nada a partir de /, es decir, que no indexen nada de la web. Por lo que la web no aparecerá en ningún buscador.

Hay que añadir que todos estos efectos no son automáticos. Es decir, si tu tienes una web que ya tiene parte indexada, y no quieres que sea indexada, por ejemplo porque es una web en desarrollo, o una copia donde haces pruebas y pones lo que hemos visto anteriormente para que no se indexen, seguirán indexadas. Pero la próxima vez que los buscadores pasen por tu web y vean que ese robots.txt ha cambiado, y ahora no quieres que se indexe el contenido, te lo irán quitando.

Todo esto que hemos visto en WordPress, es sin ni siquiera haber creado un fichero llamado robots.txt. Es decir, si accedes por ejemplo por FTP a tu web, en el / no verás el archivo robos.txt, sin embargo, es como si existiera porque WordPress te lo virtualiza. Ahora bien, te lo virtualiza con un contenido muy específico. Si eres un usuario más avanzado, y quieres indicar tus propias cláusulas en el robots.txt, tendrás que crearlo y ya no tendrá efecto el virtualizado por WordPress.

En próximos post, veremos más detalles de qué podemos o no incluir en el robots.txt. Ahora seguiremos, explicando como permitir o no que tu WordPress sea indexado por buscadores, desde el panel de control.

Esta opción se encuentra en Ajuste > Privacidad:

Una vez aquí verás:

Como hemos explicado antes, si marcas: Dile a los buscadores que no indexen tu sitio, te generará un robots.txt virtualizado que no permitirá que tu contenido sea accesible por los buscadores. Sin embargo, si marcas: Permitir que los buscadores indexen tu sitio, con esto generará un robots.txt virtualizado, que permitirá que los buscadores indexen tu web.

Ojo: permitirá que lo indexen, no significa que lo indexarán, esto no garantiza nada, simplemente que no lo impedirá, pero no significa que con esto, Google u otros buscadores te vayan a indexar directamente.

Nada más, esperamos que esta introducción al robots.txt te haya sido de ayuda. Si es así y te ha gustado, te agradecemos que lo comparta en tus redes sociales. Y si tienes alguna consulta, ya sabes que puedes usar la zona de comentarios. ¡Gracias!