Googlebot no puede acceder a los archivos CSS y JS… ¡Que le den!

Bueno, imagino que si estás aquí es por que has recibido el email de Google (Search Console) notificando que Googlebot no puede acceder a los archivos CSS y JS;

No te preocupes; todo esto forma parte de un release que soltó Google en su blog; comentando que:

Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.

-No prermitir el rastreo de Javascript o archivos CCS mediante el robots.txt, perjudica directamente lo bien que nuestros algoritmos hacen indexar tu contenido, y puede conllevar unos resultados de posicionamiento jodidos.

No me voy a entretener mucho en ese punto, así es la comunicación de Google, y si quieres saber más puedes echarle un ojo a este link  del blog de webmastercentral; yo personalmente creo que hasta que no enviaron el mail, tampoco era algo “diferencial”; puesto que nadie lo debía hacer explícitamente, por lo que en igualdad de condiciones, los tuertos eran los reyes.

La cosa es que la fiesta ha cambiado, y tenemos que ponernos el vestido bonito; así que para resolver esta incidencia aquí tienes unos sencillos pasos:

Añade las siguientes líneas a tu archivo robots.txt:

Allow: /*.js$
Allow: /*.css$

-De esta forma estaremos permitiendo específicamente la indexación de archivos CSS y Javascript; con lo que problema resuelto.

Si no tienes un archivo robots.txt en tu dominio, deberás crear un archivo txt (bloc de notas), llamarlo “robots” y subirlo a tu FTP a nivel de raíz del dominio, con el siguiente contenido:

User-agent: *
Allow: /*.js$
Allow: /*.css$

Otra de las líneas que nos van a causar problemas, especialmente en las instalaciones de WordPress es la típica línea automatizada de cualquier plugin de robots.txt de WordPress, que incluye:

Disallow: /wp-includes

Disallow: /wp-content

Estas dos carpetas, contienen archivos CSS y Javascript; y es todo un cliché ponerlas siempre en disallow dentro del archivo robots.txt; pero the shit is going down para “lo que siempre se ha echo”; y otra vez toca cambiar de parecer; para el tema del disallow en “wp-content”, os recomendaría desindexar únicamente la carpeta de plugins, tal que así:

Disallow: /wp-content/plugins/

La cosa es que si tenéis un theme añadido en vuestro wordpress, que sea responsive; los archivos CSS y Js del responsive muy probablemente se alojen dentro de esa carpeta, con lo que si tenemos un Disallow: /wp-content puesto en nuestro archivo robots.txt, nos vamos a encontrar con esto, al pasar nuestro test de “mobile friendly” de Google

Y sin más, aquí os dejo el tutorial para Googlebot pueda acceder a los archivos CSS y JS

¡Hasta la próxima!