Bueno, imagino que si estás aquí es por que has recibido el email de Google (Search Console) notificando que Googlebot no puede acceder a los archivos CSS y JS;
No te preocupes; todo esto forma parte de un release que soltó Google en su blog; comentando que:
Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.
-No prermitir el rastreo de Javascript o archivos CCS mediante el robots.txt, perjudica directamente lo bien que nuestros algoritmos hacen indexar tu contenido, y puede conllevar unos resultados de posicionamiento jodidos.
No me voy a entretener mucho en ese punto, así es la comunicación de Google, y si quieres saber más puedes echarle un ojo a este link del blog de webmastercentral; yo personalmente creo que hasta que no enviaron el mail, tampoco era algo “diferencial”; puesto que nadie lo debía hacer explícitamente, por lo que en igualdad de condiciones, los tuertos eran los reyes.
La cosa es que la fiesta ha cambiado, y tenemos que ponernos el vestido bonito; así que para resolver esta incidencia aquí tienes unos sencillos pasos:
Añade las siguientes líneas a tu archivo robots.txt:
Allow: /*.js$
Allow: /*.css$
-De esta forma estaremos permitiendo específicamente la indexación de archivos CSS y Javascript; con lo que problema resuelto.
Si no tienes un archivo robots.txt en tu dominio, deberás crear un archivo txt (bloc de notas), llamarlo “robots” y subirlo a tu FTP a nivel de raíz del dominio, con el siguiente contenido:
User-agent: *
Allow: /*.js$
Allow: /*.css$
Otra de las líneas que nos van a causar problemas, especialmente en las instalaciones de WordPress es la típica línea automatizada de cualquier plugin de robots.txt de WordPress, que incluye:
Disallow: /wp-includes
Disallow: /wp-content
Estas dos carpetas, contienen archivos CSS y Javascript; y es todo un cliché ponerlas siempre en disallow dentro del archivo robots.txt; pero the shit is going down para “lo que siempre se ha echo”; y otra vez toca cambiar de parecer; para el tema del disallow en “wp-content”, os recomendaría desindexar únicamente la carpeta de plugins, tal que así:
Disallow: /wp-content/plugins/
La cosa es que si tenéis un theme añadido en vuestro wordpress, que sea responsive; los archivos CSS y Js del responsive muy probablemente se alojen dentro de esa carpeta, con lo que si tenemos un Disallow: /wp-content puesto en nuestro archivo robots.txt, nos vamos a encontrar con esto, al pasar nuestro test de “mobile friendly” de Google
Y sin más, aquí os dejo el tutorial para Googlebot pueda acceder a los archivos CSS y JS
¡Hasta la próxima!
Tus artículos son amenos y divertidos, amén de útiles. Un placer Marcos.