Significado Disallow

⇨ Que es Disallow

Disallow es una directiva utilizada en el archivo robots.txt de un sitio web que indica a los robots de los motores de búsqueda cuáles secciones o páginas de un sitio no deben ser indexadas. Esta directiva es una forma de controlar qué contenido es accesible a los motores de búsqueda y, por lo tanto, a los usuarios que realizan búsquedas en Internet.

⇨ Para qué usamos Disallow

Se usa la directiva Disallow en un archivo robots.txt para especificar a los robots de los motores de búsqueda qué páginas o secciones del sitio no deben ser indexadas. Esto puede ser útil en casos en los que existen páginas o secciones que no deben ser visibles o accesibles al público en general, como páginas de prueba, áreas de administración o páginas que contienen información confidencial. La especificación de una directiva Disallow también puede ayudar a mejorar la eficiencia de los motores de búsqueda al evitar el rastreo de contenido innecesario. Es importante tener en cuenta que la presencia de una directiva Disallow no garantiza que los robots no rastreen o accedan a una página específica, pero es una solicitud respetada por la mayoría de los motores de búsqueda populares.

⇨ Ejemplo Disallow

En este ejemplo, la directiva User-agent: * indica que estas directivas se aplican a todos los robots. Las tres directivas Disallow especifican que la página de administración (/admin/), la página secreta (/secret-page/), y la página de prueba (/test/) no deben ser indexadas por los robots. Esto significa que estas páginas no aparecerán en los resultados de búsqueda de los motores de búsqueda.