Estándar de exclusión de robots

Un archivo robots.txt en un sitio web funcionará como una petición que especifica que determinados robots no hagan caso a archivos o directorios específicos en su búsqueda.^[1]​ Esto puede realizarse, por ejemplo, para dejar fuera de una preferencia los resultados de una búsqueda avanzada, o de la creencia que el contenido de los directorios seleccionados puede ser engañoso o inaplicable a la clasificación del sitio en su totalidad.^[2]​

Este protocolo es consultivo. Confía en la cooperación de los robots del sitio web, de modo que marca una o más áreas de un sitio fuera de los límites de búsqueda con el uso de un archivo robots.txt, aunque este no necesariamente garantice aislamiento completo. Algunos administradores de sitios Web utilizan el archivo robots.txt para hacer algunas secciones privadas, invisibles al resto del mundo, pero dado que los archivos están disponibles en forma pública, su contenido podría ser visto de todas maneras por cualquier persona con un navegador web y conocimientos medianamente avanzados.

En algunos casos el incluir un directorio en este archivo le anuncia su presencia a posibles hackers, así ellos pueden determinar fácilmente algunos softwares usados en el sitio mediante buscar "huellas típicas" en el robots.txt.

• Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código raíz de la página web porque el comodín * especifica todos los robots:^[3]​

User-agent: *Disallow:

Cabe destacar que el comodín (*) significa "ALL" (en español «todos»)

• Este ejemplo les niega el acceso a todos los bots (implementando el comodín [/]), en todos los archivos almacenados en el directorio raíz:

User-agent: *Disallow: /

Cabe destacar que el comodín (/), le niega el acceso la entrada al bot.

• Este ejemplo permite el acceso a un solo bot:

User-agent: Unsolobot # Donde Unsolobot es el nombre del bot al que le queremos permitir el accesoDisallow: User-agent: *Disallow: /

• El siguiente es un ejemplo que dice que todos los subdirectorios que incluyan el comodín (/) deben ser bloqueados, únicamente estos, exceptuando a todos los demás archivos y directorios que no contienen un comodín, para su revisión:

User-agent: *Disallow: /cgi-bin/Disallow: /images/Disallow: /tmp/Disallow: /private/

• Ejemplo que dice a un robot específico no entrar en un directorio

User-agent: BadBot # sustituir 'BadBot' con el nombre del botDisallow: /private/

• Ejemplo que dice a todos los bots no entrar en un archivo en concreto

User-agent: *Disallow: /directory/file.html

El resto de archivos del directorio seguirán estando disponibles

• Ejemplo usando comentarios

# Los comentarios aparecen tras el símbolo "#"al comienzo de una línea o al final de un directorioUser-agent: * # todos los botsDisallow: / # impedir su entrada

robots.txt de una página ficticia

User-agent: *Disallow:/portal/Disallow:/portal/Disallow:/wp-*Disallow:/?MonopolioDisallow:/?FicticiaDisallow:/?Disallow:/?*Disallow:/author/Disallow:/category/Disallow:/portal/Disallow:/search/Disallow:/home2/Disallow:/sg0-no-tocar/Disallow:/sg1-no-tocar/Disallow:/sg2-no-tocar/Disallow:/sg3-no-tocar/Disallow:/sg4-no-tocar/Disallow:/sg5-no-tocar/Disallow:/sg-5-no-tocar/Disallow:/sg-4-no-tocar/Disallow:/sg-3-no-tocar/Disallow:/sg-2-no-tocar/Disallow:/sg-1-no-tocar/Disallow:/sg*Disallow:/

Los robots de los buscadores son sensibles a las mayúsculas y minúsculas, es importante agregarlos tal y como aparecen listados en el servidor, para una buena programación y entendimiento (robot-servidor).

A lo largo de su historia el estándar de exclusión de robots, ha presentado una serie de incidencias, de las cuales las más importantes han sido las siguientes:

• El 1 de julio de 2019 la empresa Alphabet Inc. decidió publicar en GitHub, bajo Apache License,^[4]​ el código fuente utilizado por más de 20 años por el robot Google,^[5]​ el cual alimenta los índices de su motor de búsqueda.

• Mapa de sitio web
• Metatag
• Nofollow
• Araña web

• robotstxt.org
• Página oficial de Google