Los robots o spiders
Los robots de los buscadores exploran la Web buscando enlaces, páginas modificadas y agregando páginas nuevas. Peina toda la Web con cierta frecuencia, pasando más veces por páginas Web de gran importancia o con cambios frecuentes. Por lo tanto es muy importante tener enlaces a páginas notables o con cambios periódicos.
Exclusión o inclusión de los robots
Puede optar a no dejar ver a los robots ciertas partes de su Web o su Web entera. Puede servir por ejemplo para que no entren los robots en partes de la Web que están en construcción o a ciertos documentos que usted no quiere que aparezcan en los resultados de los buscadores.
Tiene que crear un archivo de texto (con el programa de Windows Bloc de notas) llamado robot.txt donde ponga por ejemplo:
User-agent:*
Disallow: /construccion
En la primera línea indico que me refiero a todos los robots (* quiere decir todos)
En la segunda que no entren en el directorio “/construccion”.
User-agent:*
Disallow: /contruccion
User-agent: Googlebot
Disallow:
En este otro ejemplo hago lo mismo que antes pero permito solo al robot googlebot (robot de Google) entrar en toda la Web.
Si no quiero que entre ningún robot:
User-agent: *
Disallow: /