#En primer lugar un ejemplo de archivo robots.txt que excluye TODAS las busquedas a TODOS los robots:
#User-agent: *    # aplicable a todos
#Disallow: /      # impide la indexacion de todas las paginas
# Establecemos total libertad para webcrawler
# Ya que dejamos Disallow vacio
User-agent: *
Disallow: /
# En cambio lycra y BadBot
# tiene prohibido integramente el acceso
# El resto de bots (seņalado mediante *)
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.
#User-agent: *
#Disallow: /tmp
#Disallow: /logs
# Permitir trabajar a los botsde  2 am a 7:45 am
# Las horas son siempre Greenwitch
# Un documento CADA  5 minutos
#Request-rate: 1/5m		
# Combinado: 1 doc cada 10 minutos
# y solo de una  a 5 tarde
#Request-rate: 1/10m 1300-1659
#Mediante las directivas "Disallow" especificamos los directorios o archivos concretos que deseamos excluir. Por ejemplo:
#Disallow: /help/ # afecta a /help/index.html  pero no a  /help.html.
#User-agent: noxtrumbot
#Crawl-delay: 30