cita de internet
FUNCIONAMIENTO DE UN BUSCADOR
Lo primero que hay que entender es el significado de araña (spider) y como funciona. Una araña (spider, robot, bot ...) es un programa utilizado por los buscadores para encontrar e indexar el contenido de las páginas web.
Este robot navega hasta la página principal, carga la página y sigue los enlaces que hay en ella.
Saltando de página en página de un sitio a otro va navegando, y guardando en su base de datos toda la información que va encontrando.
Anteriormente los robots solo indexaban la página principal (shallow crawl), ahora la mayoria de los robots tienen la capacidad de navegar por todos los enlaces de una página web e indexando el contenido de cada una de las páginas que componen nuestra sitio. Esta capacidad de rastrear en profundidad la web se le llama deep crawl.
arañas, araña, robots, robot, bots, bot, spiders, spiders
fin cita

Aun así estará todo bien por aquí? ...