Какую информацию о веб-страничке собирает поисковый робот?

Поисковый бот это программка, которая в автоматическом режиме исполняет переходы по веб-сайтам через ссылки на их и индексирует содержимое страничек.

Порядок просмотра страничек и регулярность следующих визитов определяется методами поисковой машины. Используя файл robots.txt, в котором содержатся инструкции для поисковых ботов, владелец веб-сайта может воспретить индексирование, как всего сайта, так и неких его страниц.

Есть следующие типы поисковых ботов:

государственный поисковый бот: собирает информацию с 1-го домена (например, .ru), употребляется в локальных системах поиска;
глобальные поисковые боты: собирают информацию с разных государственных сайтов, употребляются в глобальных системах поиска;
индексатор картинок: ведет работу по индексации графики;
индексатор медиа-файлов: ведет работу по индексации файлов формата аудио и видео;
бот-зеркальщик: занимается определением зеркал веб-сайтов;
ссылочный бот: подсчитывает количество ссылок на веб-сайте, ТИЦ и др.;
робот-оформитель: оформляет результаты, выдаваемые поисковой системой;
проверяющий бот: инспектирует пребыванье ресурса в базе данных и число индексированных документов;
робот-стукач (иначе величается дятел): проверяет доступность веб-сайта или документа, на который имеется ссылка;
робот-шпион: занимается поиском ссылок на веб-сайты, которые не находятся в базе данных системы;
робот-смотритель: перепроверяет приобретенные результаты;
бот-исследователь: занимается отладкой поискового метода либо исследованием определенных веб-сайтов;
оперативный бот: определяет время последнего обновления сайтов.