Поисковый робот

Поисковый робот — это программа, которая посещает веб-сайты и загружает их страницы и другую информацию, чтобы создавать записи для индекса поисковой системы.

Владелец сайта может управлять индексацией своих страниц с помощью специальных инструкций в файле robots.txt.