Поисковая система и её роботы (самое основное)
Поисковый робот (робот поисковой системы - web-crawler, spider) является неотемлимой частью поисковой системы/машины (web search engine).
Он представляет собой программу со следующими основными функциями:
посещение страницы веб-узлов (сайтов)
индексация содержимого страниц.
Кроме содержимого страниц поисковый робот индексирует и найденные на страницах ссылки на другие веб-ресурсы (именно по-этому для рейтинга вашего сайта важно, чтобы на других веб-сайтах имелись ссылки на ваш ресурс).
Робот может возвращаться на сайт через определенный промежуток времени и заново проиндексировать содержимое сайта (для этого используется тег
<meta name=" revisit-after" content="# days ">, где вместо решётки # указывается количество дней).
Полученная таким образом информация заносится в базу поисковой машины, из которой впоследствии выбирается информация по пользовательскому запросу.
Индекс поисковой системы - это база поисковой машины, которая хранит в себе информацию о проиндексированных поисковым роботом html-страниц, а также файлов других типов, расположенных в каталогах веб-сервера.
Поисковый робот руководствуется инструкциями, получаемыми из файла robots.txt, расположенного в корневом каталоге сайта.
Основные поисковые роботы Рунета
|
3 
Антиспам
Добавлено несколько опросов. Голосуйте на здоровье!