Поисковый робот – главная часть поисковой системы. Его задача – сбор информации о сайтах.
Робот считывает информацию с сайтов – по сути, его работа очень схожа с тем, что делает любой браузер. Порой поиского робота еще называют пауком – он неутомимо движется по Всемирной паутине.
Для того чтобы лучше представить себе алгоритм работы поискового бота, можно представить себе расположенный в океане архипелаг. Несколько островов уже изучена, а часть – еще нет. Архипелаг постоянно пополняется новыми островами. Исследователи на корабле, обходят остров за островом и отмечают их на карте.
Примерно так же действует поисковый робот. Он постоянно прочесывает Сеть, ищет новые сайты, обновленные страницы, новые файлы и все это затем заносится в реестр поисковика. Этот процесс называется индексацией. Индексация нужна поисковикам для того, чтобы как можно быстрее выдать пользователям интересующую их информацию. В индексации заинтересованы и сами сайты – ведь тогда у них появляется возможность попасть в выдачу.
Деятельность поискового робота
Итак, в океане интернета вдруг возник новый остров – в нашем случае это новый сайт. Сколько времени он будет «неоткрытым»? Ведь на нем, возможно, есть очень полезная и актуальная информация. Как долго будет добираться поисковый паук до такого сайта? Насколько часто бот будет индексировать новые веб-страницы? Все ли данные на сайте считывает робот? Что предпринять, если нужно закрыть некоторые страницы от индексации?
Деятельность робота устроена так, что он все равно когда-нибудь посетит и проиндексирует любой сайт. Порой этот период может занимать многие месяцы. Чтобы ускорить этот процесс, требуется занести новый ресурс в особые списки-каталоги, которые работают при поисковиках. В данном случае имеются в виду лидеры рынка – Яндекс и Google.
После того как сайт был проиндексирован впервые, визиты поискового робота становятся регулярными. Как часто – трудно сказать, но в основном это зависит от того, насколько часто на сайте появляется новая информация. Если период обновлений равняется 7 дням, то, соответственно, паук будет индексировать обновления раз в неделю. На тех сайтах, где новые статьи появляются ежедневно (например, в блогах) поисковый бот старается появляться ежедневно. Время индексации в таком случае может составлять несколько минут.
Поисковая система, стремясь повысить качество поиска, имеет несколько поисковых ботов, каждый из которых выполняет свою работу. Часть из них занята индексацией новых сайтов, часть отвечает за сайты, которые прекратили свое существование, есть роботы для индексации картинок и видео. Также существуют поисковые боты, которые умеют определять корректность ссылок.
Впервые зайдя на сайт, робот сначала обращается к файлу robots.txt. Данный файл – это своего рода инструкция. В нем указано, какие страницы владелец сайта закрыл для индексации, следовательно, информация с них никогда не попадет в свободный доступ.
