Айпирушки

Поисковый робот

Предположим, мы решили открыть небольшое справочное бюро в постоянно растущем городе. Даже если первоначальные данные обо всех фирмах города будут точны, уже через пару дней они безнадежно устареют, наши клиенты не смогут получить интересующие их сведения, а мы разоримся. Поэтому нам нужно завести человека (или даже нескольких), который будет следить за любыми изменениями в жизни города. Главная его задача — регулярно обзванивать все известные ему организации и записывать любые изменения в их работе, а также, узнавая о новых фирмах, звонить и в их офисы. Поисковые системы в Интернет работают по тому же принципу, что и наше справочное бюро: специальный поисковый робот постоянно ходит по сети, собирая информацию с сайтов и сохраняя их в специальной базе данных. Поисковый робот заходит на страницы в случайном порядке, просто переходя по ссылкам с одного сайта на другой. Очевидно, что для того, чтобы обойти весь Интернет, поисковому роботу потребуется слишком большое время. Именно поэтому он расставляет для себя некоторые приоритеты и особенно часто заходит на те сайты, информация на которых обновляется чаще. Кроме того, поисковый робот весьма избирательно относится к информации, заносимой в базу данных: прежде чем запомнить содержимое страницы, он проверяет его на соответствие некоторым критериям качества. Чтобы проиллюстрировать это, вернемся к примеру со справочным бюро. Если мы не хотим давать людям справки о фирмах, занимающихся незаконной деятельностью, то перед тем, как записать информацию о новой фирме, мы будем хотя бы поверхностно изучать ее работу. Так и поисковый робот анализирует содержимое Интернет-ресурса и делает свой вывод о его качестве.

Показать все