117342, Москва,
ул. Миклухо-Маклая, 42Б, оф. 16

cхема проезда

+7 (495) 540-53-66
(Пн-Пт с 9:00 до 21:00)

позвоните нам

117342, Москва,
ул. Миклухо-Маклая, 42Б, оф. 16

cхема проезда

+7 (495) 540-53-66
(Пн-Пт с 9:00 до 21:00)

Заказать звонок

117342, Москва,
ул. Миклухо-Маклая, 42Б, оф. 16

+7 (495) 540-53-66
(Пн-Пт с 9:00 до 21:00)

Роботы поисковых систем

Как новые сайты и материалы на существующих попадают в поисковые системы? Для выполнения этой задачи существуют специальные «помощники» — роботы поисковых систем, которые, путешествуя по Сети, добавляют в базу «Яндекса» и «Гугла» новый контент.

Виды веб-пауков

Роботы поисковых систем различаются своим предназначением: одни индексируют только изображения, не обращая внимания на все остальное, другие работают с RSS-лентами, третий — «техник». Его задача проверять ресурсы на работоспособность, отсутствие вирусов и вредоносного программного обеспечения на его страницах.

Еще один паук — быстроробот, его назначение — работа с новостными проектами и ресурсами, которые часто обновляют свою информацию.

Основной робот работает со всей текстовой информацией на сайте, формируя базу поисковой системы.

Вместе эти роботы формируют результаты выдачи: поиск по сайтам, по изображениям, видеороликам и блогам, оперативный доступ к новостям и другой информации.

Как определить работа

Определить, заходил ли робот на сайт, а если заходил, то какой, можно при помощи лог-файлов. На странице помощи веб-мастерам «Яндекса» есть полный перечень роботов с указанием информации, которую они оставляют после себя. Это особенно важно при проведении комплексной СЕО-оптимизации крупных проектой.

Рассмотрим основных. Если в логах вы увидели следующие строки:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots), то к вам заходил основной индексирующий робот;

Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots). Так представляется веб-паук, который собирает изображения;

Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots), то это был ответственный за свежие новости бот.

Полный список роботов «Яндекса» и описание вы можете прочесть на этой странице.




Наши отзывы
  • img1
    Группа компаний "Контур" выражает благодарность компании "Sem-systems" за плодотворное и приятное ...

Оставьте свой телефон и мы перезвоним вам
Оставьте свои контактные данные и мы свяжемся с вами