Закрыть сайт от индексации

Индексация сайтов – одна и основных целей их владельцев. Однако, не всегда. Иногда требуется закрывать сайты частично или целиком от индексации, чтобы избежать распространения нежелательной информации или же проведения тонкой внутренней SEO-оптимизации и перелинковки. Например, владельцам сайтов может понадобиться закрыть от индексации админку, регистрационную информацию, профили пользователей и т.д.

Существуют различные способы создать запрет индексации сайта или его части:

• Создание файла robots.txt. Такой способ запрета идеален для скрытия отдельных страниц ресурса. Так, пользователем создается в блокноте Windows пустой файл, который именуется, как robots, и сохраняется с расширением текстового документа (txt). Позже в этом файле формируются необходимые команды. Далее файл, попадая в корневую директорию обслуживаемого сайта, передает записанные в нем команды, и страницы сайта перестают индексироваться.
• Запрет индексации с помощью мета-тега robots. Такой метод направлен на управление отдельными страницами сайта. Мета-тег передает команды одновременно ботам любых поисковых машин. Для каждого бота существует свой способ использования мета-тега. Общее правило – использование мета-тега в «шапке» документа. Выглядит это следующим образом: <meta name=»robots» content=»noindex, nofollow»>. С помощью части content можно задавать команды к различным действиям: запрету или разрешению индексации страниц или ссылок, или же того и другого вместе.

Запрет индексации для Гугла

Создание запрета с помощью инструкции rel. Подходит такой запрет индексации для «Гугла» и «Яху». Он позволяет избавиться от привязки к ссылке ссылочного веса. Но стоит отметить, что для работы с Яндекс такой способ не подходит.

Запрет индексации для Яндекса

Тег <noindex> для закрытия частей сайта для поисковых машин. С помощью данного тега можно предотвратить индексацию ссылок, скриптов, текста и других элементов страниц сайта. Такой способ подходит для работы с Rambler и Яндекс. Для этого необходимо просто выделить тегами часть страницы, которую нужно скрыть.