Как управлять индексацией сайта?

В рамках данной статьи постараемся с таким элементом индексации, как robots.txt. В своих статьях я уже упоминал его имя. Сейчас познакомимся подробнее. 

Что такое robots.txt? 

Это файл, который управляет индексацией сайта в целом. Его основа – текст. Создается в текстовом редакторе и размещается в корневой директории сайта. С его помощью можно, как запретить, так и разрешить индексацию сайта в целом, так и его отдельных страниц. Скажу честно, robots.txt несет в себе рекомендательный характер для роботов поиска. Практика показала, что от «глаз» поисковых жуков невозможно ничего скрыть. И самое интересное, были случаи, когда в robots.txt стоял запрет, а роботы игнорировали его и все равно пускали в индекс ресурс.  

Где можно увидеть файл robots.txt? 

Идем в строку поиска. Вводим имя сайта, к примеру, igor.ru, после / (слеш) и пишем robots.txt. 

Выглядит это так:igor.ru/ robots.txt 

Нажимаем на enter и нашему взору открывается набор программных символов. Это в том случае, если файл был создан грамотно и размещен в корневой директории. Если его нет, то возможно вы увидите непонятный набор букв и символов. 

Создание robots.txt 

Итак, файл надо создать. Здесь все просто, только внимательно вчитываемся в строки статьи.
Запоминаем: robots.txt состоит из двух основных директив. Это: 

• обращение (User-agent:); 

• указание (Disallow: или Аllow:). 

В настоящее время можно просто использовать директиву Disallow: По умолчанию для роботов все, что не запрещено разрешено.  

Обращение, оно приветствие – обязательно. Мы уважительно должны относиться не только к посетителям сайта, но и к поисковым жукам. Также нам надо конкретизировать к какому роботу мы обращаемся. Есть два важных «парня». Это: 

• Гугл Бот; 

• Яндекс. 

Они правят балом индексации.
Обратимся к поисковой системе Гугл через главного индексирующего робота: 

User-agent: googlebot 

Если надо сказать «привет» Яндексу, то: 

User-agent: Yandex 

Ко всем роботам указание будет выглядеть так: 

User-agent: * 

Дальше надо дать указание: 

Disallow: 

И далее можно закрывать от индексации любые интернет – страницы сайта. 

Что закрыть в первую очередь: 

1. Технические составляющие сайта. К ним относятся: модули, формы оплаты и заказа, ресурсы администрирования и так далее. 

2. Интернет – страницы, которые не участвуют в поиске. Дубли, контакты и иные.  

Также этот список можно дополнить ресурсами, которые вы не хотите видеть в поиске. 

Совет: в любом случае проведите консультацию с разработчиком. Пусть он подскажет, какие страницы технического характера есть на сайте.
Кейс: стараемся обратиться и прописать директивы, которые относятся к роботу ПС Яндекс обязательно. Почему? Этот парень «любит», когда к нему отдельно обращаются. Лучше всего не ленимся и обращаемся, и даем указание отдельно: 

1. Роботу ПС Гугл; 

2. роботу ПС Яндекс; 

3. всем роботам. 

Выглядеть это будет так: 

1. User-agent: googlebot
Disallow: /igor/ 

2. User-agent: Yandex
Disallow: /igor/ 

3. User-agent: *
Disallow: /igor/ 

Между слешами мы прописываем папки, которые надо закрыть от индекса. Как вы понимаете список папок может не ограничиться только одной. 

Но и это еще не все. Надо указать путь роботу. Он носит название хост (Host). Дадим еще в руки роботу карту (Sitemap). 

Что в итоге получаем? 

Представьте, что робот пришел в большое здание, где много офисных помещений. Ему надо обойти (проиндексировать) определенные помещения. Мы даем ему в руки карту (Sitemap) и указываем путь по которому ему идти (Host). Поверьте, робот отблагодарит нас быстрой индексацией. Выглядеть приблизительно это должно так: 

Sitemap: https://igor.ru/sitemap.xml 

Host: https://igor.ru 

User-agent: *, googlebot, yandex (обращение директивы к каждому роботу прописываем отдельно). 

Disallow:… 

Какие плюсы несет в себе быстрая индексация сайта? Нужная информация есть на страницах книги. 

Как закрыть сайт от индексации? 

Файлом robots.txt можно не только разрешить, но и запретить индексацию сайта в целом. 

Как это сделать? 

User-agent: *
Disallow: / 

Как только увидели на сайте данную директиву, то знайте, сайт закрыт от индекса всех поисковых систем. Сразу задайте вопрос «почему».
Надеюсь, информация была вам полезна.

ТОП 10 вашему сайту, коллеги.