Особенность настройки drupal robots.txt

Как настроить Robot.txt на Drupal (видео)

Смотрите полный видеокурс на iTunes

Что такое файл Robots.txt?

Текстовый файл robots.txt отвечает за доступ поисковых роботов к разделам сайта, а также содержит инструкции относительно порядка индексации ресурса. Если используется популярная система управления сайтом Drupal, то работа с файлом из коневой директории ресурса имеет некоторые особенности. В частности, чрезвычайно важно, чтобы drupal robots.txt был настроен таким образом, чтобы в индекс поисковых систем не попали те разделы сайта или папки, которые должны быть скрыты от глаз пользователей. Как правило, это странички с технической информацией, данными конфиденциального характера и т.д. Кроме того, если неправильно настроить drupal robots.txt, то время, затрачиваемое на индексацию ресурса, будет увеличено в разы, что, как известно, является крайне нежелательным явлением.

Золотые правила настройки Drupal Robots.txt

Итак, мы выяснили насколько важно правильно настроить файл drupal robots.txt, но до сих пор не разобрали, какими установками при этом следует пользоваться. Специалисты выделяют три кита, на которых держится корректная настройка файла robots.txt. Во-первых, это прописывание условий доступа для каждой поисковой системы в отдельности. Это нужно для того, чтобы каждый поисковой робот, обратившись к файлу robots.txt, мог безошибочно считать команду, предназначенную именно для него. Порой бывает так, что объём индексации сайтов для разных поисковых систем неодинаков, тогда каждый поисковик берёт в индекс свои определённые страницы, что должно значиться в файле robots.txt. Если пренебречь этим правилом, то доступ к разделам и файлам сайта со стороны разных поисковых систем будет походить на броуновское движение.

Ещё одним важным пунктом, который обязательно следует выполнять, осуществляя настройку файла robots.txt, является указание правильного доменного имени сайта. При этом необходимо определиться, какой вариант имени вы хотите использовать – с WWW или без. После того, как решение принято, нужно поделиться им с поисковым роботом. Для этого используется специальная директива Host. Вообще, коммуникации между веб-мастером и поисковым роботом относительно порядка индексации осуществляются на языке поисковых систем, то есть с помощью директив. Каждая директива предназначена для определённой инструкции и используется только в строго определённом порядке. При малейших ошибках в написании директив поисковой робот не распознает команду или прочитает её некорректно с соответствующим неправильным поведением.

Текстовый файл robots.txt выполняет ещё одну важную функцию – указывает путь к файлу карты сайта. Каждый мало-мальски опытный веб-мастер знает, что в файле robots.txt необходимо в обязательном порядке прописывать прямую ссылку, ведущую к файлу sitemap.xml. Особенно это необходимо осуществлять для поисковых роботов, которые не позволяют добавлять файл карты сайта в индекс вручную. Если не прописать путь к файлу карты сайта или указать некорректную информацию, поисковой робот не обнаружит данный файл, что повлечёт нарушения в работе с площадкой.

На последок хотел бы добавить, что создание интернет-проекта (сайта) и дальнейшее его ведение — это тоже бизнес. Поэтому не совершайте ошибки молодых предпринимателей. Заранее составьте бизнес-план и четко следуйте ему.