Как составить Robot.txt. Правильный Robot.txt для Joomla и WordPress
Мои лучшие статьи:
|
Если вам важен трафик с поисковых систем, а я уверен, он нужен почти всем, то сразу после создания сайта вам требуется правильно составить Robot.txt, потому что первым делом поисковые роботы обращают внимание именно на него. В этой статье я хочу вам рассказать, что такое Robot.txt и как его составить для Joomla и WordPress.
Что такое Robot.txtФайл Robot.txt — это текстовый файл, который должен находиться в корне вашего сайта. В этом файле находятся все инструкции для поисковых роботов. Его суть заключается в том, чтобы не давать поисковикам индексировать определенные страницы: дубликаты, не качественные статьи, копипаст и так далее. После входа на ваш сайт поисковой робот находит файл Robot.txt (кстати его наличие не обязательно) и начинает индексацию по вашим правилам. Правильное создание Robot.txt для Joomla и WordPressПравильное создание файла Robot.txt не менее важно, чем правильно составление семантического ядра вашего сайта. Чтобы создать Robot.txt, нужен простой текстовый файл, то есть блокнот (можно использовать Notepad2). Если вы не хотите запрещать какие-либо страницы для индексации, можно залить чистый (пустой) файл с именем robot.txt в корневую директорию вашего сайта. В рунете самая популярная проблема, касающаяся Robot.txt — это его создание для Яндекса. Так как Яндекс — это самая популярная поисковая система в русскоговорящих странах и вторая в мире. Для этой поисковой системы важно правильное использование директивы «host». Директива host и ее использованиеДиректива «host» существует для избежания возможных проблем с зеркалом сайта. Именно директива «host» указывает, какой сайт из группы, определенных автоматически как зеркала, считать главным. Обратите внимание, что директива «host» сработает только тогда, когда сайты будут идентифицированы как зеркала. И запомните раз и на всегда, что с директивой «Disallow» она никак не связана. Пример использования директивы «host». User-agent: Yandex HTML-тег <noindex>Поисковые роботы Яндекса поддерживают html-тег noindex, которые не дает поисковикам индексировать определенные (заключенные в тег noindex) участки текста. Данные тег делится как и большинство других html-тегов на две части: открывающийся тег - <noindex>, и закрывающийся </noindex>. Чаще всего в тег noindex заключат гиперссылки, чтобы не передавать другому сайту свой вес. Но алгоритмы поисковых систем с каждым днем все умнее и умнее. Теперь использование тега noindex может плохо сказаться на ранжировании вашего сайта. Пример использования html-тега <noindex>:
<noindex>текст, который нужно запретить от индексации</noindex> Директив Disallow и AllowДля того, чтобы запретить роботу посещать определенные участки вашего сайта, требуется использовать директиву «Disallow». Пример использования директивы «Disallow»: User-agent: Yandex Вторую строку можно встретить в Robot.txt сайта, построенного на CMS Joomla. Таким образом блокируется доступ робота к админ-панели Joomla. Для WordPress используется следующая строка. User-agent: Yandex Для того, чтобы сделать обратное, то есть открыть доступ роботу к определенным участком вашего сайта, требуется использовать директиву «Allow». Пример использования директивы «Allow»: User-agent: Yandex Виды роботов ЯндексаЯ не стану расписывать виды роботов Яндекса, так как их знание никак не скажется на вашем сайте. Если вам все-таки интересно в них разобраться, то вы можете почитать о них в Яндекс.Помощь. Директива SitemapЕсли вы используете для лучшей индексации вашего сайта «Карту сайта» в формате sitemaps.xml, то укажите путь к ней. Если их две, то укажите обе. Пример использования директивы «Sitemap»: User-agent: Yandex Теперь вы знаете, как правильно составить Robot.txt для Joomla и WordPress. Если у вас возникнут вопросы, можете задавать их в комментариях. Я буду отвечать на них в течении нескольких часов. Или же вы всегда можете посетить раздел Яндекс.Помощь.
Оставь комментарий, нажми «Мне нравится» («Like») и «Сохранить», а я напишу для тебя еще что-нибудь интересное :)
|