Создание и настройка robots.txt для Joomla
- Подробности
- Категория: Уроки Joomla
- Автор: Администратор
- Просмотров: 3239
В 5 уроке хотелось бы рассказать о таком важном файле, который должен быть на любом сайте, как robots.txt. В этом уроке мы разберем:
- Что такое robots.txt
- Как создать правильный robots.txt на Joomla
Что такое robots.txt и зачем он нужен
Для начала давайте вкратце разберемся с тем, что же представляет собой файл robots.txt и для чего его нужно использовать на своем сайте. Начнем с определения:
Файл robots.txt – это текстовый файл, который расположен в корне Вашего сайта. Данный файл содержит информацию для поисковых роботов о правильной индексации страниц Вашего сайта. Здесь Вы можете, как запретить к индексации некоторые страницы, так и указать, что именно необходимо проиндексировать.
Файл robots.txt необходим для правильной индексации страниц Вашего сайта. Ведь по умолчанию поисковые роботы будут индексировать все имеющиеся страницы, даже те, которые не несут смысловой нагрузки, а просто содержат некий код и бесполезны для пользователей. Чтобы избежать этого рекомендуется создавать правильный файл robots.txt.
Так же стоит отметить, что Вы можете увидеть этот файл у любого сайта. Для этого необходимо прописать в поисковой строке адрес сайта, добавив в конце значение - robots.txt. Выглядеть это будет так?
Mysite.ru/robots.txt
Создание правильного файла robots.txt на Джумле
В стандартном виде файл robots.txt на Джумле выглядит следующим образом.
В данном файле разработчики Джумлы не стали запрещать к индексации страницы вывода на печать, отправить по почте и т.д. Что не очень хорошо для поисковых систем. Зато поставили запрет на индексацию папки с изображением на сайте.
Многие создают в robots.txt отдельное обращение к поисковому роботу Яндекса и отдельное обращение к другим поисковым ботам. В принципе ничего страшного в этом нет, но в последнее время Яндекс научился более-менее прилично верно считывать информацию с файла robots.txt и достаточно сделать карту сайта такого вида:
В пункте Sitemap – укажите путь к карте сайта.
В случае если Вы все же решили сделать отдельное обращение к поисковому боту яндекса, Ваш robots.txt будет выглядеть следующим образом:
Вот в принципе так должен выглядеть файл robots.txt на Джумле. Ну и не забывайте мониторить свои страницы в панелях управления сайтом в Гугле и Яндексе. Именно там Вы можете найти страницы, которые попали в индекс. Если увидите, что поисковые боты начали индексировать какую-то директорию сайта, которая не должна быть в индексе, то просто запретите ее в robots.txt.