Robots.txt для WordPress

0
139
Robots.txt для Wordpress
Правильный robots.txt для Wordpress

В стандартном наборе системы управления сайтом отсутствует файл robots.txt, важность которого не стоит не дооценивать. В этой статье мы хотим рассказать вам основную информаци об этом файле и основных нюансах его создания и редактирования.

Что такое robots.txt?

Robots.txt – файл, который должен находится на вашем сайте по адресу http://url_ваше_сайта/robots.txt (в корне сайта) и указывать роботам поисковых систем правила индексации сайта а также может содержать иную служебную информацию для роботов.

Правильный robots.txt для WordPress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /*=rgfregr
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */page/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

Sitemap: https://billznaet.ru/sitemap.xml

Host: billznaet.ru

Robots.txt

Плагины для добавления и редактирования robots.txt

Перечислим несколько простых и лёгких плагинов, не требующих дополнительных знаний для создания robots.txt в WordPress:

Плагин Virtual Robots.txt

Virtual Robots.txt – это простое (автоматизированное) решение для создания и управления файлом robots.txt для вашего сайта. Достаточно загрузить и активировать плагин.

По умолчанию плагин Virtual Robots.txt позволяет получить доступ к частям WordPress, к которым должны обращаться хорошие боты, такие как Google. Другие части заблокированы.

Если плагин обнаружит существующий файл Sitemap для сайта XML, ссылка на него будет автоматически добавлена ​​в файл robots.txt.

Плагин Robots.txt rewrite

Плагин обеспечивает правильную поисковую систему для индексации сайта. Простой плагин для управления вашим robots.txt. Плагин не создает файл и не редактирует его. Этот плагин редактирует вывод WordPress содержимого robots.txt. Вы получите легкий и удобный интерфейс для управления им.

 

Проверка файла robots.txt

После создания или редактирования файла robots.txt рекомендуется выполнить проверку файла с помощью специализированых сервисов. Это позволит избежать ошибок индексации сайта и некорректного поведения робот при работе с вашим сайтом.

Проверка robots.txt Яндексом

Самый популярный и удобный вариант – проверка файла robots.txt яндексом. Для этого достаточно перейти на страницу сервиса – проверка robots.txt Яндексом – и воспользоваться один из двух вариантов проверки. Первый вариант – просто указать адрес сайта в поле “Проверяемый сайт”. Второй вариант – скопировать содержимое файла в поле “Текст robots.txt”. После этого нажимаем кнопку “Проверить”. Сервис достаточно быстро выдаст результат проверки и ошибки (при их наличии).

Вам останется воспользоваться подсказками сервисами проверки Robots.txt или, если файл будет впорядке, оставить его без изменений.

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here