Файлы robots.txt и sitemap.xml

Помогают индексировать сайт и генерируются автоматически

Что такое robots.txt Что такое sitemap.xml

Что такое robots.txt

robots.txt — это файл с правилами для поисковых систем. Он помогает указать, какие страницы нужно индексировать, а какие не нужно.

В Базиуме в настройках Robots.txt доступны варианты:

Использовать рекомендованный Robots.txt. Подходит для обычной работы сайта. Используйте этот вариант, если сайт готов к публикации и должен появляться в поиске.
Запретить индексацию. Закрывает сайт от индексации. Используйте, если сайт пока не нужно показывать в поисковых системах.
Использовать собственный Robots.txt. Подходит для индивидуальных правил. Используйте этот вариант, если вы точно знаете, какие директивы нужно указать.

Чтобы перейти к настройкам файла, перейдите в главном меню проекта в раздел «Маркетинг», затем выберите «SEO» и пролистайте до пункта «Настройка Robots.txt». Выберите подходящий пункт и сохраните настройки внизу данной страницы.

Чтобы увидеть файлы, добавьте к вашему адресу сайта /robots.txt, например:
http://site.ru/robots.txt

Что такое sitemap.xml

sitemap.xml — это карта сайта. В ней собраны ссылки на страницы сайта, чтобы поисковым системам было проще их найти.

Чтобы увидеть файлы, добавьте к вашему адресу сайта /sitemap.xml, например: http://site.ru/sitemap.xml

Важно:

не включайте «Запретить индексацию» на готовом сайте. В этом случае сайт может открываться по ссылке, но поисковые системы не должны будут добавлять его страницы в выдачу.

Если вы используете собственный Robots.txt, проверяйте правила внимательно. Ошибка в файле может закрыть от поиска важные страницы сайта.