/ / Файл Robots.txt

Файл Robots.txt

Что такое robotx.txt? Системный файл для роботов поисковых систем, содержит набор рекомендаций, не жестких правил. Директивы robots.txt Директива – вспомогательная инструкция, не закон, а рекомендация в программе. В нашем случае это рекомендация для бота ПС в файле robots.txt Директива User-agent: Перечисляется список роботов, указывая их названия к которым будет обращение в виде списка директив. Если…

Что такое robotx.txt?

Системный файл для роботов поисковых систем, содержит набор рекомендаций, не жестких правил.

Директивы robots.txt

Директива – вспомогательная инструкция, не закон, а рекомендация в программе. В нашем случае это рекомендация для бота ПС в файле robots.txt

Директива User-agent:

Перечисляется список роботов, указывая их названия к которым будет обращение в виде списка директив. Если обращение к всем ботам – указывается *

User-agent: * – в такой комбинации, все директивы будут обращены к все роботам.

При необходимости обратиться к определенному боту, необходимо выяснить его имя, предварительно выяснив в логах хостинга частоту его обращения (т.е. если бот обращается к сайту, а вашему сайту не нужна индексация этого бота)

User-agent: Googlebot

Основной бот Google. Полная инструкция по настройке тут

User-agent: Bingbot

Бот поисковика Bing. Инструкция по детальной настройке тут

Закрыть индексацию ботом Bing

User-agent: Bingbot
Disallow: /

User-agent: YandexBot

Бот поисковой системы яндекс. Если необходимо закрыть индексацию сайта от бота яндекс:

User-agent: YandexBot
Disallow: /

User-agent: MJ12bot

Бот сервиса Majestic

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot

Бот сервиса Ahrefs

User-agent: AhrefsBot
Disallow: /

User-agent: Baiduspider

Бот поисковой системы Baidu

User-agent: Baiduspider
Disallow: /

Директива Disallow:

Запрет индексации URL которые указаны.

Директива Allow:

Исключение из запрета, так директивой Disallow может быть закрыта вся категория, а исключение карточка товара – используют Allow:

Директива Sitemap:

Указывает путь к файлу. Т.к. карта сайта может находиться не в корне, где бот ее ищет по умолчанию, а в папке, или на другом сайте/сервисе.

Директива Host:

Указывается основной адрес сайта: с www или без, протокол http или https

Директива crawl-delay:

Указывает (ограничивает) на частоту обхода ботом страниц сайта. Используется на больших сайтах к которым бот часто, даже слишком часто может заходить, тем самым создавая дополнительную нагрузку на процессор и память сервера

FAQ по robots.txt

Где находится robots.txt?

Всегда в корне сайта, в отличии от sitemap.xml не может находиться в другом месте

Как создать robots.txt

С помощью обычного текстового редактора – блокнота. Сохраняется с расширением .txt

Similar Posts