Как настроить robots.txt, чтобы разрешить все?

My robots.txtв Инструментах Google для веб-мастеров показывает следующие значения:

User-agent: *
Allow: /

Что это означает? У меня недостаточно знаний об этом, поэтому ищу вашу помощь. Я хочу разрешить всем роботам сканировать мой веб-сайт, это правильная конфигурация?

Этот файл предоставит доступ всем сканерам

User-agent: *
Allow: /

Это в основном позволяет всем пользовательским агентам (*) подключаться ко всем частям сайта (/).

Если вы хотите разрешить каждому боту сканировать все, это лучший способ указать это в файле robots.txt:

User-agent: *
Disallow:

Обратите внимание, что Disallowполе имеет пустое значение, что означает, согласно спецификации :

Любое пустое значение означает, что можно получить все URL-адреса.

Ваш способ (с Allow: /вместо Disallow:) тоже работает, но Allowне является частью исходной спецификации robots.txt , поэтому он поддерживается не всеми ботами (хотя многие популярные, например, Googlebot ). Тем не менее, нераспознанные поля должны игнорироваться, а для ботов, которые не распознают Allow, результат в любом случае будет таким же: если ничего не запрещено сканировать (с помощью Disallow), сканирование разрешено для всего.
Однако формально (согласно исходной спецификации) это недействительная запись, потому что Disallowтребуется хотя бы одно поле:

В записи должно присутствовать хотя бы одно поле Disallow.

Я понимаю, что это довольно старый вопрос и на него есть довольно хорошие ответы. Но вот мои два цента для полноты картины.

Согласно официальной документации , существует четыре способа предоставить роботам полный доступ к вашему сайту.

Чистота:

Укажите глобальный сопоставитель с запрещающим сегментом, как указано @unor. Итак, вы /robots.txtвыглядите вот так.

User-agent: *
Disallow:

Взлом:

Создайте /robots.txtфайл без содержимого. По умолчанию будет разрешено все для всех типов Bots.

Мне все равно:

Не создавайте /robots.txtвообще. Что должно дать те же результаты, что и два выше.

Уродливый:

Из документации по метатегам robots: вы можете использовать следующий метатег на всех своих страницах своего сайта, чтобы сообщить Bots, что эти страницы не должны индексироваться.

<META NAME="ROBOTS" CONTENT="NOINDEX">

Чтобы применить это ко всему сайту, вам необходимо добавить этот метатег для всех своих страниц. И этот тег следует размещать строго под своим HEADтегом на странице. Подробнее об этом метатеге здесь .

Это означает, что вы разрешаете каждому ( *) пользовательскому агенту / сканеру получить доступ к корню ( /) вашего сайта. Ты в порядке.