Есть ли разница между пустым robots.txt и вообще без robots.txt?

На веб-сервере, который я теперь должен сообщить, я заметил, что robots.txt пуст. Я задавался вопросом, есть ли разница между пустым robots.txt и никаким файлом вообще.

По-разному ли ведут себя сканеры в этих двух случаях? Итак, безопасно ли просто удалить пустой файл robots.txt?

По-разному ли ведут себя сканеры в этих двух случаях?

Robots.txt файл , который пустой на самом деле не отличается от того , что не нашли, и не запретить сканирование.

Однако вы можете получить много 404ошибок в журналах вашего сервера, когда сканеры запрашивают файл robots.txt , как указано в этом вопросе здесь .

Итак, безопасно ли просто удалить пустой файл robots.txt?

Да, с учетом вышеизложенного.

Нет, нет разницы

Вы получите 404 ошибки в журнале вашего сервера, и если вы подписаны на такие вещи, как инструменты Google Web Master, он может сказать, что у вас их нет, но с точки зрения поведения робота-обходчика - они одинаковы для любой робот, о котором вы заботитесь.