Насколько я знаю, ни боты, ни приложения не запрашивают sitemap.xml, не сообщая, что он должен быть там. Большинство сайтов, вероятно, не имеют его, и многие из них используют gzip, и многие называют файл как-то иначе или помещают карты сайта в подпапку.
Вот все, что я знаю:
- favicon.ico
Предоставляет вашим страницам значок во вкладках, закладках и т. д.
- robots.txt
Полезно, если вам нужно заблокировать какие-либо страницы из поисковых систем, но может быть пустым, чтобы разрешить доступ ко всему. Он также может содержать местоположение для вашей карты сайта.
- Файлы подтверждения Инструментов для веб-мастеров
Самый простой способ проверки (экономит наличие бесполезных мета-тегов в вашем HTML-коде). Там google[hash].html
и BingSiteAuth.xml
. У меня есть один для Yahoo в моем корне тоже, но это, вероятно, больше не нужно.
- crossdomain.xml
Этот файл запрашивается Adobe Flash в любое время, когда Flash требуется подключиться к вашему сайту. Вероятно, вы никогда не увидите этот файл в своих журналах на небольшом сайте, но у меня было несколько запросов на него на одном сайте. Вы можете просто создать пустой файл, поскольку по умолчанию блокируется доступ к внешним сайтам.
- .htaccess (Apache)
Очевидно, не запрашивается браузерами / ботами, но жизненно важен для большинства сайтов.
Наконец, что касается значков, на которых настаивает iPhone: есть несколько размеров, которые могут быть запрошены. Мой iPhone 3G (iOS 5) запрашивает версию 57x57, и я вижу 72x72 и 114x114 (наиболее часто встречающиеся) в моих журналах ошибок. Так что, если вы хотите удалить все 404 из ваших журналов, вы должны предоставить все это:
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png