Карта сайта Парадокс

Мы используем карту сайта в Stack Overflow, но у меня смешанные чувства по этому поводу.

Сканеры обычно находят страницы по ссылкам на сайте и с других сайтов. Файлы Sitemap дополняют эти данные, чтобы сканеры, которые поддерживают файлы Sitemap, могли собирать все URL-адреса в файле Sitemap и узнавать о них с помощью соответствующих метаданных. Использование протокола Sitemap не гарантирует, что веб-страницы включены в поисковые системы, но дает подсказки сканерам, чтобы они лучше сканировали ваш сайт.

Основываясь на нашем двухлетнем опыте работы с картами сайтов, в карте сайта есть нечто принципиально парадоксальное :

1. Файлы Sitemap предназначены для сайтов, которые трудно правильно сканировать.
2. Если Google не может успешно сканировать ваш сайт, чтобы найти ссылку, но он может найти ее в карте сайта, он не дает ссылки на карту сайта и не будет индексировать ее!

Это парадокс карты сайта - если ваш сайт не сканируется должным образом (по какой-либо причине), использование карты сайта вам не поможет!

Google делает все возможное, чтобы не давать никаких гарантий на карту сайта :

"Мы не можем делать какие-либо прогнозы или гарантии относительно того, когда или если ваши URL будут сканироваться или добавляться в наш индекс", цитата

«Мы не гарантируем, что будем сканировать или индексировать все ваши URL-адреса. Например, мы не будем сканировать или индексировать URL-адреса изображений, содержащиеся в вашем файле Sitemap». цитата

«подав Sitemap не гарантирует , что все страницы вашего сайта будут просматриваться или включены в результатах поиска» Цитирование

Учитывая, что ссылки, найденные в файлах сайта, являются всего лишь рекомендациями , тогда как ссылки, найденные на собственном сайте, считаются каноническими ... кажется, что единственное логичное, что можно сделать, это избежать наличия карты сайта и быть чертовски уверенным, что Google и любая другая поисковая система могут правильно паук ваш сайт, используя простые старые стандартные веб-страницы, которые все остальные видят.

К тому времени , как вы сделали , что , и получать хорошие и индексацию тщательно , чтобы Google можно увидеть , что ваша собственный сайт ссылка на эти страницы, и были бы готово ползать ссылки - ну, зачем нам нужен карта сайт, опять же ? Карта сайта может быть очень вредной, поскольку она отвлекает вас от того, чтобы пауки поисковых систем могли успешно сканировать весь ваш сайт. «О, не имеет значения, увидит ли сканер это, мы просто шлепнем эти ссылки в карте сайта!» Реальность совершенно противоположна нашему опыту.

Это кажется более чем ироничным, учитывая, что карты сайта были предназначены для сайтов, которые имеют очень глубокую коллекцию ссылок или сложный пользовательский интерфейс, который может быть трудно пауком. По нашему опыту, карта сайта не помогает, потому что, если Google не может найти ссылку на вашем сайте должным образом, она не будет индексировать ее из карты сайта в любом случае. Мы видели это проверенное снова и снова с вопросами переполнения стека.

Я ошибаюсь? Имеют ли смысл карты сайта, и мы как-то просто неправильно их используем?

Отказ от ответственности: я работаю вместе с командой Sitemaps в Google, поэтому я несколько предвзятый :-).

В дополнение к широкому использованию файлов Sitemap для контента «без веб-индекса» (изображений, видео, новостей и т. Д.) Мы используем информацию из URL-адресов, включенных в файлы Sitemaps, для следующих основных целей:

• Обнаружение нового и обновленного контента (я полагаю, это очевидный факт, и да, мы также подбираем и индексируем другие несвязанные URL-адреса оттуда)
• Распознавание предпочтительных URL для канонизации (есть и другие способы обработки канонизации )
• Предоставление полезного индексированного URL-адреса в Инструментах Google для веб-мастеров (приближения с сайта: -запросы не используются в качестве показателя)
• Предоставление основы для полезных ошибок сканирования (если URL-адрес, включенный в файл Sitemap, содержит ошибку сканирования, обычно это более серьезная проблема, которая отображается отдельно в Инструментах для веб-мастеров)

Со стороны веб-мастера я также нашел файлы Sitemaps чрезвычайно полезными:

• Если вы используете сканер для создания файла Sitemaps, то вы можете легко проверить, можно ли сканировать ваш сайт, и увидеть из первых рук, какие URL-адреса найдены. Сканер находит предпочитаемые вами URL-адреса или неправильно настроен? Неужели сканер где-то застрял в бесконечных пространствах (например, в бесконечных календарных сценариях)? Ваш сервер способен справиться с нагрузкой?
• Сколько страниц на самом деле имеет ваш сайт? Если ваш файл Sitemap «чистый» (без дубликатов и т. Д.), Это легко проверить.
• Действительно ли ваш сайт сканируется без дублирования контента? Сравните журналы сервера, оставленные роботом Googlebot, с вашим файлом Sitemaps. Если робот Googlebot сканирует URL-адреса, которых нет в файле Sitemap, вы можете дважды проверить внутреннюю ссылку.
• Ваш сервер сталкивается с проблемами с вашими предпочтительными URL-адресами? Перекрестная проверка вашего журнала ошибок сервера с URL-адресами файлов Sitemap может быть весьма полезной.
• Сколько ваших страниц действительно проиндексировано? Как уже упоминалось выше, это количество видно в Инструментах для веб-мастеров.

Конечно, для действительно небольших, статичных, легко просматриваемых сайтов использование Sitemap может быть ненужным с точки зрения Google после того, как сайт был отсканирован и проиндексирован. Для чего-то еще, я действительно рекомендовал бы использовать их.

FWIW Есть некоторые заблуждения, которые я хотел бы также охватить:

• Файл Sitemap не предназначен для «исправления» проблем с обходом. Если ваш сайт не может быть сканирован, исправьте это в первую очередь .
• Мы не используем файлы Sitemap для ранжирования.
• Использование файла Sitemap не уменьшит нормальное сканирование вашего сайта. Это дополнительная информация, а не замена для сканирования. Точно так же отсутствие URL в файле Sitemap не означает, что он не будет проиндексирован.
• Не суетитесь над метаданными. Если вы не можете предоставить полезные значения (например, для приоритета), оставьте их и не беспокойтесь об этом.

Если вы знаете, что у вас хорошая архитектура сайта, и Google найдет ваши страницы, естественно, единственное преимущество, о котором я знаю, - это более быстрая индексация, если ваш сайт индексируется достаточно быстро, то в этом нет необходимости.

Вот статья 2009 года, где джентльмены проверяли, как быстро Google сканировал свой сайт с картой сайта и без нее. http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

Мое эмпирическое правило: если вы запускаете что-то новое и непроверенное, вы хотите увидеть, как Google сканирует ваш сайт, чтобы убедиться, что ничего не нужно исправлять, поэтому не отправляйте, если вы вносите изменения и хотите Google, чтобы увидеть их быстрее, чем отправлять, или если у вас есть другая конфиденциальная информация, такая как последние новости, затем отправьте, потому что вы хотите сделать все возможное, чтобы убедиться, что вы первый, кто видит Google, в противном случае это вопрос предпочтений.

Я подозреваю: для Google карты сайта необходимы для того, чтобы отслеживать обновления как можно быстрее. Например, допустим, вы добавили новый контент в какое-то глубокое местоположение вашего веб-сайта, которое занимает более 10-20 кликов, чтобы перейти с вашей домашней страницы. Вероятность того, что Google достигнет этой новой страницы за короткий промежуток времени, будет меньше, поэтому вместо этого, пока не будет полностью определен путь к этой странице, будет объявлено о ее существовании . В конце концов, PageRank не рассчитывается сразу, ему требуется время для оценки поведения пользователя и тому подобного - так почему же до этого момента движок не должен сканировать и индексировать страницу со свежим контентом?

Файлы Sitemap невероятно ценны, если вы используете их правильно.

Во-первых, тот факт, что Google говорит, что они являются подсказками, предназначен только для того, чтобы: а) убедиться, что у веб-мастеров нет ложного впечатления, что sitemap = indexation и b) дать Google возможность игнорировать определенные карты сайта, если они считают их ненадежными ( aka lastmod - это текущая дата для всех URL-адресов, каждый день к которым они обращаются.)

Однако Google обычно любит и использует карты сайта (фактически они иногда находят свои собственные и добавляют их в Инструменты Google для веб-мастеров). Почему? Это увеличивает эффективность, с которой они могут ползти.

Вместо того, чтобы начинать с начального сайта и сканировать Интернет, они могут распределить соответствующую сумму своего бюджета обхода для сайта на основе переданных файлов Sitemap. Они также могут создать большую историю вашего сайта со связанными данными об ошибках (500, 404 и т. Д.)

Из Google:

«Робот Googlebot сканирует сеть, переходя по ссылкам с одной страницы на другую, поэтому, если ваш сайт недостаточно хорошо связан, нам может быть трудно его обнаружить».

Чего они не говорят, так это того, что сканирование в Интернете отнимает много времени, и они предпочитают иметь шпаргалку (она же карта сайта).

Конечно, с точки зрения сканирования ваш сайт может быть в порядке, но если вы хотите представить новый контент, добавление этого контента в карту сайта с высоким приоритетом - это более быстрый способ сканирования и индексации.

И это тоже работает для Google, так как они хотят быстро находить, сканировать и индексировать новый контент. Теперь, даже если вы не думаете, что Google предпочитает проторенный путь, а не мачете на подходе к джунглям, есть еще одна причина, по которой карты сайта полезны - отслеживание.

В частности, используя индекс карты сайта (http://sitemaps.org/protocol.php#index), вы можете разбить ваш сайт на разделы - карта сайта по карте сайта. Таким образом, вы можете посмотреть на скорость индексации вашего сайта раздел за разделом.

Один раздел или тип содержимого может иметь степень индексации 87%, а другой - 46%. Тогда ваша задача выяснить, почему.

Чтобы в полной мере использовать файлы Sitemap, вы хотите отслеживать сканирование Googlebot (и Bingbot) на своем сайте (с помощью блогов), сопоставлять их с вашими картами сайтов и затем отслеживать все это до трафика.

Не ложитесь спать на картах сайта - вкладывайте в них деньги.

По словам Google: «В большинстве случаев веб-мастера получат выгоду от отправки файла Sitemap, и ни в коем случае вы не будете оштрафованы за это».

Но я согласен с тем, что лучшее, что вы можете сделать, если хотите, чтобы страницы вашего сайта появлялись в поисковых системах, - это убедиться, что они просматриваются с самого сайта.

Я считаю, что поисковые системы используют карту сайта не столько для поиска страниц, сколько для того, чтобы оптимизировать частоту их проверки на наличие обновлений. Они смотрят на <changefreq>и <lastmod>. Google, вероятно, очень часто заражает весь сайт (проверьте ваши логи!), Но не у всех поисковых систем есть ресурсы для этого (кто-нибудь пробовал Blekko ?). В любом случае, поскольку за их использование нет штрафов, и они могут быть созданы автоматически и легко, я продолжу это делать.

если вам небезразлична эта тема, прочитайте эту замечательную статью Google http://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html (апрель 2009 г.) - прочитайте статью полностью, а не только статью блога ,

из бумаги

• хорошо, в основном Google боролся с тем же вопросом.
• они не раскрывают, как они определяют ценность в карте сайта, но упоминают концепцию виртуальной ссылки с начальной страницы на карту сайта.
• много других интересных вещей

но да, карта сайта в основном используется для обнаружения (процесс поиска ваших вещей в Google), а не для определения ценности. если вы боретесь с открытием, используйте карту сайта. обнаружение является предварительным условием сканирования, но не затрагивает определение значения.

из моего опыта

• Есть несколько сайтов, которые просто используют файлы сайтов HTML и XML для связи своих страниц.
• и из них карта сайта XML гораздо лучше сканируется, чем карта сайта HTML. (Я очень хорошо посмотрел на некоторые действительно большие)
• Есть даже очень успешные сайты, которые просто используют XML-карту сайта.

когда я реализую стратегию SEO для сайта с более чем полмиллиона страниц, я иду на

• landingpages
• sitemap.xml
• Начальная страница

все остальное просто «баласт» - да, другие вещи могут иметь положительную ценность для SEO, но определенно имеют отрицательную ценность: это затрудняет управление сайтом. (PS: для определения значения я связываю целевые страницы осмысленным способом (большое влияние), но это уже второй шаг).

о вашем вопросе: пожалуйста, не путайте обнаружение, сканирование, индексацию и рейтинг. Вы можете отслеживать их все по отдельности, и вы можете оптимизировать их все по отдельности. и вы можете значительно расширить возможности поиска и сканирования с помощью великолепной (т. е. в режиме реального времени) карты сайта.

Файлы Sitemap могут спасти вашу задницу.

На одном из моих сайтов у меня есть большое количество ссылок, которые я запрещаю поисковым системам. Короче говоря, Google неправильно интерпретировал JS на моем форуме и запустил множество кодов ответов 500 и 403, которые, по моему мнению, влияли на позицию сайта. Я обошел это, исключив проблемные URL через robots.txt.

Однажды я запутался и сделал что-то, что помешало Google сканировать некоторые страницы на этом сайте, которые я действительно хотел проиндексировать. Из-за исключений из форума в разделе «Инструменты для веб-мастеров» для «Restricted by robots.txt» содержалось более 4000 страниц, поэтому я не стал бы поднимать эту ошибку, пока не стало слишком поздно.

К счастью, поскольку все «важные» страницы моего сайта находятся в файлах Sitemap, я смог быстро обнаружить эту проблему в специальной категории ошибок, которая есть в Инструментах для веб-мастеров для проблем со страницами в файлах Sitemap.

Кроме того, я также получаю большую выгоду от использования индекса Sitemap для определения качества индексации различных разделов моих сайтов, как упомянул @AJ Kohn.

Я сам не сталкивался с этим, но большинство моих проектов - это приложения или сайты, которым в противном случае требуются учетные записи пользователей, поэтому индексация поисковыми системами не является целью.

Тем не менее, я слышал раньше, что SEO в основном делает карты сайта бесполезными. Если вы посмотрите на протокол, это своего рода «система чести», позволяющая определить частоту изменения страницы и относительный приоритет каждой страницы. Само собой разумеется, что десятки SEO-фирм злоупотребляют этими полями - каждая страница является главным приоритетом! каждая страница меняется каждый час! - и сделали карты сайта практически бесполезными.

Эта статья 2008 года в основном говорит об этом и, похоже, приходит к тому же выводу, что и вы: карта сайта довольно бесполезна, и вам лучше оптимизировать контент, который будет проиндексирован, и отказаться от карты сайта.

Пусть ползет.

Я делаю следующее:

1. сделать сайт сканируемым по старинке.
2. убедитесь, что у меня есть файл robots.txt с указанием карты сайта.
3. сделать карту сайта XML, но не отправлять. Пусть сканер обнаружит и использует его по мере необходимости, как часть процесса обнаружения и индексации.

Я создаю расширенный XML-файл, который служит основой для многих вещей:

• Генерация HTML-карты сайта
• Помощь страница 404 (не найдена)
• Помогите с другими крошечными задачами, такими как приготовление панировочных сухарей или получение метаданных в шаблоне Facade для страницы.

Следовательно, у меня есть все это, почему бы не обслуживать также XML-карту сайта и позволить сканеру делать то, что он хотел бы делать, если он хотел бы это сделать?

Джефф, я понятия не имею о Stackoverflow, потому что у меня никогда не было возможности стать веб-мастером такого огромного и часто обновляемого сайта.

Для небольших веб-сайтов, которые не часто меняются, я думаю, что карта сайта весьма полезна (не говоря о том, что карта сайта является самой важной вещью, но довольно полезной, да) по двум причинам:

1. Сайт сканируется быстро (по той же причине, что объясняется ответом Джошака выше ), и в своем небольшом опыте я много раз замечал это на небольших сайтах (до 30/50 страниц)

2. Через несколько недель после отправки карты сайта я смотрю «Инструменты Google для веб-мастеров - Карты сайта» и вижу количество URL-адресов, представленных в карте сайта, и количество URL-адресов в веб-индексе . Если я вижу, что они одинаковы, то хорошо. В противном случае я могу сразу же проверить на своих сайтах, какие страницы не индексируются и почему.

Об этом (вначале?) Написал Рэндфиш из SEOmoz в добром старом 2007 году. В первый раз он пришел к тем же выводам, но потом пришло время ... и прошло.

С тех пор (январь 2009 г.) он добавил в статью постскриптум, в котором говорится, что любые возможные недостатки просто перевешиваются общими положительными результатами генерации, проверки и отправки файлов Sitemap.

Обновление 5 января 2009 г. - я действительно значительно изменил свое мнение об этом совете. Да, файлы Sitemap все еще могут скрывать архитектурные проблемы, но, учитывая опыт, накопленный за последние 1,5 года, я рекомендую всем нашим клиентам (и почти всем, кто спрашивает) отправлять файлы Sitemap. Положительные стороны с точки зрения сканирования, индексации и трафика просто перевешивают недостатки.

Я считаю, что в наши дни SiteMaps служат только двум целям:

• Они позволяют снизить частоту паутинга, чтобы снизить нагрузку на сервер. Это не должно быть проблемой для большинства сайтов.
• Они могут помочь усилить то, что поисковая система уже знает о вас. Перечисление имен страниц и, очевидно, добавление соответствующего веса на каждую страницу, помогает поисковой системе проверять свои собственные метрики для ранжирования архитектуры вашего сайта.

НЕ ИСПОЛЬЗУЙТЕ САЙТЫ

Файлы Sitemap в основном предназначены для сайтов, которые не используют временные метки для индексов и узлов .... SE делает и то, и другое для своего основного контента, поэтому наличие карты сайта замедлит сканер ... Да, верно, это замедлит его, потому что карта сайта не хватает метаданных, которые имеют основные индексы. С другой стороны, я понятия не имею, как Google строит своих ботов, просто знаю, что если я собираюсь заняться ботом SE, я бы НЕ использовал карту сайта. Кроме того, некоторые сайты даже не замечают, что их карты сайта все%! @ $ - и если вы создали профиль на карте сайта, который внезапно не работает, и вам нужно создать новый профиль вне реальный сайт.

Итак, вы правы - НЕ ИСПОЛЬЗУЙТЕ САЙТЫ!

СОВЕТ: Одна вещь, которую вы должны сделать, это сохранить семантику тегов с течением времени как можно дольше, то есть, если в метке «Спросил один час назад» есть метаданные, вставленные в него, например:

title="2010-11-02 00:07:15Z" class="relativetime"

никогда не меняйте имя строки relativetime, если titleне изменился смысл данных в . НИКОГДА... :-)

Я недавно реструктурировал сайт, над которым я все еще работаю. Поскольку у меня не было хорошего способа связать 500 000 страниц, чтобы помочь пользователям, я решил использовать карту сайта XML и отправить ее в Google, а вместо этого использовать поиск по сайту. У Google не было проблем с индексацией моего сайта ранее, однако, так как, добавляя карту сайта, Google очень агрессивно размещает мой сайт и очень быстро индексирует страницы. Google использовал карту сайта для поиска новых страниц (около 3300 в неделю) и повторного посещения обновленных страниц. Это была настоящая победа в моей книге. Я все еще хочу найти новый способ связать свои страницы и использовать AJAX для поиска, но это проект для другого дня. Все идет нормально! Это было хорошее решение для меня. Все и вся я приобрел, а не потерял. Что интересно, так как я всегда чувствовал, что карты сайта могут быть более полезными, но ограничены его дизайном.

Я слышал, что файлы Sitemap быстрее помещают ваши страницы в дополнительный индекс. Но я даже не слышал дополнительный индекс, упомянутый в веках, поэтому они могут больше его не использовать.

PS В случае, если мое утверждение недостаточно ясно, присутствие в дополнительном индексе является (или было) ПЛОХОЙ вещью ... поэтому карта сайта (или была) ПЛОХА.

Мы используем карты сайта (не представленные в поисковых системах, но связанные с ними robots.txt) в основном для того, чтобы убедиться, что домашняя страница имеет самый высокий рейтинг <priority>. Я не уверен, есть ли у них много другого использования.

Я не согласен с тем, что Google не будет индексировать ссылки только для сайтов. У меня есть множество сайтов, страницы которых доступны только через файлы Sitemap, и Google индексирует их без проблем. Я могу привести много примеров этого.

Хорошо построенный сайт не нуждается в карте сайта, хотя он может помочь с нашим охватом и ранжированием и добавляет немного дополнительной ценности, такой как приоритет, частота обновления и т. Д. Вы можете сказать поисковой системе: эй ... Я обновил эту страницу где-то в середине моего сайта, не требуя полного сканирования. Я никогда не смотрел на шаблоны сканирования, но можно надеяться, что это помогло.

Сказав, что настоящий плюс для меня - это инструменты для веб-мастеров и понимание, которое дает вам видимость вашего сайта и ваших пользователей.