Вопросы с тегом «web-crawlers»

Я перенес сайт на новый домен. Сам сайт довольно прост (использует Jekyll), и все прошло хорошо, кроме миграции потоков Disqus. У меня был частичный успех - некоторые потоки успешно перенесены, но не все. Я пробовал мастер миграции домена (который поймал несколько), преобразователь URL-адресов (который поймал несколько) и сканер перенаправления 301 …

9 web-crawlers 

Я использовал в Ask.comкачестве одной из поисковых систем для проверки связи с моей картой сайта. Когда я сегодня отправил эхо-запрос на мою карту сайта для повторной индексации карты сайта, веб-сайт ( http://submissions.ask.com/ping ) сказал, что его больше не существует? Я выполнил поиск DNS, submissions.ask.comи, похоже, Ask.comон удалил поддомен, но в …

9 search-engines  sitemap  web-crawlers  ping 

У меня есть сайт, который по нормативным причинам не может быть проиндексирован или произведен автоматический поиск. Это означает, что мы должны держать всех роботов подальше и не дать им спайдеринг сайта. Очевидно, у нас был файл robots.txt, который запрещает все с самого начала. Однако наблюдение за файлом robots.txt - это …

9 apache  web-crawlers  user-agent 

Я видел несколько 404 ошибок при запросе ads.txt на некоторых сайтах, которыми я управляю. Я думаю, что ответ может быть идентичен вопросу о пустом файле robots.txt или об отсутствии файла вообще (просто предотвратите некоторые ошибки 404). Однако у меня есть трудности с пониманием основополагающих концепций ads.txt. Официальная страница справки в …

9 web-crawlers  advertising 

Я хотел бы отказать в archive.isдоступе к моему веб-сайту. (Я не хочу, чтобы этот сайт кэшировал мой без моего согласия). Вы знаете, возможно ли это?

8 web-crawlers  noarchive 

Моя жена работает в средней школе в Германии. Недавно я заметил, что с помощью Google очень трудно найти домашнюю страницу этой школы . Я посмотрел на исходный код страницы и считаю, что нашел причину: есть два <meta name="robots">тега; один <meta name="robots" content="all"> и второй, далее вниз по странице, это <meta …

8 seo  web-crawlers  meta-robots 

Если я создаю статическую страницу в домене (http://www.domain.com/page.html), может ли сканер по-прежнему видеть ее, если на сайте нет ссылок на нее?

8 web-crawlers