Вопросы с тегом «googlebot»

Я отслеживаю геолокацию каждого участника (используя db-ip), и все в порядке, кроме мобильных телефонов с браузером Chrome. Они всегда дают мне результат US Mountain View California ip:66.249.xxx.xxx. Это гугл; Я на 100% уверен в этом. Но человек, который посещает сайт, - это я. Я даже не в США; Я использую …

27 googlebot  mobile  ip-address  google-chrome 

Как предотвратить отображение файлов моего XML-файла в результатах поиска Google, например, в результате site:поискового запроса: Я не понимаю, почему Google решил показывать файлы карты сайта в результатах поиска для начала. Эти файлы не предназначены для потребления человеком. Google должен иметь возможность сканировать его, чтобы иметь возможность обрабатывать его, поэтому я …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Много было сделано из частоты ползания паука Baidu. Это правда: «Baiduspider ползает как сумасшедший». Я испытал это явление на сайтах, с которыми я работаю. По крайней мере, в одном случае я обнаружил, что Baiduspider сканирует примерно с той же частотой, что и робот Googlebot, несмотря на то, что Baidu обеспечивает …

18 seo  search-engines  googlebot  web-crawlers 

Неделю назад я добавил файл robots.txt на один из моих сайтов, что должно было предотвратить попытки робота Google получить определенные URL-адреса. Однако в эти выходные я вижу, как робот Google загружает эти точные URL-адреса. Кэширует ли Google файл robots.txt и, если да, то должен?

17 googlebot  robots.txt  google-cache 

Каждый раз, когда я создаю адаптивный веб-сайт, я обычно создаю 2 меню: 1 скрытое и используемое для мобильных устройств, а другое отображается как главное меню, а затем скрывается для отображения мобильного меню. Всякий раз, когда речь заходит о SEO и о том, как пауки перемещаются по веб-сайту, мне не хватает …

16 seo  web-crawlers  googlebot  navigation 

В настоящее время я перенаправляю все не-HTTPS-соединения на HTTPS и поддерживаю TLS v1, TLS v1.1 и TLS v1.2. Я перенастроил свой тестовый сервер так, чтобы он принимал только очень ограниченный и безопасный набор шифров и только TLSv1.2. После запуска теста SSL Labs я заметил, что их диаграмма совместимости показывает, что …

12 seo  search-engines  https  googlebot  bingbot 

Я видел код, подобный тому, как Google не индексирует часть страницы: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Это работает?

12 search-engine-indexing  googlebot 

Вот один из моих клиентов, выполнивший некоторые действия после входа в свою учетную запись. Уникальный токен - это просто зашифрованный идентификатор пользователя + метка времени. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / …

12 google  search-engines  googlebot 

Я заметил, что Google Webmaster Tools сообщает о большом количестве заблокированных ресурсов на моем веб-сайте. Прямо сейчас все "заблокированные ресурсы" - это .css, .js и изображения (.jpg, .png), которые я обслуживаю из Cloudfront CDN. Я потратил много времени на тестирование и пытался выяснить, почему Google не сканирует эти файлы и …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Написав несколько ботов и увидев огромное количество случайных ботов, которые сканируют сайт, я задаюсь вопросом, как веб-мастер, каких ботов действительно стоит пускать на сайт? Сначала я подумал, что размещение ботов на сайте потенциально может принести на него реальный трафик. Есть ли какая-либо причина, по которой боты, о которых неизвестно, посылают …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Контекст: у нас есть веб-сайт, доступный в нескольких языковых версиях. Тем не менее, содержание то же самое. Каждая переведенная версия сайта доступна на отдельном поддомене. На некоторых страницах мы используем, <link rel="canonical" />чтобы указать каноническую версию на том же языке той же страницы, если это необходимо. Это просто базовая нормализация, …

11 seo  google  googlebot  internationalization 

Я наткнулся на эту статью в моих новостях SEO сегодня. Кажется, подразумевается, что вы можете использовать Noindex:директивы в дополнение к стандартным Disallow:директивам в robots.txt . Disallow: /page-one.html Noindex: /page-two.html Похоже, что это помешает поисковым системам сканировать первую страницу и не позволит им проиндексировать вторую страницу. Эта директива robots.txt поддерживается Google …

10 web-crawlers  robots.txt  googlebot  noindex 

Если у меня есть контент за формой POST (в моем случае это поле выбора), сможет ли робот Googlebot или другие поисковые роботы сканировать контент за этой формой? Например, если бы у меня было 4 перевода одной страницы, и выбор языка представлял собой форму POST для того же URL-адреса, которая затем …

10 seo  googlebot  forms  multilingual 

У меня было несколько личных файлов в папке в школьной папке. Вы можете увидеть, что файлы существуют, перейдя по адресу myschool.edu/myusername/myfolder, но попытка получить доступ к самим файлам через myschool.edu/myusername/myfolder/myfile.html возвращает ошибку 403. И все же Google каким-то образом удалось захватить содержимое этих личных файлов и сохранить их в своем …

10 web-crawlers  security  googlebot 

Так что теперь Google отказался от схемы сканирования AJAX . Они говорят, что не стоит внедрять его на новых веб-сайтах, потому что он больше не нужен, поскольку у робота Google теперь нет проблем с просмотром динамического контента. Должны ли мы немедленно доверять этому утверждению или лучше какое-то время придерживаться устаревшего …

9 seo  web-crawlers  googlebot  ajax