Как Google находит домен без ссылок на него?

Я недавно зарегистрировал новый домен, указал его на свой существующий сервер и настроил минимальную страницу с надписью «тест» и больше ничего.

Сегодня вечером я обнаружил, что страница уже проиндексирована в Google! На сайте нет ссылок (я даже никому не говорил о домене, так как пока ничего с ним не сделал).

Google тралит записи WHOIS или что-то?

search-engine-indexing domain-registration web-crawlers

— DisgruntledGoat
источник

Вы уверены, что не сделали что-то, что могло бы каким-то образом автоматически раскрыть URL-адрес, например упомянуть об этом в электронном письме в список (который может быть переиздан), перейти прямо оттуда на другой сайт, который может иметь публичные журналы или виджет реферера и т. д.?

— Су '21

@ Не знаю, насколько мне известно. Я едва посетил сайт после того, как выкинул тестовую страницу.

— Рассерженная Стрелка

@ TRiG Я уже упоминал, что тот же вопрос существует, но нет идеального ответа, поэтому я спросил.

— Шешадри

Вы ничего не сделали, чтобы сделать этот вопрос другим, хотя. Это точно такой же вопрос.

— TRIG

@TRiG Да, вопрос такой же, но в этом вопросе нет идеального ответа.

— Шешадри

Ответы:

Они регистратор . Я не понимаю, почему они не могли использовать его для поиска новых сайтов для индексации.

— Джон Конде
источник

Ха, мне нравится абзац в этой статье, в котором ходят слухи, что они делают веб-браузер и операционную систему! В любом случае, ваш ответ кажется логичным - чтобы быть регистратором, вы должны иметь полный доступ ко всем зарегистрированным доменам.

— Рассерженная шлюха

Есть как минимум 3 способа:

Ссылки на ваш сайт.
Использование Google Webmaster Tools (теперь называется Search Console)
Регистратор дампов, триггеров и других опций.

Google быстро найдет много новых сайтов от некоторых регистраторов. Например, Google нашел одно доменное имя, которое я зарегистрировал с помощью GoDaddy, проиндексировал его и начал отправлять результаты поиска в течение 20 минут после регистрации доменного имени. Но это не произойдет для всех регистраторов.

Могут быть и другие способы, но это наиболее распространенные.

Если вы хотите, чтобы Google быстро узнал о вашем сайте, лучше всего отправить его с помощью Инструментов Google для веб-мастеров (теперь он называется Консоль поиска).

@zigojacko поднял замечательный момент (!) в комментариях, которые действительно должны жить в ответе. Если у вас есть учетная запись Google+, вы можете просто перейти по ссылке на свой веб-сайт, и Google немедленно выполнит это. Это по крайней мере так же быстро, как создание учетной записи WMT, если не быстрее!

[Подсказка]

Файлы Sitemaps и robots.txt не имеют ничего общего с обнаружением домена. На самом деле, карты сайта бесполезны для большинства сайтов, за исключением очень больших сайтов, сайтов, которые нельзя сканировать полностью, так как не все страницы связаны, сайтов с платным доступом или сайтов с логином. Файлы Sitemap не имеют ничего общего с эффективностью поиска, за исключением указанных выше причин. Кроме того, всегда желательно создать файл robots.txt, даже если он пуст.

— closetnoc
источник

@sheshadri в любое время! Мы здесь для вас и здесь есть настоящие эксперты. Это один сайт, на который Google и другие авторитетные сайты обращают внимание и отвечают на него.

— closetnoc

@sheshadri Многие крупные регистраторы делятся новой регистрационной информацией с Google практически в режиме реального времени.

— closetnoc

Чтобы добавить еще одну идею в дополнение к правильному ответу @ closetnoc, нужно сослаться на сайт из Google+. Похоже, что в Google что-то вызывает отправку визита из Googlebot очень быстро, иногда так быстро, как в течение часа, хотя некоторые и дольше.

— zigojacko

Google также сам является регистратором доменов, поэтому я предполагаю, что в качестве регистратора они должны иметь доступ ко всем зарегистрированным доменам.

— Макс

@zigojacko Отличный момент !! Я часто забываю о Google+, поскольку не занимаюсь социальными вопросами.

— closetnoc

-1

Если вы используете панель инструментов Google и активировали информацию о Page Rank, она сообщит Google об URL страницы (чтобы получить номер Page Rank), и это может привести к индексации вашей страницы.

— mawtex
источник

Нет, не используйте это, или что-нибудь подобное.

— Рассерженная шлюха

Один не имеет ничего общего с другим. База данных панели инструментов и база данных поиска полностью и полностью отделены друг от друга. База данных панели инструментов обновляется агрегированными агентами.

— closetnoc

Не говоря уже о том, что Google TBPR уже давно обнулен, так что, вероятно, он больше ничего не делает.

— zigojacko