Ответы:
В корне каталога сайта поддоменов добавьте файл с именем robots.txt, содержащий:
User-agent: *
Disallow: /
Это скажет веб-сканерам вообще не индексировать сайт. Они не должны подчиняться, но основные из них будут.
noindexв указатель и другие страницы
Использование файла robots.txt в вашем поддомене поможет (и Google выполнит это), но еще один шаг, который вы можете сделать, - указать в учетной записи Google Webmasters, что вы не хотите, чтобы этот поддомен был проиндексирован. Вы также можете использовать метатег на всех страницах в поддомене:
<meta name="robots" content="noindex">
Если это сайт, который вы используете только для внутреннего тестирования, ограничение видимости указанным набором IP-адресов в файле виртуальных хостов еще больше скроет сайт.
metaтег noindex в каждую страницу, вы можете вместо этого вернуть X-Robots-TagHTTP-заголовок ответа с вашего сервера для указанного субдомена - это нужно сделать только один раз.
Решения от Кензо и Пола хороши, вы можете разместить мета-теги noindex на своих веб-страницах и добавить robots.txt, чтобы запретить роботов.
Но, на мой взгляд, лучшее решение - использовать аутентификацию по паролю в вашем поддомене. Это единственное решение, которое вы уверены, что роботы могут получить доступ и проиндексировать ваш веб-сайт. Если вы используете Apache, вы можете реализовать htpasswd .
... в настоящее время отображается в результатах SEO?
Другие ответы больше касаются проактивного предотвращения индексации (суб) домена (что в первую очередь задает вопрос), а не активного удаления ваших страниц из результатов поиска, что может быть больше, чем вы ищете, судя по Ваш другой вопрос .
Вам все еще нужно заблокировать свой сайт в файле robots.txt и использовать тег noindex meta (или X-Robots-Tagзаголовок ответа HTTP), как указано в других ответах, но вам также нужно заблокировать доступ к своим страницам, возвращая код состояния 404 или 410.
Подробнее об этом можно прочитать на странице справки Инструментов Google для веб-мастеров:
Требования к удалению контента
Как только вы все это сделаете, вы можете использовать инструмент « Удалить URL» в Инструментах Google для веб-мастеров. Однако это относится только к отдельным URL-адресам, а не ко всему сайту, но это только начало. (Google заявляет, что использование robots.txt, noindex и обслуживание 404 являются требованиями для использования инструмента удаления GWT.)
Однако, если вы по-прежнему хотите, чтобы обычные пользователи могли получить доступ к сайту, введя URL-адрес, это проблема, поскольку ваш контент больше недоступен. Вы можете ввести его в пароль, как предлагает Zistoloen, однако по умолчанию это вернет 403 (Forbidden), который вам нужно будет переопределить, чтобы вернуть 404/410. Вы могли бы скрыть свой контент, вернув 410 роботу Google и позволить всем остальным войти, но как насчет людей, нажимающих на результаты в поисковой выдаче?
Но если вы хотите, чтобы Google удалил ваш контент в кратчайшие сроки, вам нужно удалить его из Интернета «Google».