Во-первых, я приношу большие извинения всем профессиональным веб-мастерам, но для этого OP у меня есть одно золотое предложение:
Нарушать правила поиска
И я имею в виду сделать это до такой степени, что важный контент находится в сложном javascript, и роботы контента могут сканировать не в надлежащем HTML. Это включает в себя тег плохого описания, тег плохого заголовка и т. Д. Черт возьми, может превратить весь контент в просто видео, сделанное во флэш-памяти, или показать весь контент как одно изображение. Это действительно заставило бы гусеничный поисковик съежиться.
Я покажу на примере в коде:
Вот способ получить что-то проиндексированное:
<!DOCTYPE html>
<html>
<head>
<title>Web page</title>
<meta name="description" content="This is a wonderful web page">
</head>
<body>
<h1>A wonderful web page</h1>
<h2>By John Smith</h2>
<p>This is a wonderful page. ya de ya de ya de ya de ya de ya de</p>
<p>This is wonderful. ya de ya de ya de ya de ya de ya de</p>
</body>
</html>
Хорошо, я признаю, текст не идеален, но вы понимаете, что я имею в виду.
Теперь, если вы хотите скрыть это от сканеров и сделать это простым способом, вы можете попробовать это:
<!DOCTYPE html>
<html>
<head>
<title>Private</title>
</head>
<body>
<img src="mywebsite.jpg" width=1024 height=768>
</body>
</html>
затем создайте изображение с именем mywebsite.jpg и включите в него весь текст, а не в HTML, показанный выше. Затем вам нужно защитить mywebsite.jpg, сделав его версию с водяным знаком для пользователей, которые не имеют права видеть реальную вещь. Просто сравните строки агента пользователя или IP-адреса с теми, которые вы разрешаете / запрещаете для изображения. Этот тип вещей может быть сделан в .htaccess с некоторыми правилами переписывания.
Например, чтобы заставить googlebot видеть изображение с водяным знаком вместо реальной, используйте эти правила:
RewriteCond %{HTTP_USER_AGENT} ^googlebot$ [NC]
RewriteRule ^mywebsite.jpg$ specialrobotimage.jpg [L]
Здесь я предполагаю, что mywebsite.jpg - это ваш реальный веб-сайт в виде изображения, а specialrobotimage.jpg - это водяной знак или изображение в виде сообщения о том, что только реальным пользователям разрешено просматривать информацию. Также правила предполагают, что все находится в одной папке.