Другой веб-сайт является зеркальным отображением и находится над моим сайтом в результатах поиска.

Есть сайт с дурной репутацией, известный как thedirty, который полностью отразил мой сайт, и теперь в Google на этой странице появляются ссылки, использующие мой контент. Я проверил свои лог-файлы и заметил, что этот сайт уже некоторое время сканирует мой, а также имеет 10000 ссылок с их сайта на мой.

Я заблокировал доступ пользователей, на который ссылается этот сайт, и уже сообщил о них как о веб-спаме в Google. Я также дезавуировал домен.

Как они получают лучшие ссылки в Google (даже обгоняя мои) для такой гнусной тактики? Какие шаги для полного устранения такой проблемы, как эта?

ОБНОВЛЕНИЕ 28/28/2014:

Я думал, что предоставлю обновленную информацию по этому вопросу, поскольку у меня есть больше информации сейчас. Таким образом, грязные указали свои субдомены на мой ip, что привело к тому, что их субдомены стали похожи на мой сайт.

В течение нескольких дней это не имело большого значения, потому что, используя htaccess, я перенаправлял все HOSTS не из моего домена обратно в свой домен, что в основном означало, что я получаю ссылки на трафик их поддоменов в Google. Через пару дней thedirty изменили свои субдомены, чтобы указать на свой сайт, чтобы я больше не получал от этого выгоду.

Таким образом, весь смысл в том, что они использовали мой контент, чтобы получить высшие звания в Google, и теперь направляют эти ссылки обратно на свой сайт, чтобы привлечь больше трафика к своим.

Это грязная тактика грязного сайта. Я надеюсь, что Google наказывает такое поведение.

Если они просто отражают ваш сайт, передавая ваш сайт через прокси-скрипт или отрыгивая ваш HTML-вербатум, вы можете добавить канонические URL-адреса на свои страницы. Это позволит Google знать, что ваш контент является исходным источником, и показывать ваш URL в результатах поиска, а не их.

Отправьте запрос DMCA в Google. Они немного медлительны с ними, но в конечном итоге они удаляют эти страницы из своего индекса.

Отказ от ссылок - это разумный шаг.

Я не знаю, полезно ли блокирование пользователей. Возможно, разместив сообщение в верхней части ваших страниц, чтобы они знали, что вы - оригинальный сайт, а другой - мошенничество, может быть лучшим решением.

Вы можете подать жалобу DMCA и, если вы находитесь в США, вы можете подать иск об авторском гражданском праве.

Вот ссылка на короткий ответ, который объясняет, как жалоба DMCA может помочь любому:

Вы должны быть в Соединенных Штатах, чтобы подать жалобу DMCA?

... и еще один объясняет больше ...

Какую часть вашего контента необходимо скопировать, прежде чем вы сможете подать жалобу DMCA?

Если вы находитесь в США, вы можете нанять адвоката, который знаком с вопросами авторского права, и попросить его отправить письмо о прекращении и отказе от участия. Дайте им 10 дней (реальные дни, а не рабочие дни, хотя рабочие дни тоже подойдут) для удаления контента. Вы хотите делать моментальные снимки сайта, на котором совершено оскорбление, а также улики и снимки вашего сайта. Если вы проверяете, была ли удалена страница, проверьте сайт напрямую, а не результаты поиска.

Если страница не была удалена в течение определенного периода времени, вы можете подать федеральное гражданское дело, для защиты которого потребуется не менее 10 000 долларов США, и вряд ли это вам что-то будет стоить. Вы будете на месте водителя. Вполне вероятно, что урегулирование может быть достигнуто по крайней мере 10 000 долларов США и, возможно, больше. Вы можете вернуть свои расходы тоже. Что важно, так это предложить бесплатный вариант решения проблемы, отсюда и письмо о прекращении и воздержании. После этого вы можете подать иск без ответственности перед ответчиком.

Еще одно замечание: вам нужно будет продемонстрировать ущерб, если вы обратитесь в суд. Потеря поискового трафика - это убытки. Здесь вы будете работать со своим адвокатом для сбора показателей, которые иллюстрируют потерю трафика, и вам нужно будет монетизировать значение этого трафика. Конечно, вы можете предполагать более высокие цифры здесь даже с коэффициентом конверсии 100%. На всякий случай, я буду собирать показатели потери трафика с помощью Google Analytics и вашего программного обеспечения для анализа файлов журналов сегодня и в будущем.

Пожалуйста, знайте, что регистрация дела не сложная или очень дорогая, особенно по сравнению с убытками, которые вы испытываете сейчас и в будущем. Нарушения авторского права в последнее время снижаются, но те немногие, кто нарушает авторские права, в наши дни гораздо смелее. Мы должны остановить этих людей, и единственный реальный способ - это включить фактор стоимости в бизнес-стратегию, которая делает нарушение авторских прав неприбыльным.

Вы можете отслеживать их IP-адреса (или IP-адреса) и возвращать для зеркала совершенно другой контент - что угодно. Таким образом, вы получаете бесплатное место для рекламы, и вы можете использовать их высокое положение в Google в своих интересах.

Однажды я использовал это, чтобы просто объяснить пользователям на зеркальном веб-сайте, что это неправильный домен. Вы также можете опубликовать простой заголовок перенаправления HTTP.

Немного поздно для вас, но лучшая идея для защиты вашего сайта (в будущем) будет такой: https://www.youtube.com/watch?v=I3pNLB3Cq24 (defcon 21, защита по номерам), подделав код возврата, чтобы пользователи будет видеть контент, но боты будут

• выбросить содержимое
• ползти по кругу
• прекратить работу

другие возможные идеи - убедитесь, что ваши пользователи не видят ничего из этого:

• пусть они сохраняют ГБ информации (пока на вашем сервере всего несколько КБ)
• заставить ботов заливать свою память фейковыми ссылками
• отправлять фальшивый контент (100% boolsh * t - вам нужно писать такие вещи, как "Обама беременна", "Человек-паук 5 - следующим летом", ... чтобы ваши воры могли принять его ...)
• отправлять поддельные файлы (например, 42.zip, если они не проверяют скопированный контент, их пользователи будут веселиться -> AV-инструменты покажут, что что-то не так -> пользователи будут p * ss * d ...)
• дайте им подождать больше данных (размер файла = 1-10 МБ и отправьте случайное значение cr * p с 1 байт / с или менее)

другие идеи:

• ссылки, защищенные Javascript (старые, больше не нужны? но если они останутся без изменений, пользователи будут отправлены вам (на некоторое время))
• динамический мусор (используйте комментарии или невидимые элементы, чтобы заставить ботов загружать то, что пользователи не видят - хорошие боты не подойдут для этого)
• Блокировка IP-адресов говорит о том, что загружается слишком много / слишком быстро / неправильно (боты не ведут себя как люди 1) каждая ссылка на каждой странице 2) в шаблоне или общем хаосе в выборе следующей ссылки (ссылок))
• используйте Javascript для перенаправления на ваш сервер, если файлы не размещены на вашем сервере (никакой помощи против кражи нет, но воры должны удалить его, или их пользователи не останутся на своей странице - вы можете закодировать его в разные подпрограммы (например, расшифровка контента) ))

Это называется Google Proxy Hack, и это случилось со мной тоже.

Перво-наперво:

• Подать жалобу DMCA на веб-хостинг. Воспользуйтесь этой ссылкой, чтобы создать правильно сформированную жалобу и отправить ее по электронной почте в службу поддержки или злоупотребления. Если хост находится в США, они должны закрыть сайт. Даже если они не базируются в США, они могут в любом случае закрыть сайт. (Это случилось со мной однажды.)
• Используйте инструмент Google DMCA, чтобы запросить удаление зеркальных URL из результатов поиска.
• Используйте Google Scraper Report, чтобы сообщить об ошибке в алгоритме Google.

По сути, это провал со стороны Google. Несмотря на то, что они говорят о том, что рейтинг основан на «качественном оригинальном контенте», это нелепо простой контрпример, который, откровенно говоря, просто смущает.

Надеемся, что если на это пожалуется достаточное количество людей, в конечном итоге Google соберет свои силы и напишет 10 строк кода, необходимых для проверки того, что сайт является точным зеркалом ранее созданного сайта.

Также имейте в виду, что использование канонических URL-адресов не всегда работает в этом случае. Многие из этих прокси-скриптов изменяют канонические URL-адреса, чтобы они указывали на зеркальный сайт, что делает их бесполезными.

Наконец, имейте в виду, что они могли также спамить ваш основной сайт мусорными ссылками, чтобы нанести ущерб вашему рейтингу. (Это случилось и со мной.)

Если вы занимаетесь поиском и креативным мышлением, есть несколько способов дать отпор. Я действительно не думаю, что это хорошая идея опубликовать полный список здесь, потому что это просто облегчает жизнь хакерам.

Как и другие, упомянутое, подача жалобы DMCA и иск гражданского права авторского права могут быть лучшими вариантами.

Для нового контента, который вы публикуете, вы можете рассмотреть возможность уведомления об обновлениях вашего сайта в социальных сетях (Twitter, Facebook и т. Д.), Как только вы публикуете. Отметка времени, записанная там, может быть достоверным индикатором, который вы написали первым, если вам нужно доказать это. С помощью Инструментов Google для веб-мастеров вы можете активировать настройку, чтобы робот Googlebot часто сканировал ваш сайт . Предполагая, что популярные поисковые системы регулярно индексируют ваши веб-страницы (воспользуйтесь оператором сайта site: example.com, чтобы узнать), дата в кэшированной копии может быть использована как приблизительный показатель того, когда контент был опубликован.

Также для нового контента, который вы публикуете, вы можете встраивать водяные знаки в изображения и размещать комментарии в файлах JS, указывая, что вы являетесь первоначальным владельцем этих файлов.