Знание вашего онлайн-конкурса, как выявить управляющие домены 301

Я искренне верю, что любой веб-мастер, входящий в какую-либо нишу, должен заранее изучить свои онлайн-соревнования, чтобы узнать, с чем они столкнулись, и убедиться, что их цели реалистичны и доступны по времени и деньгам.

Как вы, возможно, знаете, есть несколько способов исследовать вашу конкуренцию онлайн. Рейтинги, местные рейтинги, цитаты, социальные упоминания и, конечно, обратные ссылки. Этот вопрос не связан ни с одним из вышеперечисленных, но в некоторой степени связан с тем, что он имеет ту же конечную цель, которую вы увидите на мгновение.

Надеюсь, мой вопрос и ответы на него могут помочь другим веб-мастерам, столкнувшимся с той же проблемой. Я проиллюстрирую проблему как сценарий, который, надеюсь, даст вам представление о том, во что я верю и что я спрашиваю.

Сценарий

Ваш веб-сайт занимал первое место в течение почти 2 лет в довольно конкурентной нише. Затем, из ниоткуда, вы падаете в рейтинге, и сайт, который никогда не был на странице 10, не говоря уже о позиции 10, внезапно оказался на вершине.

Непосредственной реакцией может быть нечестная игра, и вы исследуете их содержание и обратные ссылки, только чтобы обнаружить, что их содержание чрезвычайно тонкое и у них нулевых обратных ссылок. Таким образом, существует вероятность того, что обратные ссылки не проиндексированы для этого сайта с помощью какого-либо инструмента, который вы используете для их проверки. Или Google по какой-либо причине допустил ошибку, которая разрешится сама собой.

4 месяца и тот же тонкий сайт с 0 обратными ссылками (только от ожидаемых ботов / скребков - веб-статистики и т. Д.) По-прежнему топ в рейтинге.

Таким образом, похоже, что этот сайт здесь, чтобы остаться, и вы начинаете думать о других причинах, почему ваш сайт превосходит по рейтингу.

Одной из возможных причин может быть то, что ваши собственные рейтинги снизились вместе со многими другими сайтами, но падение всех этих сайтов в рейтинге нереально, поэтому единственный путь вперед - это поверить, что они заработали свои рейтинги либо благодаря репутации в Google, либо в нечестной игре. , Отсюда можно сделать вывод - или, по крайней мере, мой - что данный сайт недавно перешел с одного домена на другой. Они могут просто перенаправить 301 с одного домена на другой, или они могли сообщить Google в Инструментах Google для веб-мастеров, что они переместили сайт. Сценарий окончен.

Вопрос

Мой вопрос довольно прост, и я прошу прощения за длинные абзацы текста, но я хочу получить хорошее представление о том, чего здесь добиваться. Хватит печатать, вот в чем вопрос!

Можно ли выяснить, переместился ли один домен из одного домена в другой, используя 301 переадресацию или перемещение в Инструментах Google для веб-мастеров?

Знание перенаправленного URL-адреса 301 возможно в нескольких случаях, но не всегда.

Несколько онлайн-инструментов, таких как Ahrefs или MajesticSEO, могут отображать такую ​​информацию для вас. Вам просто нужно посмотреть на обратные ссылки, классифицированные под статусом «Перенаправление».

Пример для Ahrefs:

Тем не менее, вы должны знать, что хороший профессионал в SEO не хочет, чтобы люди находили перенаправление 301, потому что в большинстве случаев перенаправленный URL получал в прошлом очень хорошие обратные ссылки из хороших мест SEO (например, с сайтами с высоким PageRank).
Вот почему в целом, чтобы скрыть эти хорошие места для SEO (и, следовательно,, возможно, хорошие возможности для всех, чтобы получить очень хорошие обратные ссылки), вы не можете найти перенаправленный URL с помощью онлайн-инструментов. Действительно, профессионал заблокировал для перенаправленного URL всех роботов (особенно от Ahrefs, MajesticSEO ...) кроме Google.
Как следствие, 301 редирект является мощным для SEO и скрыт для людей.

PS: маскировка также может быть применена профессионалом, чтобы скрыть обратные ссылки на перенаправленный URL для посетителей. Поэтому эти хорошие места для SEO еще лучше спрятаны.

Есть несколько сайтов, которые расскажут вам всевозможную информацию о таких сайтах, как:

• Количество страниц на сайте
• Оценка трафика для сайта
• Другие сайты, размещенные на том же IP-адресе (почти то, что вы хотите)
• Другие сайты, зарегистрированные на одного и того же владельца (опять же, почти то, что вы хотите)

Я не смог найти тот, который говорит вам, какие другие доменные имена перенаправляют на сайт. Вероятно, для одного из этих сайтов было бы не слишком сложно добавить такой тип функциональности.

Если бы я попытался создать инструмент для ответа на этот вопрос, вот что я бы сделал:

• Загрузите весь список доменных имен, в которых есть записи DNS. Это сам по себе проект. Вы должны обратиться к каждому реестру за доступом или заплатить брокеру, который выполнил эту работу. На этот вопрос по stackoverflow есть ответы для обоих подходов
• Загрузите страницу с каждого из 150 миллионов доменных имен, чтобы увидеть, перенаправляет ли она на какой-либо другой сайт. Я полагаю, что вы должны иметь возможность делать около 50 в секунду, и сканирование займет чуть более месяца. Эта задача неосуществима, поэтому ее можно ускорить, если на ней работают несколько машин. Пропускная способность и затраты на хостинг для этого сканера могут оказаться значительными, пропускная способность для 50 сайтов в секунду, вероятно, составит около 20 Мбит / с, при средней загрузке до 50 КБ перед сайтом.

Я подозреваю, что это более эффективно, используя междоменный канонический тег. Использование канонического тега позволит сохранить неиндексированный сайт активным, чтобы вы могли продолжать создавать ссылки, которые переходят на денежный сайт (сложно отправить запрос на ссылку для страницы, которая уже была 301-й).

Я не знаю каких-либо автоматизированных / готовых к использованию способов обнаружения 301-х. И я не верю, что есть какие-то способы быть уверенными, что вы нашли их всех. Вот несколько вариантов, которые могут помочь вам найти:

DNS Lookup, чтобы увидеть, если вы можете найти другие домены от того же владельца. Это даст вам хорошую отправную точку, если вы найдете один. Есть несколько сайтов, которые используются для поиска сетей сайтов ( spyonweb.comя полагаю, один), которые используют AdSense ID, ID партнера, информацию DNS и т. Д. В этом случае я не думаю, что владелец оставит какие-либо из этих следов, но вы никогда не знать.

Сканер с открытым исходным кодом должен быть настроен так, чтобы он следовал только по ссылкам 301 и возвращал результаты для желаемого доменного имени.

Ищите продавцов ссылок в своей нише. Вероятно, это делается для того, чтобы создать буфер между денежным сайтом и возможными плохими ссылками (гораздо проще отключить один перенаправленный сайт, чем получить несколько сотен веб-мастеров для удаления ссылок на ваш сайт, если вас оштрафуют ). Это может означать, что они участвуют в покупке ссылок, использование чего-то вроде Xenu на сайте продавцов может привести к появлению любых 301-х.

inanchor:поиск в гугле. Если существует идентифицирующая марка, которая имеет хорошие оценки, вы можете включить ссылки, которые используют марку в тексте привязки, но переходят в другой домен (который, мы надеемся, перенаправляет на нужный вам домен).

Если вам случится найти 1 или 2 сайта с использованием этих методов, вы, скорее всего, найдете шаблон, который можно использовать, чтобы найти больше.

Однако все это было бы спорным, если бы они использовали канонический тег вместо 301. Я уверен, что есть некоторые дополнительные творческие поиски, которые вы могли бы сделать, но они должны дать вам хорошее начало.

-Удачи