Bing и отсутствие поддержки SNI

Я вложил несколько часов вчера расследование , почему мой сайт занимает высокое место в Google , но не индексируются вообще в Bing. Метод проб и ошибок с использованием инструмента «Получить как Bingbot» привел меня к выводу, что Bing не поддерживает SNI (индикация имени сервера).

Некоторые статьи и блоги поддерживают мой вывод, что Bing не поддерживает SNI, в то время как другие ответы на этом форуме предполагают, что это так. Есть официальное слово от Microsoft? Если так, я не могу найти это. Я немного растерялся.

Исходя из несколько шокирующей (и, мы надеемся, неверной) предпосылки, что BingBot на самом деле не поддерживает SNI, кажется, у меня есть три возможных альтернативы:

• (1) Обновите мой в настоящее время сайт только для HTTPS, чтобы общедоступный контент был доступен через HTTP. Тогда Bing сможет его проиндексировать.

• (2) Отменить требование SNI. Мой CDN, Amazon Cloudfront, позволяет это. Этот подход требует, чтобы каждый сервер в пограничной сети Amazon CDN, возможно, десятки (сотни?) Из них, имели свой собственный уникальный IP-адрес, который был бы предназначен исключительно для обслуживания запросов HTTPS с моим сертификатом. Это крайне неэффективно, и, кроме того, этот подход требует специального разрешения от Amazon и довольно дорог, поскольку запасные адреса IPv4 сейчас стоят дороже.

• (3) Игнорировать Бинг.

Вариант № 1 - серьезная проблема, а № 2 очень дорогой. Идея пройти через все эти хлопоты, чтобы поддержать менее способный, второсортный поисковик, такой как Bing, для меня анафема, но в то же время, если есть какое-то простое решение, которое я пропускаю, я был бы более чем счастлив применить это.

Любые идеи?

Я уже несколько недель пишу в службу поддержки Bing, и с сегодняшнего дня они начали предлагать ограниченную поддержку SNI.

Я дал им понять, что проблема была на 100% уверена в их отсутствии поддержки SNI, переместив один из моих веб-сайтов на выделенный IPv4 и отключив SNI для этого адреса. После этого Bing успешно проверил карту сайта. Все другие веб-сайты / карты сайтов HTTPS, которые находятся на том же сервере, но на общем IPv4-адресе, не были проиндексированы. Похоже, они наконец начали внедрять SNI!

Мы высоко ценим ваше терпение при рассмотрении этого вопроса вместе с нашей группой продуктов. Меня зовут Дженни, и я сообщу вам статус этого запроса на обслуживание.

Мы хотели бы сообщить вам, что на сегодняшний день Bing поддерживает только ограниченное количество сайтов SNI через белый список. Мы понимаем, что все больше и больше сайтов переходят на SNI, поэтому мы планируем расширить нашу поддержку для всех хостов SNI в течение следующих 6 месяцев.

В качестве краткосрочного смягчения мы можем внести в белый список около 10-20 хостов SNI для вас, если это необходимо.

Поэтому, если вы хотите, чтобы ваш сайт SNI был добавлен в белый список, я бы рекомендовал отправить в службу поддержки Bing электронное письмо, чтобы ваши сайты SNI были успешно проиндексированы.

Я использую один сертификат для нескольких доменных имен, используя функцию «имя субъекта сертификата». Bing понимает этот тип сертификата. Я только что проверил это, используя "fetch as bingbot".

Это было бы еще одним возможным решением для вас. Вам нужно создать один сертификат со всеми вашими доменными именами в нем. Поскольку это один сертификат, он размещается с одним IP-адресом.

Недостатки:

1. Все ваши домены связаны сертификатом.
2. Если вы хотите добавить доменное имя, вам нужно сгенерировать новый сертификат и установить его.

Я использую https://startssl.com/ в качестве моего центра сертификации для этого.