Как я могу сделать мой Github Wiki доступным для поисковых систем? robots.txt, кажется, запрещает это

При использовании средства проверки ссылок W3C я обнаружил, что мой Github Wiki нельзя сканировать:

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Статус: (N / A) Запрещено robots.txt

Это прискорбно, поскольку я хотел бы, чтобы люди легко находили эту вики в поисковых системах.

ВОПРОС: Как я могу сделать мой Github Wiki доступным для поисковых систем?
Или я ошибаюсь и Github's robots.txt на самом деле в порядке?

GitHub robots.txt явно запрещает сканирование страниц вики, например, в разделе Googlebot:

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

Поскольку это файл роботов для всего сайта, его не обойти.

Это интересный выбор, поскольку GitHub описывает вики как место, где можно «поделиться подробным контентом о вашем проекте». Поскольку по умолчанию общедоступные вики редактируются любым пользователем, возможно, это жесткая защита от спамеров.

GitHub вики доступны для поиска движками, которые поддерживают его. Смотрите первые две строки https://github.com/robots.txt :

# If you would like to crawl GitHub contact us at support@github.com.
# We also provide an extensive API: https://developer.github.com/

Это, вероятно, для анализа различных форматов вики и т. Д.

Например, поищите в Google «протокол брокера openrefine», и первым попаданием станет страница в вики проекта Github.