Я имею в виду, как они вообще работают? Как они получают ссылку на сам видеопоток (а не только на страницу, содержащую Flash-плеер)?
Я сделал поиск в Интернете, но не смог найти ничего полезного (все ссылки указывают на такие сервисы, но ни одна из них не рассказывает, как они на самом деле реализованы).
Ответы:
Существует очень популярный загрузчик командной строки с открытым исходным кодом youtube-dl, который делает именно это. Он захватывает фактические ссылки на видео и аудио файлы с данной ссылки на YouTube - или с любого другого популярного веб-видео-сайта, такого как Vimeo, Yahoo! Видео, uStream и т. Д.
Чтобы увидеть, как это делается, загляните в экстрактор YouTube . Это слишком много, чтобы показать здесь. Другие экстракторы существуют для более простых сайтов . Стивен Пенни также имеет простой загрузчик JavaScript для YouTube, который немного проще.
Но в основном, для проигрывателя Flash видео, он должен быть инициализирован и настроен с помощью некоторого JavaScript. Проще говоря, проигрыватель Flash-объекта получит URL-адрес видеопотока для загрузки.
Чтобы найти видеопоток, вам нужно проанализировать код HTML и JS видео страницы, чтобы найти соответствующий код инициализации, а затем оттуда попытаться найти ссылку на фактический файл MP4. Он может быть в текстовом виде, но также может быть сгенерирован на лету с некоторыми специальными токенами загрузки. Часто JavaScript запутывается, чтобы усложнить его реинжиниринг. Или информация о видео может содержаться в файле XML, который асинхронно загружается JS.
Для видео с прогрессивной загрузкой HTML5 фактический исходный файл обычно упоминается непосредственно в sourceдочернем videoэлементе тега, поэтому, если вы будете искать на странице mp4или аналогичную. Например, на немецком новостном шоу Tagesschau 100 вы найдете:
<source src="http://media.tagesschau.de/video/2014/0626/TV-20140626-1649-5801.webl.h264.mp4" type="video/mp4">
Для более продвинутых технологий воспроизведения, таких как MPEG DASH или Apple HTTP Live Streaming (HLS), вам необходимо проанализировать файл метаинформации для получения реального видеопотока. Метафайл ( .mpdнапример, в DASH и .m3u8для HLS) будет содержать ссылки на сегменты видео и аудио, которые вам позже придется объединить, чтобы получить воспроизводимый файл.
Там нет общего решения для этого. Требуется тщательный осмотр и отладка целевого сайта.
Вот как я это сделал с помощью JavaScript
Начните с ytplayer.config.argsобъекта. Это содержит все URL для видео. Это разбито на
url_encoded_fmt_stream_map // traditional: contains video and audio stream
adaptive_fmts // DASH: contains video or audio stream
Каждый из них представляет собой массив разделенных запятыми того, что я бы назвал «потоковыми объектами». Каждый «объект потока» будет содержать такие значения
url // direct HTTP link to a video
itag // code specifying the quality
s // signature, security measure to counter downloading
Каждый URL будет закодирован, поэтому вам нужно будет их декодировать. Теперь сложная часть.
YouTube имеет как минимум 3 уровня безопасности для своих видео
unsecured // as expected, you can download these with just the unencoded URL
s // see below
RTMPE // uses "rtmpe://" protocol, no known method for these
Видео RTMPE, как правило, используются в официальных полнометражных фильмах и защищены с помощью SWF Verification Type 2. Это было примерно с 2011 года и до сих пор не переработано.
Видео типа "s" являются самыми сложными, которые могут быть фактически загружены. Вы можете увидеть их на видео VEVO и т.п. Они начинаются с подписи, такой как
AA5D05FA7771AD4868BA4C977C3DEAAC620DE020E.0F421820F42978A1F8EAFCDAC4EF507DB5
Затем подпись шифруется с помощью такой функции
function mo(a) {
a = a.split("");
a = lo.rw(a, 1);
a = lo.rw(a, 32);
a = lo.IC(a, 1);
a = lo.wS(a, 77);
a = lo.IC(a, 3);
a = lo.wS(a, 77);
a = lo.IC(a, 3);
a = lo.wS(a, 44);
return a.join("")
}
Эта функция динамическая, она обычно меняется каждый день. Чтобы сделать его более сложным, функция размещена на URL, например
http://s.ytimg.com/yts/jsbin/html5player-en_US-vflycBCEX.js
это вводит проблему политики того
же происхождения . По сути, вы не можете скачать этот файл, www.youtube.comпотому что это разные домены. Обходной путь этой проблемы -
CORS . С CORS,
s.ytimg.comможно добавить этот заголовок
Access-Control-Allow-Origin: http://www.youtube.com
и это позволит JavaScript для загрузки с www.youtube.com. Конечно, они этого не делают. Обходной путь для этого обходного пути должен использовать прокси-сервер CORS. Это прокси, который отвечает на все запросы следующим заголовком
Access-Control-Allow-Origin: *
Итак, теперь, когда вы проксировали свой JS-файл и использовали функцию для шифрования подписи, вы можете использовать ее в строке запроса для загрузки видео.
sтипа видео и RTMPEтипа видео?
Мой ответ: с 22 января 2019 года использование этих методов может быть поймано, если вы попытаетесь обойти, не связывая также свою информацию пользователя.
Почему? Поскольку я являюсь новым пользователем этой платформы, я не могу комментировать правило, указанное @ Daniel-B . Согласно новому ToS (на немецком языке, как я нахожусь в Германии; пожалуйста, переведите) для YouTube менее $ 6,1 млрд:
Вы соглашаетесь с тем, что любая автоматизированная система (включая, но не ограничиваясь этим, любого робота, паука или офлайн-ридера) использует ее на веб-сайте таким образом, чтобы больше запросов к серверу в течение указанного времени было направлено YouTube, чтобы иметь возможность разумно производить как человек в течение того же периода времени, используя общедоступный, неизмененный стандартный веб-браузер;
Теперь они могут узнать продолжительность каждого запроса и отследить, нарушаете ли вы. Как это возможно сейчас, учитывая этот сценарий и ваш внешний IP-адрес будет известен, даже если вы используете VPN, чтобы защитить себя, не связывая данные пользователя с какой-либо службой.