Почему я должен использовать Wget вместо браузера? [закрыто]

В каком случае мне лучше использовать Wget, а не браузер?

Я слышал, что Ричард Столлман использует его вместо браузера по причинам анонимности. А что видит сервер, когда вы получаете его файлы с помощью Wget?

Как правило, вы никогда не будете использовать его «вместо браузера». Браузеры отображают HTML, делают ссылки кликабельными (в отличие от необходимости вручную копировать URL в другую команду wget) и т. Д. Буквально нет никаких преимуществ в использовании wget как человека. Если вы беспокоитесь о конфиденциальности, есть миллион способов очистить браузер (или вы можете использовать менее функциональный браузер, например Lynx, если вы действительно хотите использовать базовые возможности, не разрушая все подобие человеческого пользовательского интерфейса).

Wget в первую очередь используется, когда вам нужен быстрый, дешевый способ загрузки файлов из сценариев или из командной строки. Так, например, вы можете поместить wget в скрипт для загрузки веб-страницы, которая часто обновляется новыми данными, для чего браузер не может быть использован. Вы можете использовать различные опции wget для сканирования и автоматического сохранения веб-сайта, что большинство браузеров не может сделать, по крайней мере, без расширений.

Короче говоря, браузеры - это приложения для людей, которые смотрят в Интернет, wget - это инструмент для машин и продвинутых пользователей, передающий данные по HTTP. Очень похоже на то, что они делают (извлекают файлы с веб-сайтов), но совершенно другое в их использовании.

Что касается того, что серверы «видят», когда вы получаете вещи с помощью wget: все HTTP-клиенты (браузеры, wget, curl, другие подобные приложения) передают так называемый «пользовательский агент», который представляет собой просто строку, описывающую браузер (или в наши дни, описывает какие функции браузера он имеет). Это может использоваться для отображения различного контента в зависимости от браузера пользователя (т. Е. Google старается не рекламировать Chrome людям, уже использующим Chrome). Некоторые дураки пытаются заблокировать махинации опытных пользователей, блокируя строку пользовательского агента wget, но вы можете просто подделать строку пользовательского агента Chrome, чтобы обойти это. Чаще всего он просто используется для статистики, чтобы вы знали, насколько популярны разные браузеры, чтобы вы знали, какие из них лучше всего протестировать.

Если вы используете функции сканирования wget, сервер увидит много быстрых запросов в алфавитном порядке. Это мёртвая распродажа, которую вы чистите своим сайтом. Это выглядит совершенно иначе, чем просмотр пользователя. Когда пользователь делает запросы в браузере, за каждым запросом страницы следуют все изображения на этой странице, и затем возникает некоторая задержка, а затем возникает запрос на другую случайную страницу (или, возможно, строку страниц с четкой целью). ,

Как уже упоминалось, wgetпреимущество состоит в том, что он не связан с надстройками, файлами cookie и кэшем, что делает его потенциально более стабильным и безопасным. Но браузеры и на wgetсамом деле имеют совсем другое обычное использование.

wgetутилита командной строки, предназначенная для извлечения контента, а не для его представления Его можно использовать для извлечения и загрузки чего-либо через FTP, HTTP и HTTPS, включая любые типы файлов (HTML, изображения, двоичные файлы и т. Д.).

Для сервера единственное отличие, которое он увидит, - это другое, user agentесли вы не используете его --user-agentаргумент для указания браузера. Если вы это сделаете, сервер не увидит никакой разницы.

1) загрузки, инициированные сценарием, а не человеком

2) загрузка целых сайтов (или фрагментов сайтов), а не отдельных страниц. (Wget может автоматически переходить по ссылкам.)

Wget имеет несколько параметров командной строки для управления тем, что сервер видит и может думать, включая произвольные задержки между запросами на загрузку страниц. Но если у сервера сайта есть некоторая анти-бот политика, вы часто тратите много времени и трафика, прежде чем получите приемлемый результат.

При использовании браузера все, что находится внутри него, активно, включая нежелательные дополнения и даже вредоносные программы, тогда как wget - простая команда, которая загружает вещи и больше ничего не делает.

Браузер не обязательно менее безопасен, но потенциально так.

Серверы «видят» запрос на загрузку, как обычно.

Браузер может записывать ваши действия в историю и кэшировать файлы.

У wget нет сохранения памяти.

При этом браузер удобнее, и мне все равно, узнает ли АНБ, что я скачал на 4.7.2-040702-genericпрошлой неделе. Я использую свой браузер для онлайн-банкинга и PayPal, что, возможно, более важно, чем большинство файлов, которые я могу загрузить с помощью wget.

Как разработчик, который использует удаленные установки Ubuntu, зачастую очень мало смысла в установке графического интерфейса ОС. В этой среде «командной строки» wget является важным инструментом для загрузки файлов из Интернета.

Я даже не уверен, какие браузеры можно запускать из терминала.