Есть ли способ сохранить все сообщения браузера HTTP и HTTPS (включая запрос, ответ, полные заголовки и текст) в файлы на моем компьютере?
Связь HTTPS должна быть сохранена расшифрована.
В идеале я бы искал что-то вроде расширения для Firefox или Google Chrome.
Это должно работать на Linux.
Ответы:
HAR - это HTTP-архив, и это именно то, что вы хотите сохранить (включая незашифрованный HTTPS).
К счастью, теперь это основная особенность всех основных браузеров (это было не тогда, когда вы задавали вопрос). Больше не нужно сторонних расширений.
В Firefox (v41 +):
Другой браузер:
В последних версиях всех браузеров вы можете легко сохранить HAR:
HTTPFox - это расширение Firefox, которое сделает эту работу.
=== РЕДАКТИРОВАТЬ ===
Щелкните правой кнопкой мыши панель запросов и выберите «Копировать все строки». Затем вы можете сохранить его в любом понравившемся вам редакторе - например, в Openoffice. Пожалуйста, смотрите изображение, которое я предоставил.
Error loading content (NS_ERROR_DOCUMENT_NOT_CACHED). Но мне нужно тело ответа на все запросы, поэтому HttpFox не может быть решением этой проблемы.
Fiddler - это то, что вы должны учитывать, даже если это не расширение, а отдельное приложение.
Я нашел этот ответ, желая сделать это, и ни один из ответов здесь не подходил мне, потому что мне нужно было сбросить тела ответов HTTPS, так же, как OP. Итак, для тех, кто приземлился здесь, как я, вот что я нашел.
В конце концов я попал на mitmproxy , который не является расширением Firefox, но выполняет задачу регистрации всего трафика Firefox. Это все Python, поэтому я установил его pip install mitmproxy- используйте менеджер пакетов, если хотите.
Запустил его mitmproxyдля начальной настройки / отладки, а затем использовал mitmdumpдля сброса потока, как только у меня все заработало и улучшилось.
Я просто настроил Firefox для использования 127.0.0.1:8080в качестве прокси-сервера (8080 - порт по умолчанию для mitmproxy), и я увидел весь мой трафик Firefox, проходящий через mitmproxy. Чтобы включить HTTPS-трафик, вы должны принять сертификат, который создает mitmproxy - с настроенным прокси-сервером просто перейдите на «магический адрес» http://mitm.it в Firefox, нажмите кнопку «Другие», установите флажки чтобы доверять сертификату, и нажмите ОК.
Чтобы вывести незашифрованное тело ответа, мне пришлось использовать очень простой встроенный скрипт :
from libmproxy.model import decoded
def response(context, flow):
with decoded(flow.response): # automatically decode gzipped responses.
with open("body.txt","ab") as f:
f.write(flow.response.content)
Gist здесь - скачать его как save_response.pyи использовать его с mitmdump -s save_response.py. Органы реагирования начнут накапливаться body.txt.
У mitmproxy также есть ряд полезных фильтров, которые вы можете указать для mitmdump, чтобы получить именно то, что вам нужно.
httpFox, httpScoop (только для Mac) и httpWatch (IE, Firefox, только для windows) - все эти инструменты я использую для этого. Кроме того, вы также можете попробовать Fiddler (как это было предложено ранее), а также, если вы используете Mac, вы можете попробовать Charles Proxy. Мой личный фаворит - httpWatch (вы можете легко фильтровать по заголовкам, контенту, URL и т. Д.), Но это дорого, поэтому может не подойти.
Возможно, вы также захотите взглянуть на проект HAR (HAR означает HTTP Archive) и представляет собой основанный на стандартах подход к записи транзакций http, заголовков, содержимого и т. Д. Ряд упомянутых инструментов способен экспортировать файлы HAR для просмотра с использованием его. HAR Viewer (с которым вы будете знакомы, если посмотрите на функцию водопада в Firebug). Фактически, вы можете использовать Firebug для генерации этих файлов / журналов, используя NetExport.
FWIW httpScoop - хороший метод для отладки / отслеживания HTTP-трафика в беспроводной сети, я написал статью об этом некоторое время назад: http://blog.adtools.co.uk/trace-debug-mobile-application-http- запросы , использующие-MacOS /
Wireshark может использоваться для захвата сетевых пакетов, в том числе на уровне протокола http, и сохранения их на вашем компьютере. Он также может захватывать информацию https, но я сомневаюсь, что вы сможете настроить его для расшифровки чего-либо.