Как я могу увидеть весь HTTP-запрос, отправляемый моим приложением Python?

В моем случае я использую requestsбиблиотеку для вызова API PayPal через HTTPS. К сожалению, я получаю сообщение об ошибке от PayPal, и служба поддержки PayPal не может выяснить, что это за ошибка или чем она вызвана. Они хотят, чтобы я "Пожалуйста, предоставьте весь запрос, включая заголовки".

Как я могу это сделать?

Простой способ: включить ведение журнала в последних версиях запросов (1.x и выше.)

Requests использует конфигурацию модуля http.clientи loggingдля управления подробностью ведения журнала, как описано здесь .

демонстрация

Код взят из связанной документации:

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

Пример вывода

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226

r = requests.get('https://api.github.com', auth=('user', 'pass'))

rэто ответ. У него есть атрибут запроса, в котором есть нужная вам информация.

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers дает заголовки:

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

Затем r.request.dataимеет тело в качестве отображения. Вы можете преобразовать это, urllib.urlencodeесли они предпочитают:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

в зависимости от типа ответа .data-attribute может отсутствовать и .bodyвместо него может быть -attribute.

Вы можете использовать HTTP Toolkit, чтобы сделать именно это.

Это особенно полезно, если вам нужно сделать это быстро, без изменений кода: вы можете открыть терминал из HTTP Toolkit, запустить любой код Python оттуда, как обычно, и вы сможете увидеть полное содержимое каждого HTTP / HTTPS Запрос немедленно.

Есть бесплатная версия, которая может делать все, что вам нужно, и она на 100% с открытым исходным кодом.

Я создатель HTTP Toolkit; Я действительно построил это сам, чтобы решить ту же самую проблему для меня некоторое время назад! Я тоже пытался отладить интеграцию платежей, но их SDK не работал, я не мог сказать, почему, и мне нужно было знать, что на самом деле происходит, чтобы исправить это. Это очень расстраивает, но возможность видеть сырой трафик действительно помогает.

Если вы используете Python 2.x, попробуйте установить программу открывания urllib2 . Это должно распечатать ваши заголовки, хотя вам, возможно, придется комбинировать это с другими открывателями, которые вы используете, чтобы поразить HTTPS.

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)

Опция verboseконфигурации может позволить вам увидеть, что вы хотите. Есть пример в документации .

ПРИМЕЧАНИЕ. Прочтите комментарии ниже: подробные параметры конфигурации больше не доступны.