python: urllib2 как отправить cookie с запросом urlopen

Question 1

Я пытаюсь использовать urllib2, чтобы открыть URL-адрес и отправить конкретный текст cookie на сервер. Например, я хочу открыть сайт Решить шахматные задачи с помощью определенного файла cookie, например search = 1. Как это сделать?

Я пытаюсь сделать следующее:

import urllib2
(need to add cookie to the request somehow)
urllib2.urlopen("http://chess-problems.prg")

заранее спасибо

Question 2

Cookie - это просто еще один HTTP-заголовок.

import urllib2
opener = urllib2.build_opener()
opener.addheaders.append(('Cookie', 'cookiename=cookievalue'))
f = opener.open("http://example.com/")

См. Примеры urllib2, чтобы узнать о других способах добавления заголовков HTTP к вашему запросу.

Есть другие способы обработки файлов cookie. Некоторые модули, такие как cookielib, пытаются вести себя как веб-браузер - запоминают, какие файлы cookie вы получали ранее, и автоматически отправляют их снова в следующих запросах.

Question 3

Возможно, вам поможет cookielib.CookieJar . Например, при публикации на странице, содержащей форму:

import urllib2
import urllib
from cookielib import CookieJar

cj = CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
# input-type values from the html form
formdata = { "username" : username, "password": password, "form-id" : "1234" }
data_encoded = urllib.urlencode(formdata)
response = opener.open("https://page.com/login.php", data_encoded)
content = response.read()

РЕДАКТИРОВАТЬ:

После комментария Петра я немного уточню. Из документов:

Класс CookieJar хранит файлы cookie HTTP. Он извлекает файлы cookie из HTTP-запросов и возвращает их в HTTP-ответах. Экземпляры CookieJar автоматически удаляют содержащиеся файлы cookie при необходимости. Подклассы также отвечают за хранение и получение файлов cookie из файла или базы данных.

Таким образом, какие бы запросы вы ни делали со своим CookieJarэкземпляром, все файлы cookie будут обрабатываться автоматически. Как ваш браузер :)

Я могу говорить только по собственному опыту, и мой 99% вариант использования файлов cookie - это получение файла cookie, а затем необходимость его отправки со всеми последующими запросами в этом сеансе. Приведенный выше код обрабатывает именно это, и делает это прозрачно.

Question 4

Возможно, вы захотите взглянуть на отличную библиотеку HTTP Python под названием Requests . Это делает каждую задачу, связанную с HTTP, немного проще, чем urllib2. Из раздела « Файлы cookie » краткого руководства:

Чтобы отправить свои собственные файлы cookie на сервер, вы можете использовать параметр cookie:

>>> cookies = dict(cookies_are='working')

>>> r = requests.get('http://httpbin.org/cookies', cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'

Question 5

Используйте Cookielib . На связанной странице документации в конце приведены примеры. Вы также найдете учебник здесь .

Question 6

Этот ответ не работает, так как urllib2модуль был разделен на несколько модулей в Python 3. Вам необходимо сделать

from urllib import request
opener = request.build_opener()
opener.addheaders.append(('Cookie', 'cookiename=cookievalue'))
f = opener.open("http://example.com/")