Ручной HTTP (S) запрос

Я ищу инструмент (возможно, в Linux), который позволил бы мне сделать запрос HTTP или HTTPS вручную. Под руководством я действительно имею в виду: я должен быть в состоянии передать ему текстовый файл, который выглядит как

POST /foo HTTP/1.1
Host: www.example.com
Accept: text/xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: en-gb,en;q=0.5
Content-Type: text/plain
Content-Length: 11

Hello world

и целевой URL (www.example.com/foo) и отправьте запрос на URL. Самое большее, было бы полезно, если бы заголовок Content_Length вычислялся автоматически.

Я мог бы написать такой инструмент, используя некоторую библиотеку, такую ​​как httplib в Python, но сама причина, по которой мне это нужно, - это проводить ручное исследование, когда что-то не так с такими библиотеками.

У wget есть опция --post-file, которая должна работать на вас.

Изменить: Кроме того, есть Ncat , который вы бы использовали аналогично предложению Рэндольфа Ричардсона Telnet, за исключением того, что он также поддерживает SSL / HTTPS:

ncat -C --ssl www.example.com 443 < input.txt > output.txt

Для HTTP (не HTTPS) одна альтернатива команде "wget", которая приходит на ум, - это использовать telnet следующим образом:

• имя хоста telnet 80 <input.txt> output.txt

Файл «input.txt» представляет собой список предварительно заданных команд, которые вы хотите передать хосту по имени хоста, а файл «output.txt» будет хранить ответ.

Вы можете отправить запрос GET с помощью OpenSSL:

openssl s_client -quiet -connect cdn.sstatic.net:443 <<eof
GET /stackexchange/js/universal-login.js HTTP/1.1
Connection: close
Host: cdn.sstatic.net

eof

Обратите внимание, что вы также можете использовать «HTTP / 2», но будьте осторожны, потому что некоторые серверы (например, github.com) не поддерживают его.

Для меня это работало создание файла запроса (пример: request.txt)

POST /foo HTTP/1.1
Host: www.example.com
Accept: text/xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: en-gb,en;q=0.5
Content-Type: text/plain; charset=utf-8
Content-Length: 11
Connection: close

Hello world

И затем вызовите openssl s_clientкоманду:

cat request.txt | openssl s_client -quiet -connect www.example.com:443

Однако будьте осторожны с некоторыми моментами:

• Файл должен быть правильно закодирован , особенно текстовое содержимое. Лучше, если вы включите заголовок, Content-type: text/plain; charset=utf-8если файл имеет кодировку utf-8.
• В линии окончания для заголовков должны быть CR / LF . Только с LF веб-сервер может вернуться HTTP/1.1 505 HTTP Version Not Supported, потому что стандартный протокол HTTP использует CR / LF для окончания строки ( https://www.w3.org/Protocols/rfc2616/rfc2616-sec4.html ). Вы можете использовать unix2dosкоманду, чтобы сделать это преобразование.
• Добавьте Connection: closeзаголовок для завершения запроса и возврата из вызова. В противном случае команда будет ожидать взаимодействия с пользователем, если сервер обычно отвечает Connection: keep-aliveзаголовком.

Я удивлен, что никто не упомянул cURL . Это сделано именно для того, что вы хотите сделать. И это доступно практически на любой платформе (включая Windows).

Итак, для вашего примера все, что вам нужно сделать, это:

curl -H 'Content-Type: text/plain' -d 'Hello World' www.example.com

Который пойман с Wireshark будет вам чистым:

POST / HTTP/1.1
User-Agent: curl/7.19.7 (x86_64-pc-linux-gnu) libcurl/7.19.7 OpenSSL/0.9.8k zlib/1.2.3.3 libidn/1.15
Host: www.example.com
Accept: */*
Content-Type: text/plain
Content-Length: 11

Hello world

Вы можете легко изменить заголовки, если вы хотите делать все что угодно (например, изменять пользовательский агент и т. Д.).

Изменить: не заметил требование "из файла". Вы также можете сделать это, либо в простом ascii, либо в двоичных файлах. Вы просто указываете имя файла с символом @

-d @/tmp/HelloWorldFile