Сначала откажитесь от ответственности: все опубликованные фрагменты кода являются основными примерами. Вы должны будете справиться с тривиальными IOExceptionи RuntimeExceptionподобными NullPointerException, ArrayIndexOutOfBoundsExceptionи поддерживает себя.
Подготовка
Сначала нам нужно знать хотя бы URL и кодировку. Параметры являются необязательными и зависят от функциональных требований.
String url = "http://example.com";
String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...
String query = String.format("param1=%s¶m2=%s",
URLEncoder.encode(param1, charset),
URLEncoder.encode(param2, charset));
Параметры запроса должны быть в name=valueформате и должны быть связаны &. Обычно вы также URL-кодируете параметры запроса с использованием указанной кодировки URLEncoder#encode().
Это String#format()просто для удобства. Я предпочитаю это, когда мне понадобится оператор конкатенации строк +более двух раз.
Запуск HTTP GET- запроса с (опционально) параметрами запроса
Это тривиальная задача. Это метод запроса по умолчанию.
URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...
Любая строка запроса должна быть присоединена к URL с помощью ?. Accept-CharsetЗаголовок может намекнуть на то , что сервере , кодирующие параметры находятся. Если вы не отправите любую строку запроса, то вы можете оставить Accept-Charsetзаголовок прочь. Если вам не нужно устанавливать какие-либо заголовки, вы можете даже использовать URL#openStream()метод ярлыков.
InputStream response = new URL(url).openStream();
// ...
В любом случае, если другая сторона - это HttpServlet, то doGet()будет вызван ее метод и параметры будут доступны HttpServletRequest#getParameter().
В целях тестирования вы можете напечатать тело ответа на стандартный вывод, как показано ниже:
try (Scanner scanner = new Scanner(response)) {
String responseBody = scanner.useDelimiter("\\A").next();
System.out.println(responseBody);
}
Запуск HTTP POST- запроса с параметрами запроса
Установка URLConnection#setDoOutput()для trueнеявно устанавливает метод запроса к POST. Стандартный HTTP POST, как и веб-формы, имеет тип, в application/x-www-form-urlencodedкотором строка запроса записывается в тело запроса.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);
try (OutputStream output = connection.getOutputStream()) {
output.write(query.getBytes(charset));
}
InputStream response = connection.getInputStream();
// ...
Примечание: всякий раз, когда вы хотите отправить HTML-форму программно, не забывайте вводить name=valueпары любых <input type="hidden">элементов в строку запроса и, конечно, также name=valueпару <input type="submit">элементов, которые вы хотите «нажать» программно (потому что это обычно используется на стороне сервера, чтобы различать, была ли нажата кнопка, и если да, то какая.
Вы также можете привести полученный URLConnectionв HttpURLConnectionи использовать его HttpURLConnection#setRequestMethod()вместо. Но если вы пытаетесь использовать соединение для вывода, вам все равно нужно установить URLConnection#setDoOutput()на true.
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...
В любом случае, если другая сторона - это HttpServlet, то doPost()будет вызван ее метод и параметры будут доступны HttpServletRequest#getParameter().
На самом деле запускает HTTP-запрос
Вы можете явно запустить HTTP-запрос URLConnection#connect(), но запрос будет автоматически запущен по требованию, когда вы захотите получить какую-либо информацию об HTTP-ответе, такую как использование тела ответа URLConnection#getInputStream()и так далее. Приведенные выше примеры делают именно это, поэтому connect()вызов на самом деле является излишним.
Сбор информации ответа HTTP
Статус ответа HTTP :
Тебе нужен HttpURLConnectionздесь. Примените это сначала, если необходимо.
int status = httpConnection.getResponseCode();
Заголовки ответа HTTP :
for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {
System.out.println(header.getKey() + "=" + header.getValue());
}
Кодировка ответа HTTP :
Если параметр Content-Typeсодержит charsetпараметр, то тело ответа, скорее всего, основано на тексте, и мы хотели бы обработать тело ответа с указанной на стороне сервера кодировкой символов.
String contentType = connection.getHeaderField("Content-Type");
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
if (charset != null) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
for (String line; (line = reader.readLine()) != null;) {
// ... System.out.println(line) ?
}
}
} else {
// It's likely binary content, use InputStream/OutputStream.
}
Ведение сессии
Сеанс на стороне сервера обычно поддерживается файлом cookie. Некоторые веб-формы требуют, чтобы вы вошли в систему и / или отслеживались сеансом. Вы можете использовать CookieHandlerAPI для поддержки файлов cookie. Вы должны подготовить CookieManagerс CookiePolicyиз ACCEPT_ALLперед отправкой всех запросов HTTP.
// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
Обратите внимание, что это, как известно, не всегда работает должным образом при любых обстоятельствах. Если у вас ничего не получится, лучше всего вручную собрать и установить заголовки файлов cookie. В основном вам нужно получить все Set-Cookieзаголовки из ответа входа в систему или первого GETзапроса и затем передать его через последующие запросы.
// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...
// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...
Он split(";", 2)[0]предназначен для того, чтобы избавиться от атрибутов cookie, которые не имеют отношения к серверной части, например expires, pathи т. Д. В качестве альтернативы вы также можете использовать cookie.substring(0, cookie.indexOf(';'))вместо split().
Потоковый режим
По HttpURLConnectionумолчанию завещание буферизует все тело запроса перед его отправкой, независимо от того, установили ли вы фиксированную длину контента самостоятельно connection.setRequestProperty("Content-Length", contentLength);. Это может вызывать OutOfMemoryExceptions всякий раз, когда вы одновременно отправляете большие запросы POST (например, загружаете файлы). Чтобы избежать этого, вы хотели бы установить HttpURLConnection#setFixedLengthStreamingMode().
httpConnection.setFixedLengthStreamingMode(contentLength);
Но если длина контента на самом деле не известна заранее, то вы можете использовать режим потоковой передачи по частям, установив HttpURLConnection#setChunkedStreamingMode()соответствующий параметр. Это установит Transfer-Encodingзаголовок HTTP, к chunkedкоторому принудительно будет отправлено тело запроса в виде фрагментов. Приведенный ниже пример отправит тело кусками по 1 КБ.
httpConnection.setChunkedStreamingMode(1024);
User-Agent
Может случиться, что запрос возвращает неожиданный ответ, в то время как он отлично работает с реальным веб-браузером . Серверная сторона, вероятно, блокирует запросы на основе User-Agentзаголовка запроса. По URLConnectionумолчанию будет установлено, что Java/1.6.0_19последняя часть, очевидно, является версией JRE. Вы можете переопределить это следующим образом:
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.
Используйте строку User-Agent из недавнего браузера .
Обработка ошибок
Если код ответа HTTP - 4nn(Ошибка клиента) или 5nn(Ошибка сервера), вы можете прочитать, HttpURLConnection#getErrorStream()чтобы проверить, отправил ли сервер какую-либо полезную информацию об ошибке.
InputStream error = ((HttpURLConnection) connection).getErrorStream();
Если код ответа HTTP равен -1, значит что-то пошло не так с обработкой соединения и ответа. HttpURLConnectionРеализация в старых JREs несколько багги с сохранением соединения в живых. Вы можете отключить его, установив http.keepAliveсистемное свойство в false. Вы можете сделать это программно в начале вашего приложения:
System.setProperty("http.keepAlive", "false");
Загрузка файлов
Обычно вы используете multipart/form-dataкодирование для смешанного содержимого POST (двоичные и символьные данные). Кодирование более подробно описано в RFC2388 .
String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
try (
OutputStream output = connection.getOutputStream();
PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
// Send normal param.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
writer.append(CRLF).append(param).append(CRLF).flush();
// Send text file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
writer.append(CRLF).flush();
Files.copy(textFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// Send binary file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
writer.append("Content-Transfer-Encoding: binary").append(CRLF);
writer.append(CRLF).flush();
Files.copy(binaryFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// End of multipart/form-data.
writer.append("--" + boundary + "--").append(CRLF).flush();
}
Если другая сторона - это HttpServlet, то doPost()будет вызван ее метод, и части будут доступны через HttpServletRequest#getPart()(обратите внимание, таким образом, нет getParameter() и так далее!). Однако этот getPart()метод относительно новый, он введен в Servlet 3.0 (Glassfish 3, Tomcat 7 и т. Д.). До Servlet 3.0 ваш лучший выбор - использовать Apache Commons FileUpload для анализа multipart/form-dataзапроса. Также смотрите этот ответ для примеров подходов FileUpload и Servelt 3.0.
Работа с ненадежными или неправильно настроенными HTTPS-сайтами
Иногда вам нужно подключить HTTPS URL, возможно, потому что вы пишете веб-скребок. В этом случае вы можете столкнуться с javax.net.ssl.SSLException: Not trusted server certificateпроблемой на некоторых сайтах HTTPS, которые не поддерживают свои сертификаты SSL в актуальном состоянии, java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] foundили javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_nameна некоторых неправильно настроенных сайтах HTTPS.
Следующий одноразовый staticинициализатор в вашем классе веб-скребка должен сделать HttpsURLConnectionболее снисходительным в отношении этих HTTPS-сайтов и, таким образом, больше не генерировать эти исключения.
static {
TrustManager[] trustAllCertificates = new TrustManager[] {
new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
return null; // Not relevant.
}
@Override
public void checkClientTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
@Override
public void checkServerTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
}
};
HostnameVerifier trustAllHostnames = new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true; // Just allow them all.
}
};
try {
System.setProperty("jsse.enableSNIExtension", "false");
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCertificates, new SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
}
catch (GeneralSecurityException e) {
throw new ExceptionInInitializerError(e);
}
}
Последние слова
Apache HttpComponents HttpClient является гораздо более удобным в этом все :)
Разбор и извлечение HTML
Если все, что вам нужно, это анализ и извлечение данных из HTML, тогда лучше использовать HTML-парсер, такой как Jsoup