Страуструп недавно опубликовал серию публикаций, разоблачающих популярные мифы о C ++ . Пятый миф: «C ++ предназначен только для больших, сложных программ». Чтобы разоблачить его, он написал простую программу на C ++, загружающую веб-страницу и извлекающую из нее ссылки . Вот:

#include <string>
#include <set>
#include <iostream>
#include <sstream>
#include <regex>
#include <boost/asio.hpp>

using namespace std;

set<string> get_strings(istream& is, regex pat)
{
    set<string> res;
    smatch m;
    for (string s; getline(is, s);)  // read a line
        if (regex_search(s, m, pat))
            res.insert(m[0]);              // save match in set
    return res;
}

void connect_to_file(iostream& s, const string& server, const string& file)
// open a connection to server and open an attach file to s
// skip headers
{
    if (!s)
        throw runtime_error{ "can't connect\n" };

    // Request to read the file from the server:
    s << "GET " << "http://" + server + "/" + file << " HTTP/1.0\r\n";
    s << "Host: " << server << "\r\n";
    s << "Accept: */*\r\n";
    s << "Connection: close\r\n\r\n";

    // Check that the response is OK:
    string http_version;
    unsigned int status_code;
    s >> http_version >> status_code;

    string status_message;
    getline(s, status_message);
    if (!s || http_version.substr(0, 5) != "HTTP/")
        throw runtime_error{ "Invalid response\n" };

    if (status_code != 200)
        throw runtime_error{ "Response returned with status code" };

    // Discard the response headers, which are terminated by a blank line:
    string header;
    while (getline(s, header) && header != "\r")
        ;
}

int main()
{
    try {
        string server = "www.stroustrup.com";
        boost::asio::ip::tcp::iostream s{ server, "http" };  // make a connection
        connect_to_file(s, server, "C++.html");    // check and open file

        regex pat{ R"((http://)?www([./#\+-]\w*)+)" }; // URL
        for (auto x : get_strings(s, pat))    // look for URLs
            cout << x << '\n';
    }
    catch (std::exception& e) {
        std::cout << "Exception: " << e.what() << "\n";
        return 1;
    }
}

Давайте покажем Страуструпу, что такое небольшая и читаемая программа.

1. Скачать http://www.stroustrup.com/C++.html

2. Перечислите все ссылки:

   http://www-h.eng.cam.ac.uk/help/tpl/languages/C++.html
   http://www.accu.org
   http://www.artima.co/cppsource
   http://www.boost.org
   ...
   

Вы можете использовать любой язык, но сторонние библиотеки не допускаются.

победитель

Ответ C ++ выиграл голосами, но он опирается на стороннюю библиотеку (которая запрещена правилами), и вместе с другим близким конкурентом Bash полагается на взломанный вместе HTTP-клиент (он не будет работать с HTTPS, gzip, перенаправляет и т. д.). Так что Вольфрам явный победитель. PowerShell (с улучшением по комментариям) приближается к другому решению, которое приближается к размеру и удобочитаемости , но ему не уделяется особого внимания. Основные языки ( Python , C # ) тоже подошли довольно близко.

вольфрам

Это похоже на полный обман

Import["http://www.stroustrup.com/C++.html", "Hyperlinks"]

Так что просто добавьте честный разбор сверху

Cases[
 Import["http://www.stroustrup.com/C++.html", "XMLObject"],
 XMLElement["a", {___, "href" -> link_, ___}, ___] :> 
  link /; StringMatchQ[link, RegularExpression["((http://)?www([./#\\+-]\\w*)+)"]]
, Infinity]

C ++

#include <boost/asio.hpp>
#include <regex>
#include <iostream>
int main() {
    std::string server = "www.stroustrup.com";
    std::string request = "GET http://" + server + "/C++.html HTTP/1.0\r\nHost: " + server + "\r\n\r\n";
    boost::asio::ip::tcp::iostream s{server, "http"};
    s << request;
    std::regex pat{R"((http://)?www([./#\+-]\w*)+)"};
    std::smatch m;
    for (std::string l; getline(s, l);)
        if (std::regex_search(l, m, pat))
            std::cout << m[0] << "\n";
}

Основным недостатком является неуклюжий характер boost :: asio, я уверен, что он может быть еще короче с лучшей библиотекой.

Pure Bash в Linux / OS X (без внешних утилит)

Программное обеспечение HTTP-клиента, как известно, раздутый. Мы не хотим такого рода зависимостей. Вместо этого мы можем протолкнуть соответствующие заголовки в поток TCP и прочитать результат. Не нужно вызывать архаичные утилиты, такие как grep или sed, чтобы проанализировать результат.

domain="www.stroustrup.com"
path="C++.html"
exec 3<> /dev/tcp/$domain/80
printf "GET /$path HTTP/1.1\r\nhost: %s\r\nConnection: close\r\n\r\n" "$domain" >&3
while read -u3; do
    if [[ "$REPLY" =~ http://[^\"]* ]]; then
        printf '%s\n' "$BASH_REMATCH"
    fi
done

Мех - я полагаю, это может быть более читабельным ...

Python 2

import urllib2 as u, re
s = "http://www.stroustrup.com/C++.html"
w = u.urlopen(s)
h = w.read()
l = re.findall('"((http)s?://.*?)"', h)
print l

Хромает, но работает

C #

using System;
using System.Net;
using System.Text.RegularExpressions;

class Program {
    static void Main() {
        string html = new WebClient().DownloadString("http://www.stroustrup.com/C++.html");
        foreach (Match match in Regex.Matches(html, @"https?://[^""]+"))
            Console.WriteLine(match);
    }
}

«Нет третьей стороны» - заблуждение

Я думаю, что предположение «без третьей стороны» является ошибкой. И это специфическая ошибка, которая поражает разработчиков C ++, так как очень трудно сделать код многократного использования в C ++. Когда вы вообще что-то разрабатываете, даже если это небольшой скрипт, вы всегда будете использовать любые куски кода, которые можно использовать повторно.

Дело в том, что в таких языках, как Perl, Python, Ruby (если назвать несколько), повторное использование чужого кода не только легко, но и то, как большинство людей на самом деле пишут код большую часть времени.

C ++ с его почти невозможными в поддержании совместимыми ABI-требованиями делает эту работу гораздо сложнее, и в итоге вы получаете такой проект, как Boost, который представляет собой чудовищное хранилище кода и очень мало компоновается за его пределами.

Пример CPAN

Просто для удовольствия, вот пример, основанный на CPAN, с правильным синтаксическим анализом HTML, вместо того, чтобы пытаться использовать регулярное выражение для анализа HTML

#!/usr/bin/perl
use HTML::LinkExtor;
sub callback {
   my ($tag, %links) = @_;
   print map { "$_\n" } values %links
}
$p = HTML::LinkExtor->new(\&callback, "http://www.stroustrup.com/C++.html");

Оболочка UNIX

lynx -dump http://www.stroustrup.com/C++.html | grep -o '\w*://.*'

Также находит ftp://ссылку :)

Другой способ, не полагаясь на ://синтаксис:

lynx -dump -listonly http://www.stroustrup.com/C++.html | sed -n 's/^[ 0-9.]\+//p'

CSS 3

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
}
a {
  content: "";
}
a[href*="://"]::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}

Этот код можно использовать в качестве пользовательского стиля для отображения только абсолютных ссылок на странице в неформатированном списке. Это может работать некорректно, если в вашем браузере установлен минимальный размер шрифта.

Он работает правильно с http://www.stroustrup.com/C++.html(обратите внимание !importantна background). Чтобы работать на других страницах с большим количеством стилей, его необходимо расширить (сбросить больше свойств, пометить свойства как важные и т. Д.).

Альтернативная версия, которая включает относительные ссылки, кроме внутристраничных ссылок, начинающихся с хэшей (к сожалению, она основана на жестко закодированной абсолютной ссылке):

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
  float: none !important;
  width: auto !important;
  border: none !important;
}
a {
  content: "";
}
a::after {
  display: none;
}
a:not([href^="#"])::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}
a:not([href*="://"])::after {
  content: "http://www.stroustrup.com/" attr(href);
}

Clojure

(->> (slurp "http://www.stroustrup.com")
     (re-seq #"(?:http://)?www(?:[./#\+-]\w*)+"))

Emacs Lisp

(with-current-buffer (url-retrieve-synchronously "http://www.stroustrup.com/C++.html")
  (while (re-search-forward "https?://[^\\\"]*")
    (print (match-string 0))))

Scala

"""\"(https?://.*?)\"""".r.findAllIn(scala.io.Source.fromURL("http://www.stroustrup.com/C++.html").mkString).foreach(println)

PHP 5

<?php
preg_match_all('/"(https?:\/\/.*?)"/',file_get_contents('http://www.stroustrup.com/C++.html'),$m);
print_r($m[1]);

PowerShell

Текстовый поиск по всем полным URL - адресам (включая JavaScript, CSS и т. Д.):

[string[]][regex]::Matches((iwr "http://www.stroustrup.com/C++.html"), '\w+://[^"]+')

Или получить ссылки только в тегах привязки (включая относительные URL):

(iwr "http://www.stroustrup.com/C++.html").Links | %{ $_.href }

Укороченные версии из комментариев:

(iwr "http://www.stroustrup.com/C++.html").Links.href

(iwr "http://www.stroustrup.com/C++.html").Links.href-match":"

D

import std.net.curl, std.stdio;
import std.algorithm, std.regex;

void main() {
foreach(_;byLine("http://www.stroustrup.com/C++.html")
    .map!((a)=>a.matchAll(regex(`<a.*?href="(.*)"`)))
    .filter!("a")){ writeln(_.front[1]); }
}

Node.js

var http = require('http');

http.get('http://www.stroustrup.com/C++.html', function (res) {
    var data = '';
    res.on('data', function (d) {
        data += d;
    }).on('end', function () {
        console.log(data.match(/"https?:\/\/.*?"/g));
    }).setEncoding('utf8');
});

Рубин

require 'net/http'
result = Net::HTTP.get(URI.parse('http://www.stroustrup.com/C++.html'))
result.scan(/"((http)s?://.*?)"/)

Haskell

Некоторые проблемы "\w"в Text.Regex.Posix

import Network.HTTP
import Text.Regex.Posix
pattern = "((http://)?www([./#\\+-][a-zA-Z]*)+)"
site = "http://www.stroustrup.com/C++.html"

main = do
    file <- getResponseBody =<< simpleHTTP (getRequest site)
    let result = getAllTextMatches $ file =~ pattern
    putStr $ unlines result -- looks nicer

PHP

Насколько я могу судить, большинство современных установок PHP поставляются с обработкой DOM, поэтому вот тот, который фактически проходит через якоря внутри HTML:

foreach (@DOMDocument::loadHTMLFile('http://stroustrup.com/C++.html')->getElementsByTagName('a') as $a) {
    if (in_array(parse_url($url = $a->getAttribute('href'), PHP_URL_SCHEME), ['http', 'https'], true)) {
        echo $url, PHP_EOL;
    }
}

Внутренний цикл может быть сокращен до:

preg_match('~^https?://~', $url = $a->getAttribute('href')) && printf("%s\n", $url);

Unix Shell

wget -q -O - http://www.stroustrup.com/C++.html | sed -n '/http:/s/.*href="\([^"]*\)".*/\1/p' | sort

Хотя я должен признать, что это не сработает, если в строке более одной ссылки.

Ява

import java.util.regex.*;
class M{
    public static void main(String[]v)throws Throwable{
        Matcher m = Pattern.compile( "\"((http)s?://.*?)\"" )
            .matcher(
                 new Scanner(
                         new URL( "http://www.stroustrup.com/C++.html" )
                             .openStream(),
                         "UTF-8")
                     .useDelimiter("\\A")
                     .next());
        while(m.find())
            System.out.println(m.group());
    }
}

Groovy

"http://www.stroustrup.com/C++.html".toURL().text.findAll(/https?:\/\/[^"]+/).each{println it}

SQL (SQL Anywhere 16)

Определите хранимую процедуру для извлечения веб-страницы

CREATE OR REPLACE PROCEDURE CPPWebPage()
URL 'http://www.stroustrup.com/C++.html'
TYPE 'HTTP';

Создайте набор результатов, используя один запрос

SELECT REGEXP_SUBSTR(Value,'"https?://[^""]+"',1,row_num) AS Link  
FROM (SELECT Value FROM CPPWebPage() WITH (Attribute LONG VARCHAR, Value LONG VARCHAR) 
      WHERE Attribute = 'Body') WebPage, 
      sa_rowgenerator( 1, 256 ) 
WHERE Link IS NOT NULL;

Ограничения: это дает до 256 ссылок. Если существует больше ссылок, увеличьте 256 до соответствующего значения.

CoffeeScript / NodeJS

require('http').get 'http://www.stroustrup.com/C++.html', (r) ->
    dt = '';
    r.on 'data', (d) -> dt += d
    r.on 'end' , (d) -> console.log dt.match /"((http)s?:\/\/.*?)"/g

Perl

use LWP;
use feature 'say';

my $agent = new LWP::UserAgent();
my $response = $agent->get('http://www.stroustrup.com/C++.html');

say for $response->content =~ m<"(https?://.+?)">g;

р

html<-paste(readLines("http://www.stroustrup.com/C++.html"),collapse="\n")
regmatches(html,gregexpr("http[^([:blank:]|\\\"|<|&|#\n\r)]+",html))

... хотя R написан в основном на C ... так что, вероятно, несколько строк кода C за этими двумя строками кода R.

Objective-C

NSString *s;
for (id m in [[NSRegularExpression regularExpressionWithPattern:@"\"((http)s?://.*?)\"" options:0 error:nil] matchesInString:(s=[NSString stringWithContentsOfURL:[NSURL URLWithString:@"http://www.stroustrup.com/C++.html"]])]){
    NSLog(@"%@",[s substringWithRange:[m range]]);
}

Tcl

package require http
set html [http::data [http::geturl http://www.stroustrup.com/C++.html]]
puts [join [regexp -inline -all {(?:http://)?www(?:[./#\+-]\w*)+} $html] \n]

Идти

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
    "regexp"
)

func main() {
    resp, err := http.Get("http://www.stroustrup.com/C++.html")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    defer resp.Body.Close()
    data, _ := ioutil.ReadAll(resp.Body)
    results := regexp.MustCompile(`https?://[^""]+`).FindAll(data, -1)
    for _, row := range results {
        fmt.Println(string(row))
    }
}

PS этот код считывает весь источник в память, поэтому рассмотрите возможность использования regexp.FindReaderIndexпоиска в потоке, что сделает приложение пуленепробиваемым.

CJam

CJam не имеет регулярных выражений, поэтому мне пришлось использовать другой подход в этом:

"http://www.stroustrup.com/C++.html"g''/'"*'"/(;2%{_"http://"#!\"https://"#!e|},N*

Сначала я конвертирую все 'в ", затем делю на все ", беру каждую альтернативную строку, а затем, наконец, фильтрую этот список для строк, начинающихся с http://или https://. После этого просто напечатайте каждую отфильтрованную строку в новой строке.

Попробуйте использовать интерпретатор Java, например

java -jar cjam-0.6.2.jar file.cjam

где file.cjam содержит содержимое кода выше.

F #

Этот код может быть намного короче, но я бы написал что-то вроде этого, если бы когда-нибудь ожидал, что мне придется читать или использовать этот код снова, так что в нем много ненужных аннотаций типов. Он демонстрирует использование активного шаблона MatchValue для включения сопоставления с шаблоном со стандартным типом соответствия CLR.

open System.Net

let (|MatchValue|) (reMatch: Match) : string = reMatch.Value

let getHtml (uri : string) : string = 
    use webClient = WebClient() in
        let html : string = webClient.DownloadString(uri)
        html

let getLinks (uri : string) : string list =
    let html : string = getHtml uri
    let matches : MatchCollection = Regex.Matches(html, @"https?://[^""]+") 
    let links = [ for MatchValue reMatch in matches do yield reMatch ]
    links

let links = getLinks "http://www.stroustrup.com/C++.html" 
for link in links do
    Console.WriteLine(link)

Edit я сделал getLinks свою собственную функцию