Текст между двумя тегами

Я хочу получить то, что находится между этими двумя тегами <tr> </tr>- из HTML-документа. Теперь у меня нет особых требований к html, которые гарантировали бы наличие html-парсера. Мне просто нужно что-то, что соответствует <tr>и </tr>получает все промежуточное, и может быть несколько trs. Я попробовал awk, который работает, но по какой-то причине он дает мне дубликаты каждой извлеченной строки.

awk '
/<TR/{p=1; s=$0}
p && /<\/TR>/{print $0 FS s; s=""; p=0}
p' htmlfile> newfile

Как это сделать?

Если вы только хотите ...всего, <tr>...</tr>сделайте:

grep -o '<tr>.*</tr>' HTMLFILE | sed 's/\(<tr>\|<\/tr>\)//g' > NEWFILE

Для многострочного:

tr "\n" "|" < HTMLFILE | grep -o '<tr>.*</tr>' | sed 's/\(<tr>\|<\/tr>\)//g;s/|/\n/g' > NEWFILE

Проверьте HTMLFILE первым из символа "|" (не обычно, но возможно), и если он существует, измените на тот, который не существует.

У вас есть требование, которое гарантирует анализатор HTML: вам нужно проанализировать HTML. HTML :: TreeBuilder , Python's BeautifulSoup и другие в Perl просты в использовании, проще, чем написание сложных и хрупких регулярных выражений.

perl -MHTML::TreeBuilder -le '
    $html = HTML::TreeBuilder->new_from_file($ARGV[0]) or die $!;
    foreach ($html->look_down(_tag => "tr")) {
        print map {$_->as_HTML()} $_->content_list();
    }
' input.html

или

python -c 'if True:
    import sys, BeautifulSoup
    html = BeautifulSoup.BeautifulSoup(open(sys.argv[1]).read())
    for tr in html.findAll("tr"):
        print "".join(tr.contents)
' input.html

sedи awkне очень хорошо подходят для этой задачи, вы должны использовать правильный анализатор HTML. Например hxselectиз w3.org:

<htmlfile hxselect -s '\n' -c 'tr'

Если rubyдоступно, вы можете сделать следующее

ruby -e 'puts readlines.join[/(?<=<tr>).+(?=<\/tr>)/m].gsub(/<\/?tr>/, "")' file

где fileваш входной HTML-файл. Команда выполняет Ruby однострочно. Во-первых, он читает все строки fileи соединяет их со строкой readlines.join. Затем из строки она выбирает что - нибудь между (но не включая) <tr>и <\/tr>что один символ или более независимо от символов новой строки [/(?<=<tr>).+(?=<\/tr>)/m]. Затем он удаляет любую строку <tr>или </tr>строку gsub(/<\/?tr>/, "")(это необходимо для обработки вложенных trтегов). Наконец, он печатает строку puts.

Вы сказали , что HTML - парсер не является оправданным для вас , но это очень простой в использовании Nokogiri с , rubyи это делает команду проще.

ruby -rnokogiri -e 'puts Nokogiri::HTML(readlines.join).xpath("//tr").map { |e| e.content }' file

-rnokogiriгрузы Нокогири. Nokogiri::HTML(readlines.join)читает все строки file. xpath("//tr")выбирает каждый trэлемент и map { |e| e.content }выбирает содержимое для каждого элемента, то есть то, что находится между <tr>и </tr>.

grep

Чтобы извлечь содержимое из trтега в несколько строк, xargsсначала пропустите его , например:

curl -sL https://www.iana.org/ | xargs | egrep -o "<tr>.*?</tr>"

Чтобы вернуть только внутренний HTML, используйте:

curl -sL https://www.iana.org/ | xargs | grep -Po "<tr>\K(.*?)</tr>" | sed "s/..tr.//g"

^{Проверьте синтаксис для perlreрасширенных шаблонов .}

^{Примечание: для более быстрой работы вы можете рассмотреть, ripgrepкакой из них имеет сходный синтаксис.}

pup

Пример использования pup(который использует селекторы CSS ):

pup -f myfile.html tr

Чтобы напечатать только текст без тегов, использование: pup -f myfile.html tr text{}.

Вот несколько примеров с curl:

curl -sL https://www.iana.org/ | pup tr text{}
pup -f <(curl -sL https://www.iana.org/) tr text{}

xpup

Пример использования xpupдля разбора HTML / XML (который поддерживает XPath):

xpup -f myfile.html "//tr"

если это просто быстрый список <tr>s, это может помочь:

perl -ne 'print if /<tr>/../</tr>/' your.html > TRs.log

ура