Нет, BeautifulSoup сам по себе не поддерживает выражения XPath.
Альтернативная библиотека, lxml , действительно поддерживает XPath 1.0. У него есть режим, совместимый с BeautifulSoup, в котором он попытается проанализировать сломанный HTML, как это делает Soup. Однако анализатор HTML lxml по умолчанию так же хорошо справляется с синтаксическим анализом сломанного HTML, и я считаю, что он быстрее.
После того, как вы проанализировали свой документ в дереве lxml, вы можете использовать этот .xpath()
метод для поиска элементов.
try:
# Python 2
from urllib2 import urlopen
except ImportError:
from urllib.request import urlopen
from lxml import etree
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)
Также есть специальный lxml.html()
модуль с дополнительным функционалом.
Обратите внимание, что в приведенном выше примере я передал response
объект напрямую lxml
, так как чтение парсером непосредственно из потока более эффективно, чем чтение ответа сначала в большую строку. Чтобы сделать то же самое с requests
библиотекой, вы хотите установить stream=True
и передать response.raw
объект после включения прозрачной транспортной декомпрессии :
import lxml.html
import requests
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)
Возможно, вас заинтересует поддержка CSS Selector ; CSSSelector
класс переводит операторы CSS в выражениях XPath, что делает Ваш поиск , td.empformbody
что гораздо проще:
from lxml.cssselect import CSSSelector
td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
# Do something with these table cells.
Пройдя полный круг: сам BeautifulSoup имеет очень полную поддержку CSS селектор :
for cell in soup.select('table#foobar td.empformbody'):
# Do something with these table cells.