Таблица синтаксического анализа Python BeautifulSoup


89

Я изучаю Python requestsи BeautifulSoup. В качестве упражнения я решил написать быстрый парсер парковочных талонов Нью-Йорка. Я могу получить ответ в формате html, который довольно уродлив. Мне нужно взять lineItemsTableи разобрать все билеты.

Вы можете воспроизвести страницу, перейдя сюда: https://paydirect.link2gov.com/NYCParking-Plate/ItemSearchи введя NYтабличкуT630134C

soup = BeautifulSoup(plateRequest.text)
#print(soup.prettify())
#print soup.find_all('tr')

table = soup.find("table", { "class" : "lineItemsTable" })
for row in table.findAll("tr"):
    cells = row.findAll("td")
    print cells

Кто-нибудь может мне помочь? Простой поиск всего ни к trчему не приведет.


При более внимательном чтении я не совсем понимаю, в чем ваш вопрос. Можете ли вы уточнить, с какой именно частью вам нужна помощь?
TML

вопрос links-broken: Ниже рабочий пример для общей <table>.
eusoubrasileiro,

Ответы:


171

Ну вот:

data = []
table = soup.find('table', attrs={'class':'lineItemsTable'})
table_body = table.find('tbody')

rows = table_body.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele]) # Get rid of empty values

Это дает вам:

[ [u'1359711259', u'SRF', u'08/05/2013', u'5310 4 AVE', u'K', u'19', u'125.00', u'$'], 
  [u'7086775850', u'PAS', u'12/14/2013', u'3908 6th Ave', u'K', u'40', u'125.00', u'$'], 
  [u'7355010165', u'OMT', u'12/14/2013', u'3908 6th Ave', u'K', u'40', u'145.00', u'$'], 
  [u'4002488755', u'OMT', u'02/12/2014', u'NB 1ST AVE @ E 23RD ST', u'5', u'115.00', u'$'], 
  [u'7913806837', u'OMT', u'03/03/2014', u'5015 4th Ave', u'K', u'46', u'115.00', u'$'], 
  [u'5080015366', u'OMT', u'03/10/2014', u'EB 65TH ST @ 16TH AV E', u'7', u'50.00', u'$'], 
  [u'7208770670', u'OMT', u'04/08/2014', u'333 15th St', u'K', u'70', u'65.00', u'$'], 
  [u'$0.00\n\n\nPayment Amount:']
]

Несколько замечаний:

  • Последняя строка в выходных данных выше, Сумма платежа не является частью таблицы, но это то, как она выложена. Вы можете отфильтровать его, проверив, меньше ли длина списка 7.
  • Последний столбец каждой строки должен обрабатываться отдельно, поскольку это текстовое поле ввода.

5
мне интересно, почему это работает для вас ... Я понимаюrows = table_body.find_all('tr') AttributeError: 'NoneType' object has no attribute 'find_all'
Cmag

@Cmag Вы используете Beautiful Soup 4?
shaktimaan

1
Заменить find_allнаfindAll
user2314737

3
@ user2314737 BS поддерживает как верблюжий регистр, так и нотацию подчеркивания. Я использую подчеркивание, которое соответствует рекомендациям по кодированию Python.
shaktimaan

2
Хорошо, я решил свою ошибку: в режиме просмотра html он показывает tbody, однако, когда я напечатал его значение, table = soup.find('table', attrs={'class':'analysis'})там никого не было, поэтому простое нахождение td и tr выполнило работу. Так что, по моему мнению, причина возникновения ошибки AttributeError: 'NoneType' object has no attribute 'find_all'- это когда мы передаем тег или поле, которых нет в html-коде страницы.
Umesh Кошик

23

Решено, вот как вы анализируете их html-результаты:

table = soup.find("table", { "class" : "lineItemsTable" })
for row in table.findAll("tr"):
    cells = row.findAll("td")
    if len(cells) == 9:
        summons = cells[1].find(text=True)
        plateType = cells[2].find(text=True)
        vDate = cells[3].find(text=True)
        location = cells[4].find(text=True)
        borough = cells[5].find(text=True)
        vCode = cells[6].find(text=True)
        amount = cells[7].find(text=True)
        print amount

14

Обновление: 2020

Если программиста интересует только анализ таблицы с веб-страницы, он может использовать метод pandas pandas.read_html .

Допустим, мы хотим извлечь таблицу данных ВВП с веб-сайта: https://worldpopulationreview.com/countries/countries-by-gdp/#worldCountries

Тогда следующие коды отлично справятся со своей задачей (не нужно beautifulsoup и fancy html):

import pandas as pd
import requests

url = "https://worldpopulationreview.com/countries/countries-by-gdp/#worldCountries"

r = requests.get(url)
df_list = pd.read_html(r.text) # this parses all the tables in webpages to a list
df = df_list[0]
df.head()

Выход

Первые пять строк таблицы с сайта


Согласен - это явно лучший подход на 2020 год!
kfmfe04

1
Только если вы уже где-то используете панды в своем проекте. Слишком много зависимостей для одной таблицы
Сергей Яхницкий

3

Вот рабочий пример для общего <table>. ( вопрос-ссылки-битые )

Отсюда извлекаем таблицу по странам по ВВП (валовой внутренний продукт).

htmltable = soup.find('table', { 'class' : 'table table-striped' })
# where the dictionary specify unique attributes for the 'table' tag

tableDataTextФункция анализирует HTML - сегмент начал с тегом , <table> затем несколько <tr>(строками таблицы) и внутренними <td>тегами (таблица данных). Он возвращает список строк с внутренними столбцами. Принимает только один <th>(заголовок таблицы / данные) в первой строке.

def tableDataText(table):       
    rows = []
    trs = table.find_all('tr')
    headerow = [td.get_text(strip=True) for td in trs[0].find_all('th')] # header row
    if headerow: # if there is a header row include first
        rows.append(headerow)
        trs = trs[1:]
    for tr in trs: # for every table row
        rows.append([td.get_text(strip=True) for td in tr.find_all('td')]) # data row
    return rows

С его помощью получаем (первые два ряда).

list_table = tableDataText(htmltable)
list_table[:2]

[['Rank',
  'Name',
  "GDP (IMF '19)",
  "GDP (UN '16)",
  'GDP Per Capita',
  '2019 Population'],
 ['1',
  'United States',
  '21.41 trillion',
  '18.62 trillion',
  '$65,064',
  '329,064,917']]

Это можно легко преобразовать в pandas.DataFrameболее продвинутые инструменты.

import pandas as pd
dftable = pd.DataFrame(list_table[1:], columns=list_table[0])
dftable.head(4)

Вывод таблицы pandas DataFrame html

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.