Извлечение значения атрибута с помощью beautifulsoup


113

Я пытаюсь извлечь содержимое одного атрибута value в конкретном теге input на веб-странице. Я использую следующий код:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTag = soup.findAll(attrs={"name" : "stainfo"})

output = inputTag['value']

print str(output)

Я получаю TypeError: индексы списка должны быть целыми числами, а не str

хотя из документации Beautifulsoup я понимаю, что строки здесь не должны быть проблемой ... но я не специалист, и я, возможно, неправильно понял.

Любое предложение приветствуется! Заранее спасибо.

Ответы:


151

.find_all() возвращает список всех найденных элементов, поэтому:

input_tag = soup.find_all(attrs={"name" : "stainfo"})

input_tagэто список (вероятно, содержащий только один элемент). В зависимости от того, что именно вы хотите, вам следует сделать:

 output = input_tag[0]['value']

или используйте .find()метод, который возвращает только один (первый) найденный элемент:

 input_tag = soup.find(attrs={"name": "stainfo"})
 output = input_tag['value']

Отличный материал! Спасибо. Теперь у меня есть вопрос о разборе вывода, который представляет собой длинную кучу символов, отличных от ASCII, но я задам это отдельным вопросом.
Barnabe

3
не должно быть доступа к «значению» согласно stackoverflow.com/questions/2616659/… . Что заставляет приведенный выше код работать в этом случае? Я думал, вам нужно будет получить доступ к значению, выполнивoutput = inputTag[0].contents
Сет,

@Seth - нет, потому что он ищет значение атрибута input-tag, а .contents возвращает текст, инкапсулированный тегом (<span> Я .contents </span>) - (просто отвечаю сейчас, потому что у меня чтобы дважды проверить, что происходит; предположить, что кому-то еще может быть выгодно)
Долан Антенуччи

1
отличный ответ. однако я бы использовал inputTag[0].get('value') вместо того, inputTag[0]['value']чтобы предотвратить отсутствие указателя в случае, если тег не имеет атрибута значения
amphibient

как насчет ссылок, которые не связаны напрямую с домашней страницей посещаемого веб-сайта, Как получить все ссылки, прямо или косвенно связанные с веб-страницей.
Rink16

26

В Python 3.xпросто использовать get(attr_name)на вашем объекте тегов , которые вы получаете с помощью find_all:

xmlData = None

with open('conf//test1.xml', 'r') as xmlFile:
    xmlData = xmlFile.read()

xmlDecoded = xmlData

xmlSoup = BeautifulSoup(xmlData, 'html.parser')

repElemList = xmlSoup.find_all('repeatingelement')

for repElem in repElemList:
    print("Processing repElem...")
    repElemID = repElem.get('id')
    repElemName = repElem.get('name')

    print("Attribute id = %s" % repElemID)
    print("Attribute name = %s" % repElemName)

против XML-файла, conf//test1.xmlкоторый выглядит так:

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<root>
    <singleElement>
        <subElementX>XYZ</subElementX>
    </singleElement>
    <repeatingElement id="11" name="Joe"/>
    <repeatingElement id="12" name="Mary"/>
</root>

печатает:

Processing repElem...
Attribute id = 11
Attribute name = Joe
Processing repElem...
Attribute id = 12
Attribute name = Mary

Вы не возражаете, если я отредактирую это, чтобы следовать PEP 8 и использовать более современные методы форматирования строк?
AMC,

Ничего страшного,
дерзайте

6

Если вы хотите получить несколько значений атрибутов из приведенного выше источника, вы можете использовать findAllи понимание списка, чтобы получить все, что вам нужно:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTags = soup.findAll(attrs={"name" : "stainfo"})
### You may be able to do findAll("input", attrs={"name" : "stainfo"})

output = [x["stainfo"] for x in inputTags]

print output
### This will print a list of the values.

4

Я бы посоветовал вам сэкономить время, если предположить, что вы знаете, какие теги имеют эти атрибуты.

предположим, что у тега xyz есть атрибут с именем "Staininfo" ..

full_tag = soup.findAll("xyz")

И я не хочу, чтобы вы понимали, что full_tag - это список

for each_tag in full_tag:
    staininfo_attrb_value = each_tag["staininfo"]
    print staininfo_attrb_value

Таким образом, вы можете получить все значения attrb для Staininfo для всех тегов xyz


3

вы также можете использовать это:

import requests
from bs4 import BeautifulSoup
import csv

url = "http://58.68.130.147/"
r = requests.get(url)
data = r.text

soup = BeautifulSoup(data, "html.parser")
get_details = soup.find_all("input", attrs={"name":"stainfo"})

for val in get_details:
    get_val = val["value"]
    print(get_val)

Чем это отличается от гораздо более старых ответов, которые уже были здесь?
AMC,

0

Я использую это с Beautifulsoup 4.8.1, чтобы получить значение всех атрибутов класса определенных элементов:

from bs4 import BeautifulSoup

html = "<td class='val1'/><td col='1'/><td class='val2' />"

bsoup = BeautifulSoup(html, 'html.parser')

for td in bsoup.find_all('td'):
    if td.has_attr('class'):
        print(td['class'][0])

Важно отметить, что ключ атрибута извлекает список, даже если атрибут имеет только одно значение.


0

Для меня:

<input id="color" value="Blue"/>

Это можно получить с помощью фрагмента ниже.

page = requests.get("https://www.abcd.com")
soup = BeautifulSoup(page.content, 'html.parser')
colorName = soup.find(id='color')
print(color['value'])

Надеюсь, это поможет вашей цели.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.