Python: удаление \ xa0 из строки?

В настоящее время я использую Beautiful Soup для анализа HTML-файла и вызовов get_text(), но мне кажется, что у меня осталось много \ xa0 Unicode, представляющих пробелы. Есть ли эффективный способ удалить их все в Python 2.7 и заменить их пробелами? Я думаю, что более общий вопрос будет, есть ли способ удалить форматирование Unicode?

Я попытался использовать:, line = line.replace(u'\xa0',' ')как предложено в другом потоке, но это изменило \ xa0 на u, так что теперь у меня вместо этого везде "u". ):

РЕДАКТИРОВАТЬ: Кажется, что проблема решена str.replace(u'\xa0', ' ').encode('utf-8'), но просто .encode('utf-8')без, replace()кажется, заставляет его выплевывать даже более странные символы, например, \ xc2. Кто-нибудь может объяснить это?

\ xa0 - это фактически неразрывный пробел в Latin1 (ISO 8859-1), также chr (160). Вы должны заменить его пробелом.

string = string.replace(u'\xa0', u' ')

Когда .encode ('utf-8'), он будет кодировать юникод в utf-8, это означает, что каждый юникод может быть представлен от 1 до 4 байтов. Для этого случая \ xa0 представлен 2 байтами \ xc2 \ xa0.

Читайте на http://docs.python.org/howto/unicode.html .

Пожалуйста, обратите внимание: этот ответ с 2012 года, Python перешел, вы должны быть в состоянии использовать unicodedata.normalizeсейчас

В unicodedataбиблиотеке Python есть много полезных вещей . Одним из них является .normalize()функция.

Пытаться:

new_str = unicodedata.normalize("NFKD", unicode_str)

Замените NFKD любым из других методов, перечисленных в ссылке выше, если вы не получите желаемых результатов.

Попробуйте использовать .strip () в конце вашей строки, line.strip()у меня получилось

Попробовав несколько методов, чтобы подвести итог, я так и сделал. Ниже приведены два способа избежать / удалить символы \ xa0 из проанализированной строки HTML.

Предположим, у нас есть наш сырой HTML следующим образом:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Итак, давайте попробуем очистить эту строку HTML:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Приведенный выше код создает эти символы \ xa0 в строке. Чтобы удалить их правильно, мы можем использовать два способа.

Метод № 1 (рекомендуется): первым является get_text BeautifulSoup метод с аргументом strip в виде True, поэтому наш код становится:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Способ № 2: Другой вариант - использовать уникальные данные библиотеки Python.

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Я также подробно описал эти методы в этом блоге, к которым вы можете обратиться.

попробуй это:

string.replace('\\xa0', ' ')

Я столкнулся с этой же проблемой, извлекая некоторые данные из базы данных sqlite3 с помощью python. Приведенные выше ответы не сработали для меня (не знаю почему), но это сработало: line = line.decode('ascii', 'ignore')Однако моя цель была удалить \ xa0s, а не заменять их пробелами.

Я получил это из этого супер-полезного учебника Юникода Неда Батчелдера.

Я в конечном итоге здесь, в поисках проблемы с непечатным персонажем. Я использую MySQL UTF-8 general_ciи имею дело с польским языком. Для проблемных строк я должен выполнить следующее:

text=text.replace('\xc2\xa0', ' ')

Это просто быстрый обходной путь, и вы, вероятно, должны попробовать что-то с правильной настройкой кодировки.

Попробуйте этот код

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) - это 0xC2A0 в UTF-8. .encode('utf8')просто возьму ваш Unicode 0xA0 и заменим на UTF-8 0xC2A0. Следовательно, появление 0xC2s ... Кодировка не заменяет, как вы, вероятно, поняли сейчас.

Это эквивалент пробела, так что уберите его

print(string.strip()) # no more xa0

В Beautiful Soup вы можете передать get_text()параметр полосы, который удаляет пробелы в начале и конце текста. Это удалит \xa0или любой другой пробел, если это произойдет в начале или конце строки. Beautiful Soup заменил пустую строку на, \xa0и это решило проблему для меня.

mytext = soup.get_text(strip=True)

Универсальная версия с регулярным выражением (удаляются все управляющие символы):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python распознает его как символ пробела, так что вы можете сделать splitэто без аргументов и присоединиться к обычному пробелу:

line = ' '.join(line.split())