Как я могу удалить символы, отличные от ASCII, но оставить точки и пробелы с помощью Python?

Я работаю с файлом .txt. Мне нужна строка текста из файла без символов, отличных от ASCII. Однако я хочу оставить пробелы и точки. В настоящее время я их тоже снимаю. Вот код:

def onlyascii(char):
    if ord(char) < 48 or ord(char) > 127: return ''
    else: return char

def get_my_string(file_path):
    f=open(file_path,'r')
    data=f.read()
    f.close()
    filtered_data=filter(onlyascii, data)
    filtered_data = filtered_data.lower()
    return filtered_data

Как мне изменить onlyascii (), чтобы оставить пробелы и точки? Думаю, это не так уж сложно, но я не могу понять.

Вы можете отфильтровать все символы из строки, которые нельзя распечатать, используя string.printable , например:

>>> s = "some\x00string. with\x15 funny characters"
>>> import string
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, s)
'somestring. with funny characters'

string.printable на моей машине содержит:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~ \t\n\r\x0b\x0c

РЕДАКТИРОВАТЬ: на Python 3 фильтр вернет итерацию. Правильный способ вернуть строку:

''.join(filter(lambda x: x in printable, s))

Простой способ перейти на другой кодек - использовать encode () или decode (). В вашем случае вы хотите преобразовать в ASCII и игнорировать все символы, которые не поддерживаются. Например, шведская буква å не является символом ASCII:

    >>>s = u'Good bye in Swedish is Hej d\xe5'
    >>>s = s.encode('ascii',errors='ignore')
    >>>print s
    Good bye in Swedish is Hej d

Редактировать:

Python3: стр -> байты -> стр.

>>>"Hej då".encode("ascii", errors="ignore").decode()
'hej d'

Python2: юникод -> стр -> юникод

>>> u"hej då".encode("ascii", errors="ignore").decode()
u'hej d'

Python2: str -> unicode -> str (декодировать и кодировать в обратном порядке)

>>> "hej d\xe5".decode("ascii", errors="ignore").encode()
'hej d'

Согласно @artfulrobot, это должно быть быстрее, чем фильтр и лямбда:

re.sub(r'[^\x00-\x7f]',r'', your-non-ascii-string) 

См. Дополнительные примеры здесь http://stackoverflow.com/questions/20078816/replace-non-ascii-characters-with-a-single-space/20079244#20079244

Ваш вопрос неоднозначный; первые два предложения, взятые вместе, означают, что вы считаете, что пробел и «точка» не являются символами ASCII. Это неверно. Все символы, такие как ord (char) <= 127, являются символами ASCII. Например, ваша функция исключает эти символы! "# $% & \ '() * +, -. /, Но включает несколько других, например [] {}.

Пожалуйста, сделайте шаг назад, немного подумайте и отредактируйте свой вопрос, чтобы сообщить нам, что вы пытаетесь сделать, не упоминая слово ASCII, и почему вы думаете, что такие символы, как ord (char)> = 128, игнорируются. Также: какая версия Python? Какая кодировка ваших входных данных?

Обратите внимание, что ваш код считывает весь входной файл как одну строку, а ваш комментарий («отличное решение») к другому ответу подразумевает, что вам наплевать на символы новой строки в ваших данных. Если ваш файл содержит две такие строки:

this is line 1
this is line 2

результат будет 'this is line 1this is line 2'... это то, чего вы действительно хотите?

Лучшее решение будет включать:

1. лучшее имя для функции фильтра, чем onlyascii

2. признание того, что функция фильтра просто должна возвращать истинное значение, если аргумент должен быть сохранен:

   def filter_func(char):
       return char == '\n' or 32 <= ord(char) <= 126
   # and later:
   filtered_data = filter(filter_func, data).lower()

Вы можете использовать следующий код для удаления неанглийских букв:

import re
str = "123456790 ABC#%? .(朱惠英)"
result = re.sub(r'[^\x00-\x7f]',r'', str)
print(result)

Это вернет

123456790 ABC #%? . ()

Если вам нужны печатные символы ascii, вам, вероятно, следует исправить свой код следующим образом:

if ord(char) < 32 or ord(char) > 126: return ''

это эквивалентно string.printable(ответ от @jterrace), за исключением отсутствия возвратов и вкладок ('\ t', '\ n', '\ x0b', '\ x0c' и '\ r'), но не соответствует диапазон по вашему вопросу

Работаю на Fluent Python (Ramalho) - настоятельно рекомендую. Составьте список однострочников для понимания, вдохновленных главой 2:

onlyascii = ''.join([s for s in data if ord(s) < 127])
onlymatch = ''.join([s for s in data if s in
              'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'])