Как проверить, является ли слово английским словом с помощью Python?

Я хочу проверить в программе Python, есть ли слово в английском словаре.

Я считаю, что интерфейс nltk wordnet может быть подходящим вариантом, но я понятия не имею, как его использовать для такой простой задачи.

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

В будущем я, возможно, захочу проверить, есть ли единственная форма слова в словаре (например, свойства -> свойство -> английское слово). Как бы я этого достиг?

Для (гораздо) большей мощности и гибкости используйте специальную библиотеку для проверки орфографии, например PyEnchant. Там есть учебник , или вы можете просто погрузиться прямо в:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchantпоставляется с несколькими словарями (en_GB, en_US, de_DE, fr_FR), но вы можете использовать любой из OpenOffice, если вам нужно больше языков.

Похоже, что называется библиотека для плюрализации inflect, но я не знаю, хорошо ли это.

Это не будет работать с WordNet, потому что WordNet не содержит всех английских слов. Еще одна возможность, основанная на НЛТК без чар, - это корпус слов НЛТК

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

Используя NLTK :

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

Вам следует обратиться к этой статье, если у вас возникли проблемы с установкой Wordnet или вы хотите попробовать другие подходы.

Использование набора для хранения списка слов, потому что их поиск будет быстрее:

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

Чтобы ответить на вторую часть вопроса, множественное число уже будет в хорошем списке слов, но если вы хотите по какой-то причине специально исключить их из списка, вы действительно можете написать функцию для его обработки. Но правила множественного числа в английском языке достаточно хитры, поэтому я бы просто включил множественное число в список слов для начала.

Что касается того, где найти списки английских слов, я нашел несколько только с помощью Googling "English word list". Вот один из них: http://www.sil.org/linguistics/wordlists/english/wordlist/wordsEn.txt Вы можете использовать Google для британского или американского английского, если вам нужен именно один из этих диалектов.

Для более быстрого решения на основе NLTK вы можете хешировать набор слов, чтобы избежать линейного поиска.

from nltk.corpus import words as nltk_words
def is_english_word(word):
    # creation of this dictionary would be done outside of 
    #     the function because you only need to do it once.
    dictionary = dict.fromkeys(nltk_words.words(), None)
    try:
        x = dictionary[word]
        return True
    except KeyError:
        return False

Я считаю, что есть 3 пакетных решения для решения проблемы. Это пиенчант, wordnet и корпус (самоопределяемые или из ntlk). Pyenchant не удалось легко установить в win64 с py3 . Wordnet работает не очень хорошо, потому что его корпус не завершен. Поэтому я выбираю решение, на которое отвечает @Sadik , и использую set (words.words ()) для ускорения.

Первый:

pip3 install nltk
python3

import nltk
nltk.download('words')

Затем:

from nltk.corpus import words
setofwords = set(words.words())

print("hello" in setofwords)
>>True

С помощью pyEnchant.checker SpellChecker:

from enchant.checker import SpellChecker

def is_in_english(quote):
    d = SpellChecker("en_US")
    d.set_text(quote)
    errors = [err.word for err in d]
    return False if ((len(errors) > 4) or len(quote.split()) < 3) else True

print(is_in_english('“办理美国加州州立大学圣贝纳迪诺分校高仿成绩单Q/V2166384296加州州立大学圣贝纳迪诺分校学历学位认证'))
print(is_in_english('“Two things are infinite: the universe and human stupidity; and I\'m not sure about the universe.”'))

> False
> True

Для семантического веб-подхода вы можете выполнить запрос sparql к WordNet в формате RDF . В основном просто используйте модуль urllib для выдачи запроса GET и возврата результатов в формате JSON, синтаксический анализ с использованием модуля python 'json'. Если это не английское слово, вы не получите результатов.

Еще одна идея - запросить API Викисловаря .

Для всех пользователей Linux / Unix

Если ваша ОС использует ядро ​​Linux, есть простой способ получить все слова из англо-американского словаря. В каталоге у /usr/share/dictвас есть wordsфайл. Существует также более конкретные american-englishи british-englishфайлы. Они содержат все слова на этом конкретном языке. Вы можете получить доступ к этому на любом языке программирования, поэтому я подумал, что вы, возможно, захотите узнать об этом.

Теперь для пользователей, специфичных для python, приведенный ниже код на python должен назначать списку слов значение каждого отдельного слова:

import re
file = open("/usr/share/dict/words", "r")
words = re.sub("[^\w]", " ",  file.read()).split()

def is_word(word):
    return word.lower() in words

is_word("tarts") ## Returns true
is_word("jwiefjiojrfiorj") ## Returns False

Надеюсь это поможет!!!