Какие есть все возможные pos-теги NLTK?

143

Как мне найти список со всеми возможными тегами pos, используемыми в Natural Language Toolkit (nltk)?

python  nltk 
— OrangeTux
источник

Ответы:

154

В книге есть примечание о том, как найти справку по наборам тегов, например:

nltk.help.upenn_tagset()

Другие, наверное, похожи. (Примечание: возможно, для этого вам сначала нужно скачать tagsetsиз раздела « Модели» помощника по загрузке )

— phipsgabler
источник
3
Теперь мне любопытно: что в этом такого загадочного? Я никогда не использовал NLTK, и найти этот ответ у меня ушло пять минут , и прибегая к помощи поиска ... Действительно ли это , что скрывать?
— phipsgabler
5
Я думаю, что вопрос не в том, насколько скрыто, это тоже возникло у меня, просто пытаясь пометить одно предложение, потому что я ищу причину, по которой nltk помечает мои глаголы как существительные, и я не знал, как разные наборы тегов может быть использован. Это тоже помогло, спасибо!
— Телефонный ящик
2
@phipsgabler, если другие такие же, как я, у меня были неправильные ожидания. Я ожидал увидеть справочную таблицу / список / карту, отображающую аббревиатуры pos, как RBи их значение, например adverb. ( Вот пример ; или см. Ответ @ Suzana , который связывает набор тегов Penn Treebank ). Но вы правы, встроенная функция nltk.help.upenn_tagset('RB')полезна и упоминается в начале nltkкниги ,
— Red Pea,
143

Чтобы сэкономить время некоторым людям, вот список, который я извлек из небольшого корпуса. Я не знаю, полный ли он, но он должен содержать большинство (если не все) определений справки из upenn_tagset ...

CC : соединение, согласование

& 'n and both but either et for less minus neither nor or plus so
therefore times v. versus vs. whether yet

CD : числовой, кардинальный

mid-1890 nine-thirty forty-two one-tenth ten million 0.5 one forty-
seven 1987 twenty '79 zero two 78-degrees eighty-four IX '60s .025
fifteen 271,124 dozen quintillion DM2,000 ...

DT : определитель

all an another any both del each either every half la many much nary
neither no some such that the them these this those

EX : экзистенциальный там

there

IN : предлог или союз, подчинение

astride among uppon whether out inside pro despite on by throughout
below within for towards near behind atop around if like until below
next into if beside ...

JJ : прилагательное или числительное, порядковый

third ill-mannered pre-war regrettable oiled calamitous first separable
ectoplasmic battery-powered participatory fourth still-to-be-named
multilingual multi-disciplinary ...

JJR : прилагательное, сравнительный

bleaker braver breezier briefer brighter brisker broader bumper busier
calmer cheaper choosier cleaner clearer closer colder commoner costlier
cozier creamier crunchier cuter ...

JJS : прилагательное, превосходная степень

calmest cheapest choicest classiest cleanest clearest closest commonest
corniest costliest crassest creepiest crudest cutest darkest deadliest
dearest deepest densest dinkiest ...

LS : маркер элемента списка

A A. B B. C C. D E F First G H I J K One SP-44001 SP-44002 SP-44005
SP-44007 Second Third Three Two * a b c d first five four one six three
two

MD : модальный вспомогательный

can cannot could couldn't dare may might must need ought shall should
shouldn't will would

NN : существительное, общее, единственное число или масса

common-carrier cabbage knuckle-duster Casino afghan shed thermostat
investment slide humour falloff slick wind hyena override subhumanity
machinist ...

NNP : существительное, собственное, единственное число

Motown Venneboerger Czestochwa Ranzer Conchita Trumplane Christos
Oceanside Escobar Kreisler Sawyer Cougar Yvette Ervin ODI Darryl CTCA
Shannon A.K.C. Meltex Liverpool ...

NNS : существительное, общее, множественное число

undergraduates scotches bric-a-brac products bodyguards facets coasts
divestitures storehouses designs clubs fragrances averages
subjectivists apprehensions muses factory-jobs ...

PDT : предопределитель

all both half many quite such sure this

POS : маркер родительного падежа

' 's

PRP : местоимение, личное

hers herself him himself hisself it itself me myself one oneself ours
ourselves ownself self she thee theirs them themselves they thou thy us

PRP $: местоимение, притяжательное

her his mine my our ours their thy your

RB : наречие

occasionally unabatingly maddeningly adventurously professedly
stirringly prominently technologically magisterially predominately
swiftly fiscally pitilessly ...

RBR : наречие, сравнительный

further gloomier grander graver greater grimmer harder harsher
healthier heavier higher however larger later leaner lengthier less-
perfectly lesser lonelier longer louder lower more ...

RBS : наречие, превосходная степень

best biggest bluntest earliest farthest first furthest hardest
heartiest highest largest least less most nearest second tightest worst

RP : частица

aboard about across along apart around aside at away back before behind
by crop down ever fast for forth from go high i.e. in into just later
low more off on open out over per pie raising start teeth that through
under unto up up-pp upon whole with you

TO : "to" как предлог или маркер инфинитива

to

UH : междометие

Goodbye Goody Gosh Wow Jeepers Jee-sus Hubba Hey Kee-reist Oops amen
huh howdy uh dammit whammo shucks heck anyways whodunnit honey golly
man baby diddle hush sonuvabitch ...

VB : глагол, основная форма

ask assemble assess assign assume atone attention avoid bake balkanize
bank begin behold believe bend benefit bevel beware bless boil bomb
boost brace break bring broil brush build ...

VBD : глагол, прошедшее время

dipped pleaded swiped regummed soaked tidied convened halted registered
cushioned exacted snubbed strode aimed adopted belied figgered
speculated wore appreciated contemplated ...

VBG : глагол, причастие настоящего или герундий

telegraphing stirring focusing angering judging stalling lactating
hankerin' alleging veering capping approaching traveling besieging
encrypting interrupting erasing wincing ...

VBN : глагол, причастие прошедшего времени

multihulled dilapidated aerosolized chaired languished panelized used
experimented flourished imitated reunifed factored condensed sheared
unsettled primed dubbed desired ...

VBP : глагол в настоящем времени, а не в 3-м лице единственного числа

predominate wrap resort sue twist spill cure lengthen brush terminate
appear tend stray glisten obtain comprise detest tease attract
emphasize mold postpone sever return wag ...

VBZ : глагол, настоящее время, 3-е лицо единственного числа

bases reconstructs marks mixes displeases seals carps weaves snatches
slumps stretches authorizes smolders pictures emerges stockpiles
seduces fizzes uses bolsters slaps speaks pleads ...

WDT : WH-определитель

that what whatever which whichever

WP : WH-местоимение

that what whatever whatsoever which who whom whosoever

WRB : Wh-наречие

how however whence whenever where whereby whereever wherein whereof why
— binarymax
источник
2
@PALEN чего не хватает?
— binarymax
2
Отсутствующие: $, '', (, ), ,, --, ., :, FW, NNPS, SYM, WP$, [два] обратные кавычки. Смотрите nltk.help.upenn_tagset().
6
Благодарность! Это должен был быть выбранный ответ, поскольку он гораздо более исчерпывающий, чем просто ответ, по сути, введите что-то в консоли, чтобы узнать.
— slartibartfast
64

Набор тегов зависит от корпуса, который использовался для обучения теггера. Теггер по умолчанию nltk.pos_tag()использует набор тегов Penn Treebank .

В NLTK 2 вы можете проверить, какой теггер является теггером по умолчанию, следующим образом: 

import nltk
nltk.tag._POS_TAGGER
>>> 'taggers/maxent_treebank_pos_tagger/english.pickle'

Это означает, что это теггер максимальной энтропии, обученный на корпусе Treebank.

nltk.tag._POS_TAGGERбольше не существует в NLTK 3, но в документации указано, что стандартное устройство тегов по-прежнему использует набор тегов Penn Treebank.

— Сюзана
источник
6
Спасибо, я думаю, это гораздо более полезный ответ, чем принятый.
— Дейл
3
Это неполный ответ. Во-первых, nltk.tag._POS_TAGGERне выполняется, и не дается никаких конкретных инструкций о том, что импортировать. Кроме того, обнаружение используемого теггера - это половина ответа, вопрос заключается в том, чтобы получить список всех возможных тегов в тегере
— Hamman Samuel
3
Набор тегов определяется корпусом, а не теггером. Как только вы узнаете название корпуса, полный набор тегов будет доступен только через поиск Google.
— Suzana
36

Приведенное ниже может быть полезно для доступа к словарю с сокращениями:

>>> from nltk.data import load
>>> tagdict = load('help/tagsets/upenn_tagset.pickle')
>>> tagdict['NN'][0]
'noun, common, singular or mass'
>>> tagdict.keys()
['PRP$', 'VBG', 'VBD', '``', 'VBN', ',', "''", 'VBP', 'WDT', ...
— Дуг Шор
источник
3
Я предпочитаю этот подход принятому решению, потому что он проще и четко перечисляет возможные значения
— Хамман Сэмюэл
1
Как мы уверены, что именно этот набор тегов используется используемым теггером? Afaik nltk может использовать несколько тегов.
— Никана Реклавикс
Согласитесь с Хамманом, у этого способа есть дополнительный бонус, позволяющий вам искать значения программно
— дата, указанная
29

Ссылка доступна на официальном сайте

Скопируйте и вставьте оттуда:

  • CC | Координационное соединение |
  • CD | Кардинальное число |
  • DT | Определитель |
  • EX | Экзистенциальное там |
  • FW | Иностранное слово |
  • В | Предлог или подчинительный союз |
  • JJ | Прилагательное |
  • JJR | Прилагательное, сравнительное |
  • JJS | Прилагательное в превосходной степени |
  • LS | Маркер элемента списка |
  • MD | Модальный |
  • NN | Существительное, единственное число или масса |
  • NNS | Существительное во множественном числе |
  • NNP | Имя собственное, единственное число |
  • NNPS | Имя собственное, множественное число |
  • PDT | Предопределитель |
  • POS | Притяжательная концовка |
  • PRP | Личное местоимение |
  • PRP $ | Притяжательное местоимение |
  • РБ | Наречие |
  • RBR | Наречие, сравнительное |
  • RBS | Наречие в превосходной степени |
  • RP | Частица |
  • SYM | Символ |
  • К | к |
  • UH | Междометие |
  • VB | Глагол, основная форма |
  • VBD | Глагол в прошедшем времени |
  • VBG | Глагол, герундий или причастие настоящего |
  • VBN | Глагол, причастие прошедшего времени |
  • VBP | Глагол, не в 3-м лице единственного числа присутствует |
  • VBZ | Глагол, 3-е лицо единственного числа настоящее |
  • WDT | Wh-определитель |
  • WP | Wh-местоимение |
  • WP $ | Притяжательное местоимение wh |
  • WRB | Wh-наречие |
— Мдубез
источник
1

Вы можете скачать список здесь: ftp://ftp.cis.upenn.edu/pub/treebank/doc/tagguide.ps.gz . Он включает в себя запутанные части речи, использование заглавных букв и другие условные обозначения. Также в Википедии есть интересный раздел, похожий на этот. Раздел: Используемые теги части речи.

— пханиндраварма
источник
1 
['LS', 'TO', 'VBN', "''", 'WP', 'UH', 'VBG', 'JJ', 'VBZ', '--', 'VBP', 'NN', 'DT', 'PRP', ':', 'WP$', 'NNPS', 'PRP$', 'WDT', '(', ')', '.', ',', '``', '$', 'RB', 'RBR', 'RBS', 'VBD', 'IN', 'FW', 'RP', 'JJR', 'JJS', 'PDT', 'MD', 'VB', 'WRB', 'NNP', 'EX', 'NNS', 'SYM', 'CC', 'CD', 'POS']

Основан на методе Дуга Шора, но более удобен для копирования.

— little_thumb
источник
Я принимаю это как удобство. Я подумал об улучшении форматирования, но это может противоречить цели этой публикации. Пожалуйста, подумайте о редактировании и использовании форматирования кода в сочетании с символами новой строки, чтобы получить как хорошее форматирование, так и удобство копирования и вставки. stackoverflow.com/editing-help
— Юннош
Я думал об этом, но думаю, что это сделает это менее удобным.
— Fluffy Ribbit
0

Просто запустите это дословно. 

import nltk
nltk.download('tagsets')
nltk.help.upenn_tagset()

nltk.tag._POS_TAGGERне сработает. Он выдаст AttributeError: модуль nltk.tag не имеет атрибута _POS_TAGGER . Это больше не доступно в NLTK 3.

— Сумит Похрел
источник
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.