Java или Python для обработки естественного языка [закрыто]

Я хотел бы знать, какой язык программирования лучше для обработки естественного языка. Java или Python ? Я нашел много вопросов и ответов по этому поводу. Но я все еще не могу выбрать, какой из них использовать.

И я хочу знать, какую библиотеку NLP использовать для Java, поскольку существует множество библиотек (LingPipe, GATE, OpenNLP, StandfordNLP). Для Python большинство программистов рекомендуют NLTK.

Но если мне нужно выполнить некоторую обработку текста или извлечение информации из неструктурированных данных (просто свободный текст на английском языке), чтобы получить полезную информацию, какой вариант лучше? Java или Python? Подходящая библиотека?

Обновлено

Что я хочу сделать, так это извлечь полезную информацию о продукте из неструктурированных данных (например, пользователи делают различные формы рекламы мобильных или ноутбуков на не очень стандартном английском языке).

Java против Python для НЛП - это предпочтение или необходимость. В зависимости от компании / проектов вам нужно будет использовать один или другой, и часто нет большого выбора, если вы не возглавляете проект.

Помимо NLTK(www.nltk.org), на самом деле существуют другие библиотеки для обработки текста python:

• TextBlob : http://textblob.readthedocs.org/en/dev/
• Генсим : http://radimrehurek.com/gensim/
• Выкройка : http://www.clips.ua.ac.be/pattern
• Spacy :: http://spacy.io
• Оранжевый : http://orange.biolab.si/features/
• Ананас : https://github.com/proycon/pynlpl

(подробнее см. https://pypi.python.org/pypi?%3Aaction=search&term=natural+language+processing&submit=search )

Ведь Javaесть множество других, но вот другой список:

• Фрилинг : http://nlp.lsi.upc.edu/freeling/
• OpenNLP : http://opennlp.apache.org/
• LingPipe : http://alias-i.com/lingpipe/
• Stanford CoreNLP : http://stanfordnlp.github.io/CoreNLP/ (поставляется с оболочками для других языков, включая python)
• CogComp NLP : https://github.com/CogComp/cogcomp-nlp

Это хорошее сравнение для базовой обработки строк, см. Http://nltk.googlecode.com/svn/trunk/doc/howto/nlp-python.html

Полезное сравнение GATE, UIMA и OpenNLP см. Https://www.assembla.com/spaces/extraction-of-cost-data/wiki/Gate-vs-UIMA-vs-OpenNLP?version=4

Если вы не уверены, на каком языке следует использовать НЛП, лично я говорю: «любой язык, который даст вам желаемый анализ / результат», см. Какой язык или инструменты изучить для обработки естественного языка?

Вот довольно недавний (2017 г.) инструмент НЛП: https://github.com/alvations/awesome-community-curated-nlp

Старый список инструментов НЛП (2013 г.): http://web.archive.org/web/20130703190201/http://yauhenklimovich.wordpress.com/2013/05/20/tools-nlp

Помимо инструментов языковой обработки, вам очень понадобятся machine learningинструменты для включения в NLPконвейеры.

Там целый диапазон Pythonи Java, и еще раз это до предпочтений и библиотеки , являются ли достаточно легким:

Библиотеки машинного обучения на Python:

• Sklearn (Scikit-learn): http://scikit-learn.org/stable/
• Молоко : http://luispedro.org/software/milk
• Scipy : http://www.scipy.org/
• Теано : http://deeplearning.net/software/theano/
• PyML : http://pyml.sourceforge.net/
• pyBrain : http://pybrain.org/
• Graphlab Create (коммерческий инструмент, но бесплатная академическая лицензия на 1 год): https://dato.com/products/create/

(подробнее см. https://pypi.python.org/pypi?%3Aaction=search&term=machine+learning&submit=search )

• Weka : http://www.cs.waikato.ac.nz/ml/weka/index.html
• Молоток : http://mallet.cs.umass.edu/
• Mahout : https://mahout.apache.org/

С недавним (2015 г.) цунами глубокого обучения в НЛП , возможно, вы могли бы подумать: https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

Я буду избегать перечисления инструментов глубокого обучения из-за отсутствия фаворитизма / нейтралитета.

Другие вопросы по Stackoverflow, которые также касались инструментов NLP / ML:

• Машинное обучение и обработка естественного языка
• Что является хорошей отправной точкой для тех, кто интересуется обработкой естественного языка?
• Обработка естественного языка
• Обработка естественного языка в Java (NLP)
• Есть ли хорошая библиотека обработки естественного языка
• Запуск простой обработки естественного языка для Java
• Какие библиотеки предлагают базовые или расширенные методы НЛП?
• Последние хорошие языки и книги по обработке естественного языка, основы
• (Для NER) Извлечение / распознавание сущностей с помощью бесплатных инструментов при загрузке индекса Lucene
• (С PHP) Инструменты программирования NLP с использованием PHP?
• (С Ruby) /programming/3776361/ruby-nlp-libraries

Вопрос очень открытый. Тем не менее, вместо того, чтобы выбирать один, ниже приводится сравнение в зависимости от языка, который вы хотели бы использовать (поскольку есть хорошие библиотеки, доступные на обоих языках).

Python

С точки зрения Python, первое, на что вам следует обратить внимание, - это Python Natural Language Toolkit . Как они отмечают в своем описании, NLTK является ведущей платформой для создания программ Python для работы с данными на человеческом языке. Он предоставляет простые в использовании интерфейсы для более чем 50 корпоративных и лексических ресурсов, таких как WordNet, а также набор библиотек обработки текста для классификации, токенизации, выделения корней, тегов, синтаксического анализа и семантического обоснования.

Вы также можете найти отличный код, созданный из проекта Google Natural Language Toolkit, основанного на Python. Вы можете найти ссылку на этот код здесь, на GitHub .

Ява

В первую очередь стоит поискать в Стэнфордской группе обработки естественного языка . Все распространяемое программное обеспечение написано на Java. Все последние дистрибутивы требуют Oracle Java 6+ или OpenJDK 7+. Пакеты распространения включают компоненты для вызова из командной строки, файлы jar, Java API и исходный код.

Еще один отличный вариант, который вы видите здесь во многих средах машинного обучения (общий вариант), - это Weka . Weka - это набор алгоритмов машинного обучения для задач интеллектуального анализа данных. Алгоритмы могут быть применены непосредственно к набору данных или вызваны из вашего собственного кода Java. Weka содержит инструменты для предварительной обработки данных, классификации, регрессии, кластеризации, правил ассоциации и визуализации. Он также хорошо подходит для разработки новых схем машинного обучения.