Вопросы с тегом «natural-language»

Существуют рекуррентные нейронные сети и рекурсивные нейронные сети. Оба обычно обозначаются одной и той же аббревиатурой: RNN. Согласно Википедии , Рекуррентный NN на самом деле является Рекурсивным NN, но я не совсем понимаю объяснение. Более того, я не могу найти, что лучше (с примерами или около того) для обработки естественного …

48 machine-learning  neural-networks  deep-learning  natural-language 

Я хочу изучать нейронные сети. Я вычислительный лингвист. Я знаю подходы статистического машинного обучения и умею кодировать на Python. Я хочу начать с его концепций и знаю одну или две популярные модели, которые могут быть полезны с точки зрения компьютерной лингвистики. Я просмотрел сеть для справки и нашел несколько книг …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Я пытаюсь понять, в чем сходство скрытого распределения Дирихле и word2vec для вычисления сходства слов. Как я понимаю, LDA отображает слова в вектор вероятностей скрытых тем, в то время как word2vec отображает их в вектор действительных чисел (относительно разложения по сингулярным точкам поточечной взаимной информации, см. О. Леви, Ю. Голдберг, …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Как использовать вложение слов для сопоставления документа с вектором объектов, подходящим для использования с контролируемым обучением? Слово вложение отображает каждое слово к вектору , где некоторые не слишком большое количество (например, 500). Популярные вложения слова включают в себя word2vec и Glove .весвесwv ∈ Rdv∈рdv \in \mathbb{R}^dddd Я хочу применять контролируемое …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

После обучения векторов слов с помощью word2vec, лучше ли их нормализовать, прежде чем использовать их для некоторых последующих приложений? Т.е. каковы плюсы / минусы их нормализации?

38 natural-language  word2vec  word-embeddings 

Я понимаю, что HMM (скрытые марковские модели) являются порождающими моделями, а CRF - дискриминационными моделями. Я также понимаю, как создаются и используются CRF (условные случайные поля). Что я не понимаю, так это чем они отличаются от HMM? Я читал, что в случае HMM мы можем только моделировать наше следующее состояние …

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 2 года назад . Я использую каретку, чтобы запустить перекрестный проверенный случайный лес по набору данных. Переменная Y является фактором. В моем наборе данных …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Идентичный смысл, что он будет производить идентичные результаты для ранжирования сходства между вектором ¯u и набором векторами V . У меня есть модель векторного пространства, в которой в качестве параметров используется мера расстояния (евклидово расстояние, косинусное сходство) и метод нормализации (нет, l1, l2). Насколько я понимаю, результаты настроек [косинус, нет] …

27 normalization  natural-language  euclidean  cosine-distance  cosine-similarity 

Популярные тематические модели, такие как LDA, обычно объединяют слова, которые обычно объединяются в одну и ту же тему (кластер). В чем основное различие между такими тематическими моделями и другими простыми подходами кластеризации на основе совпадений, такими как PMI? (PMI расшифровывается как Pointwise Mutual Information и используется для идентификации слов, которые …

26 machine-learning  text-mining  natural-language  topic-models 

Я был впечатлен результатами в работе ICML 2014 года « Распределенное представление предложений и документов » Ле и Миколова. Техника, которую они описывают, называемая «векторами абзацев», изучает неконтролируемые представления произвольно длинных абзацев / документов на основе расширения модели word2vec. В статье сообщается о современных достижениях в анализе настроений с использованием …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Интересно, почему skip-грамм лучше для редких слов, чем CBOW в word2vec. Я прочитал претензию на странице https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

В настоящее время этот вопрос не очень подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, вызовет дебаты, споры, опрос или расширенное обсуждение. Если вы считаете, что этот вопрос можно улучшить и, возможно, вновь открыть, обратитесь за …

18 machine-learning  text-mining  natural-language 

Из того, что я видел, формула сглаживания Кнезера-Ней (второго порядка) так или иначе задается как P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} с нормализующим коэффициентом λ(wn−1)λ(wn−1)\lambda(w_{n-1}) заданным как λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} и …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Вдохновленный этим вопросом , мне интересно, была ли проделана какая-либо работа над тематическими моделями для больших коллекций чрезвычайно коротких текстов. Моя интуиция заключается в том, что Twitter должен быть естественным источником вдохновения для таких моделей. Однако, из-за некоторых ограниченных экспериментов, похоже, что стандартные тематические модели (LDA и т. Д.) Довольно …

14 references  text-mining  topic-models  natural-language 

При обработке на естественном языке можно взять корпус и оценить вероятность появления следующего слова в последовательности из n. n обычно выбирается как 2 или 3 (биграммы и триграммы). Есть ли известная точка, в которой отслеживание данных для n-й цепочки становится контрпродуктивным, учитывая количество времени, которое требуется для классификации конкретного корпуса …

13 text-mining  natural-language