Вопросы с тегом «word-embeddings»

Во многих библиотеках нейронных сетей есть «встраиваемые слои», как в Keras или Lasagne . Я не уверен, что понимаю его функцию, несмотря на чтение документации. Например, в документации Keras говорится: Превратить натуральные числа (индексы) в векторы denses фиксированного размера, например. [[4], [20]] -> [[0,25, 0,1], [0,6, -0,2]] Может ли знающий …

92 machine-learning  neural-networks  python  word-embeddings 

Необходимо понимать работу слоя «Встраивание» в библиотеке Keras. Я выполняю следующий код в Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) который дает следующий вывод input_array = [[4 1 …

70 text-mining  word-embeddings  keras 

Как использовать вложение слов для сопоставления документа с вектором объектов, подходящим для использования с контролируемым обучением? Слово вложение отображает каждое слово к вектору , где некоторые не слишком большое количество (например, 500). Популярные вложения слова включают в себя word2vec и Glove .весвесwv ∈ Rdv∈рdv \in \mathbb{R}^dddd Я хочу применять контролируемое …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

После обучения векторов слов с помощью word2vec, лучше ли их нормализовать, прежде чем использовать их для некоторых последующих приложений? Т.е. каковы плюсы / минусы их нормализации?

38 natural-language  word2vec  word-embeddings 

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 2 года назад . Я использую каретку, чтобы запустить перекрестный проверенный случайный лес по набору данных. Переменная Y является фактором. В моем наборе данных …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Я был впечатлен результатами в работе ICML 2014 года « Распределенное представление предложений и документов » Ле и Миколова. Техника, которую они описывают, называемая «векторами абзацев», изучает неконтролируемые представления произвольно длинных абзацев / документов на основе расширения модели word2vec. В статье сообщается о современных достижениях в анализе настроений с использованием …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Я изо всех сил пытался понять концепцию отрицательной выборки в контексте word2vec. Я не могу переварить идею [отрицательной] выборки. Например, в работах Миколова отрицательное ожидание выборки формулируется как журналσ( ⟨ Ш , с ⟩ ) + K ⋅ EсN∼ PD[ журналσ( - ⟨ ш , грN⟩ ) ] .журнал⁡σ(⟨вес,с⟩)+К⋅ЕсN~пD[журнал⁡σ(-⟨вес,сN⟩)],\log \sigma(\langle …

19 machine-learning  word2vec  word-embeddings 

Интересно, почему skip-грамм лучше для редких слов, чем CBOW в word2vec. Я прочитал претензию на странице https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Как обучается слой внедрения в слое Keras Embedding? (скажем, используя тензор потока бэкэнда, то есть он похож на word2vec, glove или fasttext) Предположим, мы не используем предварительно обученное вложение.

14 deep-learning  keras  word-embeddings 

Интересно, почему иерархический софтмакс лучше подходит для нечастых слов, а отрицательная выборка лучше для частых слов в моделях CBOW и skip-грамм word2vec. Я прочитал претензию на https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

У меня проблемы с пониманием скип-грамматической модели алгоритма Word2Vec. В непрерывном пакете слов легко увидеть, как контекстные слова могут «вписаться» в нейронную сеть, поскольку вы в основном усредняете их после умножения каждого из представлений кодирования с одним горячим кодированием на входную матрицу W. Однако в случае скип-граммы вы получаете вектор …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Я пытаюсь вставить примерно 60 миллионов фраз в векторное пространство , а затем вычислить косинусное сходство между ними. Я использовал sklearn CountVectorizerс пользовательской функцией токенизатора, которая создает униграммы и биграммы. Оказывается, чтобы получить осмысленное представление, мне нужно учесть огромное количество столбцов, линейных по количеству строк. Это приводит к невероятно редким …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Я очень плохо знаком с встраиванием слов. Я хочу визуализировать, как документы выглядят после обучения. Я читал, что t-SNE - это подход к этому. У меня есть 100K документов с 250 размерами в качестве размера вложения. Также доступно несколько пакетов. Однако, для t-SNE, я не знаю, сколько итераций, или значения …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Один из способов создания встраивания слов заключается в следующем ( зеркало ): Получите корпус, например: «Мне нравится летать. Мне нравится НЛП. Мне нравится глубокое обучение». Создайте матрицу словосочетания из него: Выполните SVD на ИксИксX и сохраните первые ККk столбцов U. U1 : | В| ,1:kU1:|В|,1:КU_{1:|V|,1:k} Между этапами 2 и 3 …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

У меня проблемы с пониманием этого предложения: Первая предложенная архитектура аналогична NNLM с прямой связью, где нелинейный скрытый слой удаляется, а проекционный слой используется для всех слов (а не только для матрицы проекции); таким образом, все слова проецируются в одну и ту же позицию (их векторы усредняются). Что такое проекционный …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models