Значение скрытых черт?


24

Я изучаю матричную факторизацию для рекомендательных систем и вижу, что этот термин latent featuresвстречается слишком часто, но я не могу понять, что он означает. Я знаю, что такое функция, но я не понимаю идею скрытых функций. Не могли бы вы объяснить это? Или, по крайней мере, указать мне бумагу / место, где я могу прочитать об этом?


Скрытые переменные позволяют сделать модели более мощными с точки зрения того, что можно моделировать. Это зависит от данных и алгоритма, чтобы определить их значение. Другими словами, скрытые переменные подобны «шагу», который ликвидирует разрыв между наблюдаемыми переменными и желаемым прогнозом. Чем шире этот «разрыв», тем полезнее скрытые переменные.
Владислав Довгальец

Ответы:


25

За счет чрезмерного упрощения скрытые функции являются «скрытыми», чтобы отличать их от наблюдаемых. Скрытые признаки вычисляются из наблюдаемых признаков с использованием матричной факторизации. Примером может служить анализ текстовых документов. «слова», извлеченные из документов, являются особенностями. Если вы анализируете данные слов, вы можете найти «темы», где «тема» - это группа слов с семантической релевантностью. Факторизация низкого ранга отображает несколько строк (наблюдаемые признаки) в меньший набор строк (скрытые признаки). Чтобы уточнить, в документе могли быть обнаружены такие особенности (слова), как [парусная лодка, шхуна, яхта, пароход, крейсер], которые «разлагались» на скрытые элементы (тему), такие как «корабль» и «лодка».

[парусник, шхуна, яхта, пароход, крейсер, ...] -> [корабль, лодка]

Основная идея заключается в том, что скрытые признаки являются семантически значимыми «совокупностями» наблюдаемых признаков. Если у вас есть крупномасштабные, крупномасштабные и шумные наблюдаемые объекты, имеет смысл построить ваш классификатор на скрытых функциях.

Это, конечно, упрощенное описание для разъяснения концепции. Для получения точного описания вы можете прочитать подробности о модели скрытого распределения по Дирихле (LDA) или вероятностного анализа скрытого семантического анализа (pLSA).


«Скрытые признаки вычисляются из наблюдаемых признаков с использованием матричной факторизации». Является ли вычисление с использованием матричной факторизации необходимым условием для того, чтобы величина считалась скрытой?
flow2k

5

Предположим, у вас есть (MxN)разреженная матрица, где M- обозначает количество пользователей, которые дали рекомендации, и Nколичество рекомендуемых элементов. элемент матрицы является рекомендация дается, с некоторыми элементами отсутствует, т.е. предсказать.ИксяJ

Тогда ваша матрица может быть «факторизована» посредством введения K«скрытых факторов», так что вместо одной матрицы у вас есть две: (MxK)- для пользователей и (KxN)- для элементов, при умножении которых получается исходная матрица.

Наконец, на ваш вопрос: каковы скрытые особенности в матричной факторизации? Они являются неизвестными функциями ( K) в пользовательских вкусах и рекомендуемых элементах, поэтому, когда эти две матрицы умножаются, они производят матрицу известных рекомендаций. Определенные веса (пользовательских предпочтений по отношению к определенному элементу и количеству элемента в конкретном элементе) определяются с помощью так называемого альтернативного алгоритма наименьших квадратов, подробнее о котором вы можете прочитать здесь.


3

Мне кажется, что скрытые признаки - это термин, используемый для описания критериев классификации сущностей по их структуре, другими словами, по признакам (признакам), которые они содержат, вместо классов, к которым они принадлежат. Значение слова «скрытый» здесь, скорее всего, похоже на его значение в социальных науках, где очень популярный термин «скрытая переменная» ( http://en.wikipedia.org/wiki/Latent_variable ) означает ненаблюдаемую переменную (концепцию).

Раздел «Введение» в следующей статье дает хорошее объяснение значения и использования скрытых функций при моделировании явлений социальных наук: http://papers.nips.cc/paper/3846-nonparametric-latent-feature-models-for- ссылка-прогноз.pdf .


Я прочитал введение в статье, на которую вы ссылались, но не нашел ее очень полезной для понимания концепции скрытых функций.
Будет

@ Не стесняйтесь предложить источник (ы) с лучшим объяснением.
Александр Блех


@ Буду благодарен. Я согласен - это довольно хорошее введение / объяснение (хотя, я уверен, что есть много других хороших рассеяны там).
Александр Блех

1

Другой пример, рассмотрим случай, когда пользователи используют матрицу рейтинга фильмов, например, настройку Netflix. Это будет огромная разреженная матрица, которую сложно обработать.

Обратите внимание, что у каждого пользователя будут определенные предпочтения, такие как научно-фантастические фильмы, романтические фильмы и т. Д. Таким образом, вместо сохранения всех рейтингов фильмов мы можем сохранить одну скрытую функцию, такую ​​как категория фильмов, которая относится к разным жанрам, например: sci-fi или романтика, в зависимости от того, количественно его вкус для каждой категории. Они называются скрытыми функциями , которые отражают суть его вкуса, а не хранят весь список фильмов.

Конечно, это будет приблизительное значение, но, с другой стороны, у вас есть очень мало для хранения.

N*NN*11*NN22N

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.