Вопросы с тегом «mutual-information»

Почему и когда мы должны использовать Взаимную информацию для статистических измерений корреляции, таких как «Пирсон», «Спирман» или «Тау Кендалла»?

51 correlation  mathematical-statistics  mutual-information 

Совсем недавно я прочитал две статьи. Первый - об истории корреляции, а второй - о новом методе, названном максимальным информационным коэффициентом (MIC). Мне нужна ваша помощь, чтобы понять метод MIC для оценки нелинейных корреляций между переменными. Более того, инструкции по его использованию в R можно найти на сайте автора (в …

20 correlation  nonparametric  bioinformatics  information-theory  mutual-information 

Предположим, у меня есть два набора XXX и YYY и совместное распределение вероятностей по этим наборам p(x,y)p(x,y)p(x,y) . Пусть p(x)p(x)p(x) и p(y)p(y)p(y) обозначают маргинальные распределения по XXX и YYY соответственно. Взаимная информация между XXX и YYY определяется следующим образом: I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) то есть это среднее значение поточечной взаимной …

18 entropy  mutual-information  information-theory 

Тесты перестановки (также называемые тестом рандомизации, тестом повторной рандомизации или точным тестом) очень полезны и оказываются полезными, когда предположение о нормальном распределении, требуемое, например, t-testне выполняется, и когда преобразование значений путем ранжирования непараметрическое тестирование, как, Mann-Whitney-U-testможет привести к потере большего количества информации. Тем не менее, одно и только одно предположение …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

мой вопрос особенно касается реконструкции сети

15 correlation  mutual-information 

Я работал с взаимной информацией в течение некоторого времени. Но я нашел очень недавнюю меру в «мире корреляции», которую также можно использовать для измерения независимости распределения, так называемой «корреляции расстояний» (также называемой броуновской корреляцией): http://en.wikipedia.org/wiki/Brownian_covariance , Я проверил документы, где вводится эта мера, но не нашел никаких ссылок на взаимную …

15 correlation  mutual-information  distance-covariance 

При взгляде на собственные векторы ковариационной матрицы мы получаем направления максимальной дисперсии (первый собственный вектор - это направление, в котором данные наиболее сильно варьируются и т. Д.); это называется анализ главных компонентов (PCA). Мне было интересно, что это будет означать, чтобы посмотреть на собственные векторы / значения матрицы взаимной информации, …

14 pca  entropy  mutual-information  eigenvalues 

Что касается названия, идея состоит в том, чтобы использовать взаимную информацию, здесь и после MI, для оценки «корреляции» (определяемой как «насколько я знаю об A, когда я знаю B») между непрерывной переменной и категориальной переменной. Я расскажу вам свои мысли по этому вопросу через минуту, но прежде чем посоветовать вам …

13 correlation  information-theory  mutual-information 

Может ли взаимная информация по совместной энтропии: 0 ≤ I( Х, Y)ЧАС( Х, Y)≤ 10≤я(Икс,Y)ЧАС(Икс,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 быть определено как: «вероятность передачи части информации от X до Y»? Прошу прощения за наивность, но я никогда не изучал теорию информации, и я просто пытаюсь понять некоторые концепции этого.

11 information-theory  mutual-information 

У меня есть очень основные сомнения. Извините, если это немного раздражает. Я знаю, что значение Взаимной информации должно быть больше 0, но должно ли оно быть меньше 1? Это ограничено каким-либо верхним значением? Спасибо, Амит.

11 information-theory  mutual-information 

Один из способов создания встраивания слов заключается в следующем ( зеркало ): Получите корпус, например: «Мне нравится летать. Мне нравится НЛП. Мне нравится глубокое обучение». Создайте матрицу словосочетания из него: Выполните SVD на ИксИксX и сохраните первые ККk столбцов U. U1 : | В| ,1:kU1:|В|,1:КU_{1:|V|,1:k} Между этапами 2 и 3 …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Здесь «вес доказательств» (WOE) - это общий термин в опубликованной научной и политической литературе, чаще всего встречающийся в контексте оценки риска, определяемый как: w(e:h)=logp(e|h)p(e|h¯¯¯)вес(е:час)знак равножурнал⁡п(е|час)п(е|час¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} где - доказательство, h - гипотеза.eеehчасh Теперь я хочу знать, в чем главное отличие PMI (точечная взаимная информация). pmi(e,h)=logp(e,h)p(e)∗p(h)pmi(e,h)=log⁡p(e,h)p(e)∗p(h)pmi(e,h)=\log\frac{p(e,h)}{p(e)*p(h)}

11 probability  bayesian  mutual-information 

Я видел пару выступлений не-статистиков, где они, похоже, заново изобретают меры корреляции, используя взаимную информацию, а не регрессию (или эквивалентные / тесно связанные статистические тесты). Я полагаю, есть веская причина, по которой статистики не используют такой подход. Мое непрофессионал понимает, что оценки энтропии / взаимной информации, как правило, являются проблемными …

10 correlation  mutual-information 

Я немного смущен. Может ли кто-нибудь объяснить мне, как рассчитать взаимную информацию между двумя терминами на основе матрицы терминов-документов с использованием двоичных терминов в виде весов? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 …

10 python  information-theory  mutual-information  numpy  pandas 

Я пытаюсь применить идею взаимной информации к выбору функций, как описано в этих примечаниях к лекции (на странице 5). Моя платформа - Matlab. Одна проблема, которую я нахожу при вычислении взаимной информации из эмпирических данных, состоит в том, что число всегда смещено вверх. Я нашел около 3 ~ 4 разных …

10 matlab  feature-selection  information-theory  mutual-information