Вопросы с тегом «information-theory»

Не ссылаясь на источники, Википедия определяет кросс-энтропию дискретных распределений и Q какппPQQQ ЧАС×( P; Q )= - ∑Икср ( х )журналQ( Х ) .ЧАС×(п;Q)знак равно-ΣИксп(Икс)журнал⁡Q(Икс),\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Кто первым начал использовать это количество? И кто изобрел этот термин? Я посмотрел в: JE Shore и …

15 information-theory  entropy 

Я думал, что концепция типичного набора довольно интуитивна: последовательность длины будет принадлежать типичному набору A ( n ) ϵ, если вероятность выхода последовательности будет высокой. Таким образом, любая последовательность, которая была бы вероятна, была бы в A ( n ) ϵ . (Я избегаю формального определения, связанного с энтропией, потому …

15 entropy  intuition  information-theory 

Этот вопрос дает количественное определение кросс-энтропии с точки зрения ее формулы. Я ищу более условное определение, википедия говорит: В теории информации кросс-энтропия между двумя распределениями вероятностей измеряет среднее число битов, необходимое для идентификации события из набора возможностей, если схема кодирования используется на основе заданного распределения вероятности q, а не «истинного» …

15 entropy  information-theory 

Недавно я прочитал эту статью об энтропии дискретного распределения вероятностей. Он описывает хороший способ восприятия энтропии как ожидаемых числовых битов (по крайней мере, при использовании в определении энтропии), необходимых для кодирования сообщения, когда ваша кодировка оптимальна, учитывая распределение вероятностей используемых вами слов.log2log2\log_2 Однако при распространении на непрерывный случай, как здесь, …

15 entropy  information-theory 

Модели гауссовых смесей (GMM) привлекательны, потому что с ними просто работать как в аналитическом, так и на практическом плане, и они способны моделировать некоторые экзотические распределения без особых сложностей. Есть несколько аналитических свойств, которые мы должны ожидать, которые в целом не ясны. Особенно: Скажем, SnSnS_n - класс всех гауссовых смесей …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

Для произвольной непрерывной случайной величины, скажем, XXX , всегда ли ее дифференциальная энтропия меньше ∞∞\infty ? (Это нормально, если это −∞−∞-\infty .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем ?∞∞\infty

14 entropy  information-theory  maximum-entropy 

Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией. Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?

13 entropy  information-theory  maximum-entropy 

В течение прошлого года я довольно тесно работал над выборкой важных данных, и у меня есть несколько открытых вопросов, с которыми я надеялся получить некоторую помощь. Мой практический опыт работы со схемами выборки по важности заключался в том, что они могут иногда давать фантастические оценки с низким отклонением и смещением. …

13 monte-carlo  information-theory  importance-sampling 

Есть ли какое-либо применение для количества в статистике или теории информации?∫е( х )2dИкс∫е(Икс)2dИкс \int f(x)^2 dx

13 probability  entropy  information-theory 

Что касается названия, идея состоит в том, чтобы использовать взаимную информацию, здесь и после MI, для оценки «корреляции» (определяемой как «насколько я знаю об A, когда я знаю B») между непрерывной переменной и категориальной переменной. Я расскажу вам свои мысли по этому вопросу через минуту, но прежде чем посоветовать вам …

13 correlation  information-theory  mutual-information 

Дифференциальная энтропия гауссовых RV равна . Это зависит от , который является стандартным отклонением.σlog2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Если мы нормализуем случайную переменную так, чтобы она имела единичную дисперсию, ее дифференциальная энтропия падает. Для меня это нелогично, поскольку сложность нормализующей постоянной Колмогорова должна быть очень мала по сравнению со снижением энтропии. Можно …

13 information-theory  entropy  randomness 

Из Википедии есть определение информационного критерия Акаике (AIC) как , где - число параметров, а \ log L - логарифмическая вероятность модели.k log LAIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkkжурналLlog⁡L\log L Тем не менее, наша эконометрика отмечает в уважаемом университете, что А яС= журнал( σ^2) + 2 ⋅ кTAIC=log⁡(σ^2)+2⋅kT …

12 econometrics  aic  arma  information-theory 

(Я разместил аналогичный вопрос на math.se. ) В информационной геометрии детерминант информационной матрицы Фишера представляет собой естественную форму объема на статистическом многообразии, поэтому он имеет хорошую геометрическую интерпретацию. Например, тот факт, что он фигурирует в определении ранее Джеффриса, связан с его инвариантностью при репараметризации, которая является (imho) геометрическим свойством. Но …

12 variance  information-theory  fisher-information  information-geometry 

Примечание: этот вопрос является репостом, так как мой предыдущий вопрос пришлось удалить по юридическим причинам. Сравнивая PROC MIXED из SAS с функцией lmeиз nlmeпакета в R, я наткнулся на некоторые довольно запутанные различия. Более конкретно, степени свободы в разных тестах различаются между PROC MIXEDи lme, и я задавался вопросом, почему. …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Я хотел бы рассчитать дивергенцию Дженсена-Шеннона для следующих трех распределений. Является ли приведенный ниже расчет правильным? (Я следовал формуле JSD из Википедии ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) + …

12 distance-functions  information-theory