Вопросы с тегом «entropy»

Не ссылаясь на источники, Википедия определяет кросс-энтропию дискретных распределений и Q какппPQQQ ЧАС×( P; Q )= - ∑Икср ( х )журналQ( Х ) .ЧАС×(п;Q)знак равно-ΣИксп(Икс)журнал⁡Q(Икс),\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Кто первым начал использовать это количество? И кто изобрел этот термин? Я посмотрел в: JE Shore и …

15 information-theory  entropy 

Я группирую распределения вероятностей, используя алгоритм распространения сродства , и планирую использовать расхождение Дженсена-Шеннона в качестве метрики расстояния. Правильно ли использовать сам JSD в качестве расстояния или JSD в квадрате? Почему? Какие различия могут возникнуть в результате выбора одного или другого?

15 machine-learning  clustering  entropy  distance-functions 

Я думал, что концепция типичного набора довольно интуитивна: последовательность длины будет принадлежать типичному набору A ( n ) ϵ, если вероятность выхода последовательности будет высокой. Таким образом, любая последовательность, которая была бы вероятна, была бы в A ( n ) ϵ . (Я избегаю формального определения, связанного с энтропией, потому …

15 entropy  intuition  information-theory 

Этот вопрос дает количественное определение кросс-энтропии с точки зрения ее формулы. Я ищу более условное определение, википедия говорит: В теории информации кросс-энтропия между двумя распределениями вероятностей измеряет среднее число битов, необходимое для идентификации события из набора возможностей, если схема кодирования используется на основе заданного распределения вероятности q, а не «истинного» …

15 entropy  information-theory 

Недавно я прочитал эту статью об энтропии дискретного распределения вероятностей. Он описывает хороший способ восприятия энтропии как ожидаемых числовых битов (по крайней мере, при использовании в определении энтропии), необходимых для кодирования сообщения, когда ваша кодировка оптимальна, учитывая распределение вероятностей используемых вами слов.log2log2\log_2 Однако при распространении на непрерывный случай, как здесь, …

15 entropy  information-theory 

При взгляде на собственные векторы ковариационной матрицы мы получаем направления максимальной дисперсии (первый собственный вектор - это направление, в котором данные наиболее сильно варьируются и т. Д.); это называется анализ главных компонентов (PCA). Мне было интересно, что это будет означать, чтобы посмотреть на собственные векторы / значения матрицы взаимной информации, …

14 pca  entropy  mutual-information  eigenvalues 

Для произвольной непрерывной случайной величины, скажем, XXX , всегда ли ее дифференциальная энтропия меньше ∞∞\infty ? (Это нормально, если это −∞−∞-\infty .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем ?∞∞\infty

14 entropy  information-theory  maximum-entropy 

Энтропии непрерывного распределения с функцией плотности fff определяются как негатив ожидания log(f),log⁡(f),\log(f), и , следовательно , равны ЧАСе= - ∫∞- ∞журнал( ф( х ) ) е( х ) д х .Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Мы также говорим, что любая случайная величина ИксXX , распределение которой имеет плотность еff имеет …

14 distributions  data-transformation  entropy 

Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией. Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?

13 entropy  information-theory  maximum-entropy 

Итак, этот вопрос несколько сложен, но я старательно пытался сделать его как можно более простым. Цель: Короче говоря, есть происхождение негэнтропии, которое не связано с кумулянтами более высокого порядка, и я пытаюсь понять, как это было получено. Фон: (Я все это понимаю) Я самостоятельно изучаю книгу «Анализ независимых компонентов» , …

13 distributions  probability  pdf  entropy 

Есть ли какое-либо применение для количества в статистике или теории информации?∫е( х )2dИкс∫е(Икс)2dИкс \int f(x)^2 dx

13 probability  entropy  information-theory 

Дифференциальная энтропия гауссовых RV равна . Это зависит от , который является стандартным отклонением.σlog2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Если мы нормализуем случайную переменную так, чтобы она имела единичную дисперсию, ее дифференциальная энтропия падает. Для меня это нелогично, поскольку сложность нормализующей постоянной Колмогорова должна быть очень мала по сравнению со снижением энтропии. Можно …

13 information-theory  entropy  randomness 

Имеет ли смысл перекрестная энтропия в контексте регрессии (в отличие от классификации)? Если да, не могли бы вы привести пример с игрушкой через TensorFlow? Если нет, то почему нет? Я читал о кросс-энтропии в Neural Networks и Deep Learning Майкла Нильсена, и кажется, что это то, что естественно можно использовать …

13 regression  entropy  tensorflow  cross-entropy 

У меня очень большой набор данных и около 5% случайных значений отсутствуют. Эти переменные связаны друг с другом. В следующем примере набор данных R - просто игрушечный пример с фиктивными коррелированными данными. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Я реализовал следующую функцию для вычисления энтропии: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Результат: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package # …

11 mathematical-statistics  python  entropy