Вопросы с тегом «entropy»

Энтропия Шеннона является отрицательной суммой вероятностей каждого результата, умноженной на логарифм вероятностей для каждого результата. Какой цели служит логарифм в этом уравнении? Интуитивно понятный или визуальный ответ (в отличие от глубоко математического ответа) получит бонусные баллы!

72 entropy  intuition  sequence-analysis 

Я хочу измерить энтропию / плотность информации / подобие шаблона двумерной двоичной матрицы. Позвольте мне показать некоторые фотографии для уточнения: Этот дисплей должен иметь довольно высокую энтропию: A) Это должно иметь среднюю энтропию: B) Эти фотографии, наконец, должны иметь почти нулевую энтропию: C) D) E) Есть ли какой-то индекс, который …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Я видел здесь несколько вопросов о том, что это значит с точки зрения непрофессионала, но они слишком непрофессиональны для моей цели здесь. Я пытаюсь математически понять, что означает оценка AIC. Но в то же время я не хочу строгого доказательства, которое заставило бы меня не видеть более важные моменты. Например, …

34 self-study  model-selection  aic  entropy  information-theory 

Я читаю об энтропии и мне трудно понять, что это означает в непрерывном случае. На вики-странице указано следующее: Распределение вероятностей событий в сочетании с объемом информации о каждом событии образует случайную величину, ожидаемое значение которой представляет собой средний объем информации или энтропию, генерируемую этим распределением. Так что, если я вычислю …

32 entropy 

Я знаю, что энтропия - это мера случайности процесса / переменной, и ее можно определить следующим образом. для случайной величины множестве : - . В книге МакКея об энтропии и теории информации он приводит это утверждение в гл. 2Икс∈X∈X \inH ( X ) =AAAЧАС( X) = ∑Икся∈ A- р ( …

32 uniform  entropy  maximum-entropy 

В этой статье талантливый исследователь Косма Шализи утверждает, что для полного принятия субъективного байесовского взгляда необходимо также принять нефизический результат, согласно которому стрелка времени (заданная потоком энтропии) действительно должна идти назад . В основном это попытка спорить с максимальной энтропией / полностью субъективной байесовской точкой зрения, выдвинутой и популяризированной ET …

31 bayesian  entropy  maximum-entropy  philosophical 

После долгих размышлений о Cross Validated я все еще не чувствую, что я ближе к пониманию дивергенции KL вне области теории информации. Это довольно странно, когда кто-то с математическим образованием находит, что гораздо легче понять объяснение теории информации. Чтобы изложить мое понимание на фоне теории информации: если у нас есть …

23 inference  entropy  information-theory  kullback-leibler  compression 

Я использовал принцип максимальной энтропии, чтобы оправдать использование нескольких дистрибутивов в различных условиях; однако мне еще не удалось сформулировать статистическую, а не теоретико-информационную интерпретацию максимальной энтропии. Другими словами, что означает максимизация энтропии в отношении статистических свойств распределения? Кто-нибудь сталкивался или, возможно, открыл для себя статистическую интерпретацию макс. распределение энтропии, которое …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Каков наиболее информационно-физически-теоретический правильный способ вычисления энтропии изображения? Сейчас меня не волнует эффективность вычислений - я хочу, чтобы теоретически это было как можно более корректно. Давайте начнем с серого изображения. Одним из интуитивных подходов является рассмотрение изображения как пакета пикселей и вычисление где - количество уровней серого, а - вероятность, …

22 spatial  entropy  image-processing 

Я никоим образом не статистик (у меня был курс математической статистики, но не более того), и недавно, изучая теорию информации и статистическую механику, я встретил то, что называется «мера неопределенности» / «энтропия». Я прочитал вывод Хинчина как меру неопределенности, и это имело смысл для меня. Другой вещью, которая имела смысл, …

21 entropy  inference 

В определении совместно типичных множеств (в «Элементах теории информации», гл. 7.6, с. 195) мы используем пр(хп)=П п я = 1 р(хя)- 1Nжурналр ( хN)-1Nжурнал⁡п(ИксN)-\frac{1}{n} \log{p(x^n)} в качестве эмпирической энтропии в качестве -sequence с . Я никогда не сталкивался с этой терминологией раньше. Это нигде не определено явно согласно индексу книги.NNnр …

19 information-theory  entropy 

Я ищу книгу или онлайн-ресурс, который объясняет различные виды энтропии, такие как Sample Entropy и Shannon Entropy, а также их преимущества и недостатки. Может ли кто-нибудь указать мне правильное направление?

18 references  entropy 

Предположим, у меня есть два набора XXX и YYY и совместное распределение вероятностей по этим наборам p(x,y)p(x,y)p(x,y) . Пусть p(x)p(x)p(x) и p(y)p(y)p(y) обозначают маргинальные распределения по XXX и YYY соответственно. Взаимная информация между XXX и YYY определяется следующим образом: I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) то есть это среднее значение поточечной взаимной …

18 entropy  mutual-information  information-theory 

Я хотел бы знать, использует ли случайный лес Бреймана (случайный лес в пакете R randomForest) в качестве критерия расщепления (критерий для выбора атрибута) получение информации или индекс Джини? Я пытался выяснить это на http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm и в документации для пакета randomForest в R. Но единственное, что я обнаружил, это то, что …

15 r  random-forest  entropy  gini 

Тесты перестановки (также называемые тестом рандомизации, тестом повторной рандомизации или точным тестом) очень полезны и оказываются полезными, когда предположение о нормальном распределении, требуемое, например, t-testне выполняется, и когда преобразование значений путем ранжирования непараметрическое тестирование, как, Mann-Whitney-U-testможет привести к потере большего количества информации. Тем не менее, одно и только одно предположение …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information