Вопросы с тегом «maximum-entropy»

Я знаю, что энтропия - это мера случайности процесса / переменной, и ее можно определить следующим образом. для случайной величины множестве : - . В книге МакКея об энтропии и теории информации он приводит это утверждение в гл. 2Икс∈X∈X \inH ( X ) =AAAЧАС( X) = ∑Икся∈ A- р ( …

32 uniform  entropy  maximum-entropy 

В этой статье талантливый исследователь Косма Шализи утверждает, что для полного принятия субъективного байесовского взгляда необходимо также принять нефизический результат, согласно которому стрелка времени (заданная потоком энтропии) действительно должна идти назад . В основном это попытка спорить с максимальной энтропией / полностью субъективной байесовской точкой зрения, выдвинутой и популяризированной ET …

31 bayesian  entropy  maximum-entropy  philosophical 

Я использовал принцип максимальной энтропии, чтобы оправдать использование нескольких дистрибутивов в различных условиях; однако мне еще не удалось сформулировать статистическую, а не теоретико-информационную интерпретацию максимальной энтропии. Другими словами, что означает максимизация энтропии в отношении статистических свойств распределения? Кто-нибудь сталкивался или, возможно, открыл для себя статистическую интерпретацию макс. распределение энтропии, которое …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Я использовал логарифмические нормальные распределения в качестве предыдущих распределений для параметров масштаба (для нормальных распределений, t-распределений и т. Д.), Когда у меня есть приблизительное представление о том, каким должен быть масштаб, но я хочу ошибиться, говоря, что я не знаю много об этом. Я использую это, потому что это использование …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Для произвольной непрерывной случайной величины, скажем, XXX , всегда ли ее дифференциальная энтропия меньше ∞∞\infty ? (Это нормально, если это −∞−∞-\infty .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем ?∞∞\infty

14 entropy  information-theory  maximum-entropy 

Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией. Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?

13 entropy  information-theory  maximum-entropy 

Каково максимальное распределение энтропии для положительной непрерывной переменной с учетом ее первого и второго моментов? Например, гауссово распределение является максимальным распределением энтропии для неограниченной переменной, учитывая ее среднее значение и стандартное отклонение, а гамма-распределение является максимальным распределением энтропии для положительной переменной, учитывая ее среднее значение и среднее значение ее логарифма.

13 distributions  standard-deviation  mean  maximum-entropy 

Вопрос: Bootstrapping превосходит джекнифинг; однако мне интересно, есть ли случаи, когда джекнифинг является единственным или, по крайней мере, жизнеспособным вариантом для характеристики неопределенности из оценок параметров. Кроме того, в практических ситуациях, насколько предвзятый / неточный джекнифинг по сравнению с начальной загрузкой, и могут ли результаты ножевого ножа обеспечить предварительное понимание …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Пусть - совместное распределение двух категориальных переменных с . Скажем, из этого распределения было взято выборок, но нам даны только предельные значения, а именно для : X , Y x , y ∈ { 1 , … , K } n j = 1 , … , Kпх , уpx,yp_{x,y}Икс, …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

Один из важных вопросов, с которыми сталкиваются синоптики, заключается в том, можно ли прогнозировать данную серию или нет? Я наткнулся на статью Питера Кэтта « Энтропия как априорный показатель прогнозируемости », в которой в качестве относительной меры для определения заданного временного ряда используется приблизительная энтропия (ApEn) . В статье говорится, …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Я читал дискуссию в Hacker News об использовании стандартного отклонения в отличие от других показателей, таких как среднее абсолютное отклонение. Итак, если бы мы следовали принципу максимальной энтропии, с каким распределением мы бы использовали, если бы знали только среднее значение распределения и среднее абсолютное отклонение? Или имеет смысл использовать медиану …

10 distributions  maximum-entropy  mad 

Короткий вопрос: почему это правда ?? Длинный вопрос: Очень просто, я пытаюсь выяснить, что оправдывает это первое уравнение. Автор книги, которую я читаю (контекст здесь, если вы хотите, но не обязательно), утверждает следующее: Из-за предположения о почти гауссовости мы можем написать: п0( ξ) = Aϕ ( ξ)е х р ( …

9 probability  normal-distribution  entropy  maximum-entropy 

Я заинтригован концепцией модели максимальной энтропии Маркова (MEMM), и я думаю об использовании ее для тегера части речи (POS). В настоящее время я использую традиционный классификатор Maximum Entropy (ME), чтобы пометить каждое отдельное слово. При этом используется ряд функций, в том числе два предыдущих тега. MEMM используют алгоритм Витерби, чтобы …

9 machine-learning  mcmc  maximum-entropy  memm