Вопросы с тегом «intuition»

Я пытаюсь получить интуитивное понимание того, как анализ главных компонентов (PCA) работает в предметном (двойном) пространстве . Рассмотрим двумерный набор данных с двумя переменными, x1x1x_1 и x2x2x_2 , и nnn точками данных (матрица данных XX\mathbf X имеет n×2n×2n\times 2 и предполагается, что она центрирована). Обычное представление PCA состоит в том, …

19 pca  linear-algebra  intuition  geometry 

Рассмотрим элементарную идентичность дисперсии: Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2Var(X)=E[(X−E[X])2]=...=E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray} Это простая алгебраическая манипуляция с определением центрального момента в нецентральные моменты. Это позволяет удобно манипулировать в других контекстах. Это также позволяет вычислить дисперсию с помощью одного прохода данных, а не двух проходов, …

18 variance  descriptive-statistics  intuition 

Я видел и наслаждался вопросом « Осмысление анализа главных компонентов» , и теперь у меня такой же вопрос для анализа независимых компонентов. Я имею в виду, я хочу задать всеобъемлющий вопрос об интуитивных способах понимания ICA? Я хочу это понять . Я хочу получить цель этого. Я хочу почувствовать это. …

18 intuition  ica 

Я думал о том, чтобы написать сообщение в блоге об этом интересном анализе Кляйнберга (2002), в котором исследуется сложность кластеризации. Клейнберг обрисовывает в общих чертах три, казалось бы, интуитивных требования к функции кластеризации, а затем доказывает, что такой функции не существует. Существует много алгоритмов кластеризации, которые удовлетворяют двум из трех …

17 mathematical-statistics  clustering  intuition  hierarchical-clustering 

Я читал здесь , что данный образец X1,X2,...,XnX1,X2,...,Xn X_1,X_2,...,X_n из непрерывного распределения с cdf FXFX F_X , выборка, соответствующая Ui=FX(Xi)Ui=FX(Xi) U_i = F_X(X_i) следует стандартному равномерному распределению. Я проверил это, используя качественное моделирование в Python, и мне было легко проверить связь. import matplotlib.pyplot as plt import scipy.stats xs = scipy.stats.norm.rvs(5, …

17 pdf  uniform  cdf  intuition 

Я работал, полагая, что медиана выборки является более надежной мерой центральной тенденции, чем средняя выборка, поскольку она игнорирует выбросы. Поэтому я был удивлен, узнав (в ответе на другой вопрос ), что для выборок, взятых из нормального распределения, дисперсия среднего значения выборки меньше, чем дисперсия медианы выборки (по крайней мере для …

17 distributions  median  intuition  mean  efficiency 

Вопрос (ы): В чем заключается идея и интуиция, лежащие в основе квазимаксимальной вероятностной оценки (QMLE; также известная как псевдо максимальная правдоподобная оценка, PMLE)? Что заставляет оценщик работать, когда фактическое распределение ошибок не соответствует предполагаемому распределению ошибок? Сайт в Википедии для QMLE - это хорошо (кратко, интуитивно понятно), но я мог …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Меня смущает уравнение, которое служит определением степени опасности. Я понимаю, что такое уровень опасности, но я просто не понимаю, как уравнение выражает эту интуицию. Если xxx - случайная величина, которая представляет момент времени смерти кого-либо на интервале времени [0,T][0,T][0,T] . Тогда уровень опасности: h(x)=f(x)1−F(x)h(x)=f(x)1−F(x)h(x)=\frac{f(x)}{1-F(x)} Там , где F(x)F(x)F(x) не представляет …

16 survival  intuition  hazard 

Сегодня я преподавал начальный класс статистики, и один студент подошел ко мне с вопросом, который я перефразирую здесь: «Почему стандартное отклонение определяется как квадратичная дисперсия, а не как квадрат суммы квадратов над N?» Мы определяем дисперсию населения: σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} И стандартное отклонение: σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} . Интерпретация, которую мы можем дать σσ\sigma состоит …

16 variance  standard-deviation  intuition  teaching 

Процедура EM кажется непосвященным более или менее черной магией. Оцените параметры HMM (например), используя контролируемые данные. Затем декодируйте непомеченные данные, используя прямую перемотку назад для «подсчета» событий, как если бы данные были помечены, более или менее. Почему это делает модель лучше? Я кое-что знаю о математике, но я продолжаю хотеть …

16 expectation-maximization  intuition 

Я много раз читал, что случайные эффекты (BLUP / условные режимы, скажем, для субъектов) не являются параметрами линейной модели смешанных эффектов, а вместо этого могут быть получены из оценочных параметров дисперсии / ковариации. Например, Reinhold Kliegl et al. (2011) состояние: Случайные эффекты - это отклонения испытуемых от среднего значения RT …

15 mixed-model  intuition  blup 

В видео-лекциях из Гарвардского журнала « Статистика 110: вероятность», которые можно найти в iTunes и YouTube, я столкнулся с этой проблемой. Я попытался обобщить это здесь: Предположим, нам дают случайную двухкарточную комбинацию из стандартной колоды. Какова вероятность того, что обе карты являются тузами, если у нас есть хотя бы один …

15 probability  conditional-probability  intuition 

Я думал, что концепция типичного набора довольно интуитивна: последовательность длины будет принадлежать типичному набору A ( n ) ϵ, если вероятность выхода последовательности будет высокой. Таким образом, любая последовательность, которая была бы вероятна, была бы в A ( n ) ϵ . (Я избегаю формального определения, связанного с энтропией, потому …

15 entropy  intuition  information-theory 

Насколько я понял, дистанционная корреляция - это надежный и универсальный способ проверить, существует ли связь между двумя числовыми переменными. Например, если у нас есть набор пар чисел: (x1, y1) (x2, y2) ... (xn, yn) мы можем использовать корреляцию расстояний, чтобы проверить, существует ли какая-либо (не обязательно линейная) связь между двумя …

15 correlation  independence  intuition  distance-covariance 

В книге Стивена Пинкера « Лучшие ангелы нашей природы» он отмечает, что Вероятность - это вопрос перспективы. При рассмотрении с достаточно близкого расстояния отдельные события имеют определенные причины. Даже бросок монеты может быть предсказан исходя из начальных условий и законов физики, и опытный маг может использовать эти законы, чтобы бросать …

15 probability  central-limit-theorem  intuition