Статистика и большие данные

Вопрос (ы): В чем заключается идея и интуиция, лежащие в основе квазимаксимальной вероятностной оценки (QMLE; также известная как псевдо максимальная правдоподобная оценка, PMLE)? Что заставляет оценщик работать, когда фактическое распределение ошибок не соответствует предполагаемому распределению ошибок? Сайт в Википедии для QMLE - это хорошо (кратко, интуитивно понятно), но я мог …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Предположим, что XXX и YYY стандартно равномерно распределены в [0,1][0,1][0, 1] , и они независимы, что такое PDF Z=Y/XZ=Y/XZ = Y / X ? Ответ из некоторого учебника по теории вероятностей: fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le z \le 1 \\ 1/(2z^2), …

17 probability  derived-distributions 

Как указано в этом вопросе, максимальный ранг ковариационной матрицы равен n−1n−1n-1 где nnn - размер выборки, поэтому, если размер ковариационной матрицы равен размеру выборки, он будет единственным. Я не могу понять, почему мы вычитаем 111 из максимального ранга nnn ковариационной матрицы.

17 covariance-matrix  linear-algebra 

После того как я построил (R) модель случайного леса в R, вызов rf$importanceпредоставляет мне две меры для каждой переменной-предиктора, %IncMSEи IncNodePurity. Является ли интерпретация того, что предикторные переменные с меньшими %IncMSEзначениями важнее, чем предикторные переменные с большими %IncMSEзначениями? Как насчет IncNodePurity?

17 r  feature-selection  random-forest 

В стандартной настройке максимального правдоподобия (iid sample из некоторого распределения с плотностью f y ( y | θ 0 )) и в случае правильно заданной модели информация Фишера задается какY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] где ожидание берется относительно истинной плотности, которая генерировала данные. Я прочитал, что наблюдаемая …

17 maximum-likelihood  fisher-information 

Я слышал, что при нулевой гипотезе распределение p-значений должно быть равномерным. Тем не менее, моделирование биномиального теста в MATLAB дает очень отличающиеся от равномерного распределения средние значения, превышающие 0,5 (в данном случае 0,518): coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; for j = …

17 matlab  p-value  binomial  simulation  uniform 

Я нашел эту реализацию Python в Дженкс Natural Breaks алгоритма , и я мог бы сделать его запустить на моем компьютере Windows 7. Это довольно быстро, и он находит разрывы за короткое время, учитывая размер моих геоданных. Прежде чем использовать этот алгоритм кластеризации для моих данных, я использовал sklearn.clustering.KMeans (здесь) …

17 python  clustering  optimization 

Мне всегда говорили, что CDF уникален, однако PDF / PMF не уникален, почему это так? Можете ли вы привести пример, когда PDF / PMF не является уникальным?

17 probability  distributions  pdf  cdf 

Я использовал повторную перекрестную проверку в k-кратном размере и сообщал о среднем значении (метрики оценки, например, чувствительности, специфичности), вычисленном как общее среднее значение для сгибов различных серий перекрестной проверки. Тем не менее, я не уверен, как я должен сообщать о дисперсии. Я нашел много вопросов здесь, обсуждающих повторную перекрестную проверку, …

17 cross-validation 

Ответ на вопрос Отношение между коэффициентами корреляции фи, Мэтьюса и Пирсона? показывает, что все три метода коэффициентов являются эквивалентами. Я не из статистики, поэтому это должен быть простой вопрос. В статье Мэтьюса (www.sciencedirect.com/science/article/pii/0005279575901099) описывается следующее: "A correlation of: C = 1 indicates perfect agreement, C = 0 is expected for …

17 correlation  interpretation  pearson-r 

Я использую, FactoMineRчтобы свести мой набор данных измерений к скрытым переменным. Карта переменная выше ясно для меня , чтобы интерпретировать, но я смущен , когда речь идет о связях между переменными и компонента 1. Посмотрев на переменной карте, ddpи covочень близко к компоненту в карте, и ddpAbsнемного дальше прочь. Но …

17 correlation  pca  factor-analysis  association-measure  biplot 

Эй, ребята, я нашел одну или две статьи, в которых используется регрессия гребня (для данных о баскетболе). Мне всегда говорили стандартизировать мои переменные, если я запускал регрессию гребня, но мне просто сказали сделать это, потому что гребень был масштабным вариантом (регрессия гребня не была действительно частью нашего курса, поэтому наш …

17 regression  standardization 

Кажется, что KNN - это дискриминационный алгоритм обучения, но я не могу найти никаких онлайн-источников, подтверждающих это. Является ли KNN дискриминационным алгоритмом обучения?

17 machine-learning  classification  k-nearest-neighbour 

У меня есть следующее изображение, которое, как мне сказали, является иллюстрацией того, как апостериорное распределение вероятностей представляет собой комбинацию предыдущих и вероятностных распределений. Мне сказали, что с изображением что-то не так, а именно, что апостериорное распределение не может иметь форму, которую оно имеет, учитывая форму функции правдоподобия. Но я изо …

17 distributions  posterior 

Я не могу понять использование полиномиальных контрастов в регрессионном подборе. В частности, я имею в виду кодировку, используемую Rдля выражения интервальной переменной (порядковой переменной с одинаково разнесенными уровнями), описанную на этой странице . В примере на этой странице , если я правильно понял, R соответствует модели для интервальной переменной, возвращая …

17 r  regression  contrasts