Статистика и большие данные

В настоящее время я изучаю иерархические байесовские модели, используя JAGS из R, а также pymc, используя Python ( «Байесовские методы для хакеров» ). Я могу получить некоторую интуицию из этого поста : «в итоге вы получите кучу чисел, которые выглядят так, словно« вам каким-то образом удалось взять независимые сэмплы из …

9 bayesian  mcmc  expectation-maximization 

Я изучаю модель гауссовой смеси и сам задаю этот вопрос. Предположим, что базовые данные генерируются из смеси гауссовского распределения и у каждого из них есть средний вектор \ mu_k \ in \ mathbb {R} ^ p , где 1 \ leq k \ leq K, и каждый из них имеет …

9 self-study  expectation-maximization  gaussian-mixture  consistency 

У меня, наверное, глупый вопрос, о котором, должен признаться, я запутался. Представьте себе повторяющуюся генерацию равномерно распределенной случайной ортогональной (ортонормированной) матрицы некоторого размера . Иногда сгенерированная матрица имеет определитель 1, а иногда - 1 . (Есть только два возможных значения. С точки зрения ортогонального вращения, det = - 1 означает, …

9 mathematical-statistics  matrix  random-generation  rotation  determinant 

Я знаю, что МНК беспристрастна, но не эффективна при гетероскедастичности в условиях линейной регрессии. В википедии http://en.wikipedia.org/wiki/Minimum_mean_square_error Оценщик MMSE асимптотически несмещен и сходится по распределению к нормальному распределению: n−−√(x^−x)→dN(0,I−1(x))n(x^−x)→dN(0,I−1(x))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right) , где (х) информация Фишера х. Таким образом, оценщик MMSE асимптотически эффективен. MMSE считается асимптотически …

9 least-squares  heteroscedasticity  efficiency 

В комментарии здесь @gung написал: Я полагаю, что они могут немного перекрываться (возможно, ~ 25%) и все еще быть значительными на уровне 5%. Помните, что 95% -й доверительный интервал, который вы видите, предназначен для отдельного ИЛИ, но тест на 2 ИЛИ показывает разницу между ними. Однако, если они вообще не …

9 logistic  confidence-interval  odds-ratio  references 

Я пытаюсь предсказать балансовую оценку и попробовал несколько различных методов регрессии. Одна вещь, которую я заметил, заключается в том, что прогнозируемые значения имеют некоторую верхнюю границу. То есть фактический баланс находится в , но мои прогнозы достигают вершины около . На следующем графике показан фактический баланс против прогнозируемого (прогнозируется с …

9 regression  distributions  data-transformation  prediction  bounds 

Я собираюсь преподавать статистику в качестве помощника преподавателя во второй половине этого семестра студентам бакалавриата, ориентированным на CS. Большинство учеников, посещающих занятия, не имеют стимула изучать предмет и воспринимают его только по основным требованиям. Я хочу сделать предмет интересным и полезным, а не просто класс, который они учат, чтобы получить …

9 hypothesis-testing  confidence-interval  teaching 

Я пытаюсь лучше понять рецептивные поля CNN. Для этого я хотел бы рассчитать рецептивное поле каждого нейрона в LeNet. Для обычного MLP это довольно просто (см. Http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), но сложнее рассчитать рецептивное поле нейрона в слое, следующем за одним или несколькими сверточными слоями, и объединяя слои. Что такое рецептивное поле …

9 deep-learning  conv-neural-network 

Вот проблема, которая возникла на семестровом экзамене в нашем университете несколько лет назад, и я пытаюсь ее решить. Если являются независимыми случайными переменными с плотностями и соответственно, то покажите, что следует за .X1,X2X1,X2X_1,X_2ββ\betaβ(n1,n2)β(n1,n2)\beta(n_1,n_2)β(n1+12,n2)β(n1+12,n2)\beta(n_1+\dfrac{1}{2},n_2)X1X2−−−−−√X1X2\sqrt{X_1X_2}β(2n1,2n2)β(2n1,2n2)\beta(2n_1,2n_2) Я использовал метод чтобы получить плотность следующим образом: Y=X1X2−−−−−√Y=X1X2Y=\sqrt{X_1X_2}fY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫1y1x2(1−x2)n2−1(1−y2x2)n2−1dxfY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫y11x2(1−x2)n2−1(1−y2x2)n2−1dxf_Y(y)=\dfrac{4y^{2n_1}}{B(n_1,n_2)B(n_1+\dfrac{1}{2},n_2)}\int_y^1\dfrac{1}{x^2}(1-x^2)^{n_2-1}(1-\dfrac{y^2}{x^2})^{n_2-1}dx Я потерян в этот момент на самом деле. …

9 self-study  random-variable  beta-distribution  distributions  jacobian 

Потери L2 вместе с потерями L0 и L1 являются тремя очень распространенными функциями потерь «по умолчанию», используемыми при суммировании апостериорного значения с минимальной апостериорной ожидаемой потерей. Возможно, одной из причин этого является то, что их относительно легко вычислить (по крайней мере, для 1d-распределений), L0 приводит к моде, L1 - к …

9 bayes  teaching  decision-theory  loss-functions 

У меня есть набор данных из опроса клиентов, я хочу развернуть статистический тест, чтобы увидеть, есть ли разница в значении между продуктом 1 и продуктом 2. Вот набор данных отзывов клиентов. Оценка от очень плохой, плохой, хорошо, хорошо, до очень хорошо. customer product1 product2 1 very good very bad 2 …

9 statistical-significance  categorical-data  repeated-measures  ordinal-data 

У меня есть смешанная модель, в которой я хочу найти оценку максимального правдоподобия для данного набора данных и набора частично наблюдаемых данных . Я реализовал и E-шаг (вычисление ожидания учетом и текущих параметров ), и M-шаг, чтобы минимизировать отрицательное логарифмическое правдоподобие с учетом ожидаемого .z z x θ k zxxxzzzzzzxxxθkθk\theta^kzzz …

9 maximum-likelihood  mixture  expectation-maximization 

Для t-тестов, согласно большинству текстов, есть предположение, что данные о населении обычно распределяются. Я не понимаю, почему это так. Разве t-критерий не требует только того, чтобы распределение выборки средних значений выборки было нормально распределено, а не совокупность? Если это так, что критерий Стьюдента в конечном итоге требует только нормальности в …

9 hypothesis-testing  t-test  assumptions  normality-assumption  central-limit-theorem 

Я использую decomposeфункцию Rи придумываю 3 компонента моего ежемесячного временного ряда (тренд, сезонный и случайный). Если я строю график или смотрю на таблицу, я ясно вижу, что временные ряды зависят от сезонности. Тем не менее, когда я регрессирую временной ряд на 11 сезонных фиктивных переменных, все коэффициенты не являются статистически …

9 r  regression  time-series 

В CNN мы изучим фильтры для создания карты объектов в сверточном слое. В Autoencoder каждый скрытый элемент каждого слоя может рассматриваться как фильтр. Какая разница между фильтрами, изученными в этих двух сетях?

9 machine-learning  neural-networks  conv-neural-network  autoencoders