Статистика и большие данные

Я имею дело с байесовской иерархической линейной моделью , здесь описывается сеть. представляет ежедневные продажи продукта в супермаркете (наблюдается).YYY - известная матрица регрессоров, включая цены, акции, день недели, погоду, праздники.XXX - неизвестный уровень скрытого запаса каждого продукта, который вызывает большинство проблем и который я считаю вектором двоичных переменных, по одному …

20 regression  bayesian  neural-networks  generalized-linear-model  bayesian-network 

У нас много хороших дискуссий по поводу идеального разделения в логистической регрессии. Например, логистическая регрессия в R привела к идеальному разделению (феномен Хаука-Доннера). Что теперь? и модель логистической регрессии не сходится . Лично я все еще чувствую, что это не интуитивно понятно, почему это будет проблемой и почему добавление регуляризации …

20 logistic  generalized-linear-model  optimization  intuition  separation 

Я читаю об адаптивном MCMC (см., Например, главу 4 « Справочника цепи Маркова Монте-Карло» , изд. Brooks et al., 2011; а также Andrieu & Thoms, 2008 ). Основной результат Roberts and Rosenthal (2007) состоит в том, что если схема адаптации удовлетворяет исчезающему условию адаптации (плюс некоторая другая техническая специфика), адаптивный …

20 simulation  mcmc  random-generation  metropolis-hastings 

Я прочитал, что это условия для использования модели множественной регрессии: остатки модели почти нормальные, изменчивость остатков почти постоянна остатки независимы, и каждая переменная линейно связана с результатом. Чем отличаются 1 и 2? Вы можете увидеть один здесь прямо: Таким образом, вышеприведенный график говорит, что остаток, составляющий 2 стандартных отклонения, находится …

20 regression  multiple-regression  assumptions 

Мне задали этот вопрос в интервью. Допустим, у нас есть корреляционная матрица вида ⎡⎣⎢10.60.80.61γ0.8γ1⎤⎦⎥[10.60.80.61γ0.8γ1]\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix} Меня попросили найти значение гаммы, учитывая эту матрицу корреляции. Я думал, что мог бы что-то сделать с собственными значениями, поскольку все они должны быть больше или равны 0. (Матрица должна быть положительной полуопределенной) - но я …

20 pearson-r  correlation-matrix 

В свете этого вопроса: Доказательство того, что коэффициенты в модели OLS следуют t-распределению с (nk) степенями свободы Я хотел бы понять, почему F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, где - число параметров модели, а - число наблюдений, а - полная дисперсия, - остаточная дисперсия, следует распределению .n T S S R S …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

Мне хорошо известны проблемы пошагового / прямого / обратного отбора в регрессионных моделях. Есть многочисленные случаи, когда исследователи осуждали методы и указывали на лучшие альтернативы. Мне было любопытно, существуют ли какие-либо истории, где существует статистический анализ: использовал ступенчатую регрессию; сделал некоторые важные выводы на основе окончательной модели заключение было неверным, …

20 regression  stepwise-regression  history 

Я не уверен, к чему относится этот вопрос: перекрестная проверка или рабочее место. Но мой вопрос смутно связан со статистикой. Этот вопрос (или, я думаю, вопросы) возник во время моей работы в качестве "стажера по науке о данных". Я строил эту модель линейной регрессии и изучал остаточный график. Я видел …

20 careers 

Игроку предоставляется честный шестигранный кубик. Чтобы выиграть, она должна бросить число больше 4 (то есть 5 или 6). Если она бросает 4, она должна катиться снова. Каковы ее шансы на победу? Я думаю, что вероятность выигрыша , может быть выражена рекурсивно как:P(W)P(W)P(W) P(W)=P(r=5∪r=6)+P(r=4)⋅P(W)P(W)=P(r=5∪r=6)+P(r=4)⋅P(W) P(W) = P(r = 5 \cup r …

20 probability 

Я читал Марауна и др. «Нестационарные гауссовские процессы в вейвлет-области: синтез, оценка и значимое тестирование» (2007), в котором определяется класс нестационарных ГП, которые можно задавать умножителями в вейвлет-области. Реализация одного такого GP: Где η ( т ) является белым шумом, W г является непрерывное вейвлетпреобразование по отношению к вейвлет г …

20 normal-distribution  stochastic-processes  gaussian-process  fourier-transform  wavelet 

Это не домашнее задание. Мне интересно понять, правильна ли моя логика в этой простой задаче статистики. Допустим, у меня есть двусторонняя монета, в которой вероятность перевернуть голову равна а вероятность перевернуть хвост - . Давайте предположим, что все сальто имеют независимые вероятности. Теперь, скажем, я хочу максимально увеличить свои шансы …

20 probability 

Если - известные плотности, из которых я могу смоделировать, т. Е. Для которых доступен алгоритм. и если продукт является интегрируемым, существует ли общий подход для моделирования на основе этой плотности продукта с использованием симуляторы от ?k ∏ i = 1 f i ( x ) α if1,…,fkf1,…,fkf_1,\ldots,f_kf i∏i=1kfi(x)αiα1,…,αk>0∏i=1kfi(x)αiα1,…,αk>0\prod_{i=1}^k f_i(x)^{\alpha_i}\qquad \alpha_1,\ldots,\alpha_k>0fifif_i

20 simulation  monte-carlo  geometric-mean  scalability  finite-mixture-model 

В научных работах по машинному обучению часто рассматриваются обучение и умозаключение как две отдельные задачи, но мне не совсем понятно, в чем заключается различие. В этой книге , например , они используют байесовской статистики для обоих видов задач, но не обеспечивают мотивацию для этого различия. У меня есть несколько расплывчатых …

20 machine-learning  terminology 

Я использую классификатор, который возвращает вероятности. Для расчета AUC я использую pROC R-пакет. Вероятности выхода из классификатора: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsпоказывает вероятность быть в классе «1». Как показано, классификатор классифицировал все образцы в классе «1». Истинный вектор метки: truel=c(1, 1, 1, 1, 1, …

20 machine-learning  auc 

Начиная с моего первого класса вероятности я задавался вопросом о следующем. Вычисление вероятностей обычно вводится через отношение «предпочтительных событий» к общему числу возможных событий. В случае броска двух шестигранных кубиков количество возможных событий составляет , как показано в таблице ниже.363636 1234561( 1 , 1 )( 2 , 1 )( 3 …

20 probability  dice