Статистика и большие данные

Вопросы и ответы для людей, интересующихся статистикой, машинным обучением, анализом данных, интеллектуальным анализом данных и визуализацией данных

1
Условное ожидание R-квадрата
Рассмотрим простую линейную модель: Yy = X ′ ββ + ϵyy=X′ββ+ϵ\pmb{y}=X'\pmb{\beta}+\epsilon где ε я ~ я . я . д .N ( 0 , сг 2 )ϵi∼i.i.d.N(0,σ2)\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2) и Х ∈ R п × рX∈Rn×pX\in\mathbb{R}^{n\times p} , р ≥ 2p≥2p\geq2 и ХXX содержит столбец констант. Мой вопрос заключается в том, что, …

3
Полная информация о максимальной вероятности пропущенных данных в R
Контекст : иерархическая регрессия с некоторыми отсутствующими данными. Вопрос : Как использовать оценку максимальной вероятности полной информации (FIML) для устранения пропущенных данных в R? Есть ли пакет, который вы бы порекомендовали, и каковы типичные шаги? Онлайн-ресурсы и примеры также будут очень полезны. PS : я социолог, который недавно начал использовать …

1
Построение распределения Дирихле с гамма-распределением
Пусть X1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1} - взаимно независимые случайные величины, каждая из которых имеет гамма-распределение с параметрами αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1 показывают, что Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,k, имеют совместное распределение какDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) Объединенный pdf из (X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})} Затем, чтобы найти совместную pdf из(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})я не могу найти якобиан, т. Е.J(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

2
Визуализация сплайновой основы
Учебники, как правило, имеют хорошие примеры графиков основы для однородных сплайнов, когда они объясняют тему. Что-то вроде ряда маленьких треугольников для линейного сплайна или ряда маленьких горбов для кубического сплайна. Это типичный пример: http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_introcom_a0000000525.htm Мне интересно, есть ли простой способ создать график сплайн-базиса, используя стандартные функции R (например, bs или …

1
Стандартные ошибки для множественных коэффициентов регрессии?
Я понимаю, что это очень простой вопрос, но я нигде не могу найти ответ. Я вычисляю коэффициенты регрессии, используя либо нормальные уравнения, либо QR-разложение. Как я могу вычислить стандартные ошибки для каждого коэффициента? Я обычно думаю о стандартных ошибках как о: SEx¯ =σx¯n√SEx¯ =σx¯nSE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}} What is σx¯σx¯\sigma_{\bar …

2
Доля объясненной дисперсии в модели смешанных эффектов
Я не знаю, спрашивалось ли об этом раньше, но я ничего не нашел по этому поводу. Мой вопрос заключается в том, может ли кто-нибудь предоставить хорошую справку, чтобы узнать, как получить долю дисперсии, объясняемой каждым из фиксированных и случайных факторов в модели смешанных эффектов.

1
ЛАССО предположения
В сценарии регрессии LASSO, где Y= Xβ+ ϵYзнак равноИксβ+εy= X \beta + \epsilon , и оценки LASSO задаются следующей задачей оптимизации минβ| | Y- Хβ| | +τ| | β| |1минβ||Y-Иксβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Существуют ли какие-либо предположения относительно распределения εε\epsilon ? В сценарии OLS можно ожидать, …

1
Как работает случайная кухонная раковина?
В прошлом году на NIPS 2017 Али Рахими и Бен Рехт выиграли тест на награду за свою работу «Случайные функции для крупномасштабных машин с ядром», где они представили случайные функции, которые впоследствии были кодифицированы как алгоритм случайных кухонных раковин. В рамках публикации своего документа они показали, что их модель может …

4
О CNN, ядрах и инвариантности масштаба / вращения
У меня есть пара вопросов, которые смущают меня относительно CNN. 1) Функции, извлеченные с использованием CNN, инвариантны относительно масштаба и вращения? 2) Ядра, которые мы используем для свертки с нашими данными, уже определены в литературе? что это за ядра? это отличается для каждого приложения?

4
ACF и PACF Формула
Я хочу создать код для построения ACF и PACF из данных временных рядов. Так же, как этот сгенерированный сюжет из Minitab (ниже). Я пытался найти формулу, но до сих пор не понимаю ее. Не могли бы вы рассказать мне формулу и как ее использовать, пожалуйста? Какова горизонтальная красная линия на …

2
Сколько раз мы должны повторять K-кратное резюме?
Я наткнулся на эту тему, глядя на различия между начальной загрузкой и перекрестной проверкой - кстати, отличный ответ и ссылки. Что меня сейчас интересует, так это то, что если я должен был выполнить повторное 10-кратное CV, скажем, чтобы вычислить точность классификатора, сколько раз n я должен повторить это? Имеет ли …

1
Почему дивергенция КЛ неотрицательна?
Почему дивергенция КЛ неотрицательна? С точки зрения теории информации у меня есть такое интуитивное понимание: Скажем, есть два ансамбля AAA и BBB которые состоят из одного и того же набора элементов, помеченных знаком xxx . p(x)p(x)p(x) и q(x)q(x)q(x) - разные распределения вероятностей по ансамблю AAA и BBB соответственно. С точки …

3
Как систематически удалять коллинеарные переменные в Python? [закрыто]
Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 2 года назад . До сих пор я удалял коллинеарные переменные как часть процесса подготовки данных, просматривая корреляционные таблицы и удаляя переменные, которые …

1
Каковы преимущества ядра PCA перед стандартным PCA?
Я хочу реализовать алгоритм в статье, которая использует ядро ​​SVD для декомпозиции матрицы данных. Итак, я читал материалы о методах ядра, ядре PCA и т. Д. Но это все еще очень неясно для меня, особенно когда речь идет о математических деталях, и у меня есть несколько вопросов. Почему методы ядра? …
18 pca  svd  kernel-trick 

2
Что вызывает внезапное падение ошибок обучения / тестирования при обучении нейронной сети?
Я видел графики ошибок тестирования / обучения, внезапно падающих в определенные эпохи несколько раз во время обучения нейронной сети, и мне интересно, что вызывает эти скачки производительности: Это изображение взято из Kaiming He's Github, но подобные графики появляются во многих статьях.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.