Статистика и большие данные

Я просмотрел документ на основе заявления о том, что применение PCA перед применением ICA (с использованием пакета fastICA). У меня вопрос, требует ли ICA (fastICA) сначала запуск PCA? В этой статье упоминается, что ... также утверждается, что предварительное применение PCA повышает производительность ICA за счет (1) отбрасывания небольших конечных собственных …

9 pca  dimensionality-reduction  pattern-recognition  ica 

Это практическая проблема для промежуточного экзамена. Проблема в примере алгоритма EM. У меня проблемы с частью (е). Я перечисляю части (a) - (e) для завершения и в случае, если я допустил ошибку ранее. Пусть - независимые экспоненциальные случайные величины со скоростью . К сожалению, фактические значения не наблюдаются, и мы …

9 self-study  maximum-likelihood  latent-variable  expectation-maximization 

Предположим, у меня есть набор точечных данных 2D, и я хочу определить направления всех локальных максимумов дисперсии в данных, например: PCA не помогает в этой ситуации, так как это ортогональное разложение и, следовательно, не может обнаружить обе линии, которые я указал синим цветом, скорее его вывод может выглядеть так, как …

9 pca  dimensionality-reduction 

Когда (то есть Y происходит из модели линейной регрессии), ε ∼ N ( 0 , σ 2 I )Y= A X+ εY=AX+εY = AX + \varepsilonYYY И в этом случае невязок е 1 , ... , е п коррелируют и ненезависимыми. Но когда мы делаем регрессионную диагностику и хотим проверить …

9 regression  residuals  non-independent 

Я смотрю на время, необходимое судьям для принятия решений. Каждый судья оценивает количество заявителей и может одобрить или не одобрить заявку. Дело завершается, когда судья представляет свой отчет, который может быть через некоторое время после слушания. В конце периода исследования ряд дел все еще оставался открытым. Я хочу оценить среднее …

9 survival 

Я пытаюсь предсказать группы предметов, которые кто-то купит ... то есть у меня есть несколько коллинеарных зависимых переменных. Вместо того, чтобы строить 7 или около того независимых моделей, чтобы предсказать вероятность того, что кто-то купит каждый из 7 предметов, а затем объединить результаты, какие методы я должен рассмотреть, чтобы иметь …

9 r  machine-learning  multivariate-analysis 

Я имею в виду любую причину, кроме удобства возможности проведения анализа в рамках одной процедуры.

9 anova 

Я работаю над моделью прогнозируемой стоимости, в которой возраст пациента (целое число, измеренное в годах) является одной из переменных предиктора. Сильная нелинейная связь между возрастом и риском пребывания в больнице очевидна: Я рассматриваю сглаженный сплайн сглаживания регрессии для возраста пациента. Согласно «Элементам статистического обучения» (Hastie et al, 2009, p. 151), …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Очевидно, ошибочно полагать, что отказ от отклонения нулевого значения подразумевает, что нулевое значение истинно. Но в случае , когда нуль не отвергается и соответствующий доверительный интервал (ДИ) узок и вокруг 0, делает это не дает доказательства для нуля? Я придерживаюсь двух соображений: да, на практике это послужит доказательством того, что …

9 hypothesis-testing  statistical-significance  confidence-interval 

Я читаю «Причинность» Иудеи Перл (второе издание 2009 года), а в разделе 1.1.5 «Условная независимость и графоиды» он заявляет: Ниже приведен (частичный) список свойств, удовлетворяемых условным условием независимости (X_ || _Y | Z). Симметрия: (X_ || _ Y | Z) ==> (Y_ || _X | Z). Разложение: (X_ || _ …

9 self-study  bayesian 

Типичный подход к решению проблемы классификации состоит в том, чтобы идентифицировать класс моделей-кандидатов, а затем выполнить выбор модели с использованием некоторой процедуры, такой как перекрестная проверка. Обычно выбирается модель с наивысшей точностью или некоторая связанная функция, которая кодирует информацию о проблеме, например FβFβ\text{F}_\beta . Предполагая, что конечной целью является создание …

9 machine-learning  model-selection  error  scoring-rules 

В сегодняшней презентации спикер выступил с вышеуказанным заявлением. Он сказал, что даже если первая стадия будет неверно определена, оценки коэффициентов второй стадии все равно будут действительны. Будучи скромным аспирантом, я не мог попросить объяснений, поэтому теперь я просил вашей помощи!

9 econometrics  2sls 

В настоящее время я читаю "книгу" вероятностного программирования и байесовских методов для хакеров . Я прочитал несколько глав, и я думал о первой главе, где первый пример с pymc состоит из обнаружения точки ведьмы в текстовых сообщениях. В этом примере случайная величина, указывающая, когда происходит точка переключения, указывается с помощью …

9 probability  mcmc  pymc  change-point 

Предположим следующее: Пусть Zi=min{ki,Xi},i=1,...,nZi=min{ki,Xi},i=1,...,nZ_i = \min\{k_i, X_i\}, i=1,...,n . Также Xi∼U[ai,bi],ai,bi>0Xi∼U[ai,bi],ai,bi>0X_i \sim U[a_i, b_i], \; a_i, b_i >0 . Кроме того, Кя= сaя+ ( 1 - с )bя,0 < с < 1kязнак равносaя+(1-с)бя,0<с<1k_i = ca_i + (1-c)b_i,\;\; 0 k_i) = 1- \Pr(X_i \le k_i) = 1 - кя- аябя- ая= …

9 distributions  central-limit-theorem  censoring  minimum 

Я работаю с примерами из анализа Крушке « Байесовский анализ данных» , в частности, с использованием экспоненциального ANOVA Пуассона в гл. 22, который он представляет в качестве альтернативы частым тестам хи-квадрат независимости для таблиц непредвиденных обстоятельств. Я вижу, как мы получаем информацию о взаимодействиях, которые происходят более или менее часто, …

9 r  bayesian  effect-size  contingency-tables