Статистика и большие данные

У меня есть модель для прогнозирования траектории (х как функция времени) с несколькими параметрами. В настоящий момент я вычисляю среднеквадратичную ошибку (RMSE) между прогнозируемой траекторией и экспериментально записанной траекторией. В настоящее время я минимизирую эту разницу (RMSE), используя simplex (fminsearch в matlab). Несмотря на то, что этот метод дает хорошие …

13 maximum-likelihood  curve-fitting 

Используя R или Excel, как проще всего преобразовать таблицу частот в вектор значений? Например, как бы вы преобразовали следующую таблицу частот Value Frequency 1. 2 2. 1 3. 4 4. 2 5. 1 в следующий вектор? 1, 1, 2, 3, 3, 3, 3, 4, 4, 5

13 r  dataset  excel 

BBBVar(maxiXi)≤B,Var(maxiXi)≤B, \mbox{Var}(\max_i X_i) \leq B \enspace, X={X1,…,XM}X={X1,…,XM}X = \{ X_1, \ldots, X_M \}MMMμ1,…,μMμ1,…,μM\mu_1, \ldots, \mu_Mσ21,…,σ2Mσ12,…,σM2\sigma_1^2, \ldots, \sigma_M^2 Я могу вывести это но эта граница кажется очень свободной. Численный тест показывает, что может быть возможным, но я не смог доказать это. Любая помощь приветствуется.Var(maxiXi)≤∑iσ2i,Var(maxiXi)≤∑iσi2, \mbox{Var}(\max_i X_i) \leq \sum_i \sigma_i^2 \enspace, B=maxiσ2iB=maxiσi2B …

13 variance  bounds  maximum 

Модели гауссовского дискриминантного анализа изучают а затем применяют правило Байеса для оценки Следовательно, они являются генеративными моделями. Почему тогда это называется дискриминантным анализом? Если это происходит потому, что мы в итоге получаем кривую дискриминанта между классами, то это происходит для всех порождающих моделей.п( х | у)п(Икс|Y)P(x|y)п( у| х)= Р( х …

13 normal-distribution  discriminant-analysis  generative-models 

Название говорит само за себя, и я в замешательстве. Следующее запускает повторные измерения aov () в R и выполняет то, что я думал, было эквивалентным вызовом lm (), но они возвращают различные остатки ошибок (хотя суммы квадратов одинаковы). Ясно, что остатки и подогнанные значения из aov () - это те, …

13 r  anova  repeated-measures  linear-model 

Кто-нибудь знает, было ли описано следующее (и так или иначе), если это звучит как правдоподобный метод изучения прогностической модели с очень несбалансированной целевой переменной? Часто в CRM-приложениях интеллектуального анализа данных мы будем искать модель, в которой положительное событие (успех) очень редко по сравнению с большинством (отрицательный класс). Например, у меня …

13 data-mining  predictive-models 

Этот вопрос мотивирован этим . Я посмотрел два источника, и это то, что я нашел. А. ван дер Ваарт, Асимптотическая статистика: Редко можно явно рассчитать вероятность профиля, но его численная оценка часто выполнима. Тогда профиль вероятности может служить для уменьшения размерности функции правдоподобия. Профильные функции правдоподобия часто используются так же, …

13 estimation  maximum-likelihood  likelihood  asymptotics  profile-likelihood 

У меня есть следующий вывод логистической регрессии: Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.5716 0.1734 3.297 0.000978 *** R1 -0.4662 0.2183 -2.136 0.032697 * R2 -0.5270 0.2590 -2.035 0.041898 * Уместно ли сообщить об этом следующим образом: Коэффициент бета, коэффициент шансов, Zvalue, P значение. Если да, как я …

13 logistic 

Мне кажется, я понимаю, как работают основы самозагрузки , но я не уверен, что понимаю, как я могу использовать самозагрузку для выбора модели или чтобы избежать переобучения. Например, для выбора модели вы бы просто выбрали модель, которая дает наименьшую ошибку (может быть, дисперсию?) Во всех выборках начальной загрузки? Существуют ли …

13 model-selection  cross-validation  bootstrap 

Предположим, я измерил некоторую переменную у братьев и сестер, которые вложены в семьи. Структура данных выглядит следующим образом: семейный брат ------ ------- ----- 1 1 год_11 1 2 год_12 2 1 год_21 2 2 y_22 2 3 y_23 ... ... ... Я хочу знать корреляцию между измерениями, сделанными на братьях …

13 mixed-model  intraclass-correlation 

Насколько я понимаю, отношение рисков из модели пропорциональных рисков Кокса сравнивает влияние на степень опасности данного фактора с контрольной группой. Как бы вы сообщили об этом аудитории, которая не знает статистику? Попробуем привести пример. Скажем, мы включаем людей в исследование того, как долго они покупают диван. У нас право на …

13 survival  cox-model 

Несколько лет назад я проходил курс вероятностного обучения в университете, но сейчас я прорабатываю некоторые алгоритмы машинного обучения, и некоторые математические навыки просто сбивают с толку. В частности, сейчас я изучаю алгоритм EM (максимизация ожидания), и кажется, что между тем, что требуется, и тем, что у меня есть, есть большая …

13 probability  machine-learning 

Используя следующий код, я попытался нарисовать четыре графика на графике R. Я не доволен этой цифрой, потому что между графиками много места, поэтому ширина графиков недостаточна для анализа графиков. Может ли кто-нибудь помочь мне создать хороший график с четырьмя графиками? Как сохранить метки оси X от 1 до 10 вместо …

13 r  data-visualization 

Таблица 18.1 в Элементах статистического обучения суммирует эффективность нескольких классификаторов в наборе данных 14 классов. Я сравниваю новый алгоритм с лассо и эластичной сеткой для таких задач мультиклассовой классификации. Используя glmnetверсию 1.5.3 (R 2.13.0), я не могу воспроизвести пункт 7. ( многочлен с пенизированным ) в таблице, где количество используемых …

13 classification  lasso  glmnet 

У меня есть большой набор точек данных в форме (значит, stdev). Я хочу уменьшить это значение до одного (лучшего) среднего и (надеюсь) меньшего стандартного отклонения. Очевидно , я мог бы просто вычислить , однако это не принимает во внимание тот факт, что некоторые из точек данных значительно более точны, чем …

13 normal-distribution  repeated-measures  weighted-mean