Статистика и большие данные

Я понимаю причину разделения данных на наборы тестов и наборов валидации. Я также понимаю, что размер раскола будет зависеть от ситуации, но обычно будет варьироваться от 50/50 до 90/10. Я построил RNN, чтобы исправить орфографию и начать с набора данных ~ 5м предложений. Я брею 500 тыс. Предложений, а затем …

15 machine-learning  neural-networks  validation 

Является ли среднее значение нескольких положительно определенных матриц обязательно положительно определенным или положительным полуопределенным? Среднее является поэлементным.

15 mathematical-statistics  matrix  covariance-matrix 

Я новичок в статистике, так что вы, ребята, не могли бы вы мне помочь? Мой вопрос заключается в следующем: что на самом деле означает объединенная дисперсия ? Когда я ищу формулу для объединенной дисперсии в Интернете, я нахожу много литературы, использующей следующую формулу (например, здесь: http://math.tntech.edu/ISR/Maturgical_Statistics/Introduction_to_Statistical_Tests/thispage/newnode19.html ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle …

15 variance  mean  pooling 

Я думаю, что у меня есть некоторая фундаментальная путаница в отношении того, как работают функции в логистической регрессии (или, может быть, просто функции в целом). Как получается, что функция h (x) создает кривую, видимую слева на изображении? Я вижу, что это график двух переменных, но тогда эти две переменные (x1 …

15 logistic  data-visualization  function 

Я хотел бы получить совет по объединению калибровочных графиков / статистики после многократного вменения. В условиях разработки статистических моделей для прогнозирования будущего события (например, с использованием данных из больничных записей для прогнозирования выживаемости или событий после выписки из больницы) можно предположить, что существует некоторая или много недостающей информации. Множественное вменение …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Существует много литературы, в которой подчеркивается, что метод максимизации ожиданий на моделях смесей (смесь гауссовской, скрытой марковской модели и т. Д.). Почему EM важен? EM - это просто способ оптимизации, который широко не используется в качестве метода, основанного на градиенте (метод градиентного приличия или метод Ньютона / квазиньютона) или другого …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Я работаю над проблемой кластеризации текста. Данные содержат несколько предложений. Есть хороший алгоритм, который достигает высокой точности на коротком тексте? Можете ли вы предоставить хорошие ссылки? Алгоритмы, такие как KMeans, спектральная кластеризация не работают хорошо для этой проблемы.

15 machine-learning  clustering  text-mining 

У меня есть модель прогнозирования, протестированная четырьмя методами, как вы можете видеть на рисунке ниже. Атрибут, который предсказывает модель, находится в диапазоне 0-8. Вы можете заметить, что во всех методах указаны один выброс верхней границы и три выброса нижней границы . Интересно, уместно ли удалять эти экземпляры из данных? Или …

15 regression  machine-learning  multiple-regression  predictive-models  outliers 

Пусть - семейство случайных величин iid, принимающих значения в , имеющих среднее и дисперсию . Простой доверительный интервал для среднего значения, использующий всякий раз, когда он известен, задается как {Xi}ni=1{Икся}язнак равно1N\{X_i\}_{i=1}^n[0,1][0,1][0,1]μμ\muσ2σ2\sigma^2σσ\sigmaP(|X¯−μ|>ε)≤σ2nε2≤1nε2(1).п(|Икс¯-μ|>ε)≤σ2Nε2≤1Nε2(1), P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1). Кроме того, поскольку асимптотически распределяется …

15 normal-distribution  confidence-interval  references  asymptotics  approximation 

Во время обучения простого нейронного бинарного классификатора я получаю высокую величину потерь, используя кросс-энтропию. Несмотря на это, значение точности на проверочном наборе остается достаточно хорошим. Это имеет какое-то значение? Нет строгой корреляции между потерей и точностью? У меня на тренировке и проверке есть следующие значения: 0,4011 - соотв: 0,8224 - …

15 neural-networks  accuracy 

Я знаю, что обычный PCA не следует вероятностной модели для наблюдаемых данных. Так в чем же принципиальная разница между PCA и PPCA ? В PPCA модель скрытых переменных содержит, например, наблюдаемые переменные , скрытые (ненаблюдаемые переменные ) и матрицу , которая не должна быть ортонормированной, как в обычной PCA. Еще …

15 pca 

Предположим, вы подходите к линейной / логистической регрессии с целью объективной оценки . Вы очень уверены, что и очень положительны по отношению к шуму в своих оценках.g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2a1a2a1a2\frac{a_1}{a_2}a1a1a_1a2a2a_2 Если у вас есть общая ковариация , вы можете рассчитать или, по крайней мере, смоделировать …

15 regression  regression-coefficients  unbiased-estimator  ratio 

Я пытаюсь использовать lme4::glmer()для подгонки биномиальной обобщенной смешанной модели (GLMM) с зависимой переменной, которая является не двоичной, а непрерывной переменной от нуля до единицы. Можно думать об этой переменной как о вероятности; на самом деле это вероятность того, как сообщили человеческих субъектов (в эксперименте , который я помочь анализирующего). Т.е. …

15 r  logistic  mixed-model  glmm  lme4-nlme 

Существует ли какое-либо распределение для двух iid случайных величин где совместное распределение X - Y равномерно по носителю [0,1]?X,YX,YX,YX−YX−YX-Y

15 distributions  random-variable 

Многорукие бандиты хорошо работают в ситуации, когда у вас есть выбор, и вы не уверены, какой из них увеличит ваше самочувствие. Вы можете использовать алгоритм для некоторых реальных жизненных ситуаций. В качестве примера, обучение может быть хорошей областью: Если ребенок изучает столярное дело, и он плохо в этом разбирается, алгоритм …

15 algorithms  reinforcement-learning  multiarmed-bandit