Статистика и большие данные

Что такое ковариантность на простом языке и как она связана с терминами зависимости , корреляции и дисперсии-ковариантности относительно конструкций с повторными измерениями?

92 correlation  repeated-measures  terminology  covariance  independence 

Может ли кто-нибудь объяснить мне подробно об оценке максимального правдоподобия (MLE) в терминах непрофессионала? Я хотел бы знать основную концепцию, прежде чем перейти к математическому выводу или уравнению.

92 mathematical-statistics  maximum-likelihood  intuition  definition  philosophical 

Во многих библиотеках нейронных сетей есть «встраиваемые слои», как в Keras или Lasagne . Я не уверен, что понимаю его функцию, несмотря на чтение документации. Например, в документации Keras говорится: Превратить натуральные числа (индексы) в векторы denses фиксированного размера, например. [[4], [20]] -> [[0,25, 0,1], [0,6, -0,2]] Может ли знающий …

92 machine-learning  neural-networks  python  word-embeddings 

Кто-то задал мне этот вопрос на собеседовании, и я ответил, что их совместное распространение всегда гауссовское. Я думал, что всегда могу написать двумерный гауссовский язык со своими средствами, дисперсией и ковариациями. Мне интересно, может ли быть случай, когда совместная вероятность двух гауссианов не является гауссовой?

91 normal-distribution  multivariate-analysis  copula  bivariate 

ANOVA эквивалентен линейной регрессии с использованием подходящих фиктивных переменных. Выводы остаются неизменными независимо от того, используете ли вы ANOVA или линейную регрессию. В свете их эквивалентности, есть ли причина, по которой ANOVA используется вместо линейной регрессии? Примечание: мне особенно интересно узнать о технических причинах использования ANOVA вместо линейной регрессии. редактировать …

91 regression  anova 

В общем, что подразумевается под тем, чтобы сказать, что доля дисперсии в анализе, подобном PCA, объясняется первым основным компонентом? Может ли кто-то объяснить это интуитивно, но также дать точное математическое определение того, что означает «объяснение отклонений» в терминах анализа главных компонентов (PCA)?Иксxx Для простой линейной регрессии r-квадрат линии наилучшего соответствия …

91 regression  pca  linear-model  dimensionality-reduction 

У меня есть ставка с коллегой, что из 50 игр в пинг-понг (сначала выиграйте 21 очко, выиграйте 2) я выиграю все 50. До сих пор мы сыграли 15 игр, и в среднем я выиграл 58% очки, плюс я выиграл все игры до сих пор. Таким образом, мы задаемся вопросом, есть …

90 probability  games 

В недавнем коллоквиуме реферат спикера утверждал, что они использовали машинное обучение. Во время беседы единственное, что связано с машинным обучением, было то, что они выполняют линейную регрессию на своих данных. После расчета коэффициентов наилучшего соответствия в пространстве параметров 5D они сравнили эти коэффициенты в одной системе с коэффициентами наилучшего соответствия …

90 regression  machine-learning  multiple-regression  terminology  definition 

Мы часто слышим о шаблонах управления проектами и проектирования в компьютерных науках, но реже в статистическом анализе. Тем не менее, кажется, что решающим шагом на пути к созданию эффективного и долгосрочного статистического проекта является обеспечение организованности. Я часто выступаю за использование R и последовательную организацию файлов в отдельных папках (файл …

89 project-management 

Было ли проведено какое-либо исследование о том, какой набор цветов лучше всего использовать для отображения нескольких серий на одном графике? Я только что использовал значения по умолчанию matplotlib, и они выглядят немного по-детски, так как они все яркие, основные цвета.

89 data-visualization 

У меня был вопрос о том, как интерпретировать графики, созданные с помощью plot (lm) в R. Мне было интересно, можете ли вы, ребята, сказать мне, как интерпретировать графики масштаба-местоположения и левереджа? Любые замечания будут оценены. Предположим, базовые знания статистики, регрессии и эконометрики.

89 r  regression  data-visualization  residuals  outliers 

Существуют некоторые варианты нормализации изображений, но большинство, похоже, используют эти два метода: Вычтите среднее значение для канала, рассчитанное для всех изображений (например, VGG_ILSVRC_16_layers ) Вычесть по пикселю / каналу, рассчитанному по всем изображениям (например, CNN_S , также см. Эталонную сеть Caffe ) Естественный подход будет в моем уме нормализовать каждое …

88 deep-learning  image-processing 

Вот как я понял вложенные и скрещенные случайные эффекты: Вложенные случайные эффекты возникают, когда фактор более низкого уровня появляется только в пределах определенного уровня фактора более высокого уровня. Например, ученики в классах в определенный момент времени. В lme4Я думал , что мы представляем случайные эффекты для вложенных данных в одном …

88 r  mixed-model  multilevel-analysis  lme4-nlme 

Какие диагностические графики (и, возможно, формальные тесты) вы считаете наиболее информативными для регрессий, где результат представляет собой переменную счета? Я особенно заинтересован в пуассоновских и отрицательных биномиальных моделях, а также в аналогах с нулевой раздувкой и препятствием каждой из них. Большинство источников, которые я обнаружил, просто наносят графики остатков в …

88 generalized-linear-model  residuals  negative-binomial  zero-inflation  poisson-regression 

Гамма-распределение может принимать довольно широкий диапазон форм, и, учитывая связь между средним и дисперсией через два его параметра, оно кажется подходящим для работы с гетероскедастичностью в неотрицательных данных таким образом, что лог-преобразованный OLS может не обойтись без WLS или какой-либо гетероскедастичности, совместимой с оценкой VCV. Я бы больше использовал его …

88 generalized-linear-model  gamma-distribution