Статистика и большие данные

Достоверно авторитетные источники утверждают, что зависимая переменная должна быть нормально распределена: Предположения модели: нормально распределен, ошибки нормально распределены, и независимы, фиксирован и постоянная дисперсия .e i ∼ N ( 0 , σ 2 ) X σ 2YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT 504 Анализ дискретных данных Во-вторых, линейный регрессионный анализ …

45 regression  least-squares  linear-model  dependent-variable 

Я написал простой MLP в TensorFlow, который моделирует XOR-Gate . Таким образом, для: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] он должен произвести следующее: output_data = [[0.], [1.], [1.], [0.]] Сеть имеет входной слой, скрытый слой и выходной слой с 2, 5 и 1 нейроном каждый. В …

45 machine-learning  neural-networks  error  gradient-descent  supervised-learning 

Один из распространенных способов «лежать с данными» - это использовать масштаб по оси Y, который создает впечатление, что изменения более значительны, чем они есть на самом деле. Когда я просматриваю научные публикации или лабораторные отчеты студентов, меня часто расстраивает этот «грех визуализации данных» (который, как мне кажется, авторы совершают непреднамеренно, …

45 data-visualization 

Аль Рахими недавно выступил с весьма провокационным докладом в NIPS 2017, сравнивая современное машинное обучение с алхимией. Одним из его утверждений является то, что нам нужно вернуться к теоретическим разработкам, чтобы иметь простые теоремы, доказывающие основополагающие результаты. Когда он сказал это, я начал искать основные теоремы для ML, но не …

45 machine-learning  deep-learning  theory 

Я узнал в классе линейных моделей, что если два предиктора коррелированы и оба включены в модель, один из них будет незначительным. Например, предположим, что размер дома и количество спален взаимосвязаны. При прогнозировании стоимости дома с использованием этих двух предикторов один из них может быть отброшен, поскольку они предоставляют много одинаковой …

45 regression  multiple-regression  p-value  linear-model  multicollinearity 

При использовании машины опорных векторов есть ли какие-либо рекомендации по выбору линейного ядра или нелинейного ядра, например, RBF? Я когда-то слышал, что нелинейное ядро ​​имеет тенденцию не работать хорошо, когда количество функций велико. Есть ли какие-либо ссылки на этот вопрос?

45 machine-learning  classification  svm  references  kernel-trick 

Я создаю график, показывающий тенденции смертности (на 1000 чел.) В разных странах, и история должна исходить из того, что Германия (голубая линия) - единственная, чья тенденция увеличивается после 1932 года. моя первая (базовая) попытка По моему мнению, этот график уже показывает то, что мы хотим сказать, но он не очень …

45 data-visualization 

Я знаю, что чего-то не хватает в моем понимании логистической регрессии, и буду очень признателен за любую помощь. Насколько я понимаю, логистическая регрессия предполагает, что вероятность результата «1» с учетом входных данных представляет собой линейную комбинацию входных данных, пропущенных через обратную логистическую функцию. Это проиллюстрировано в следующем коде R: #create …

45 r  regression  logistic  generalized-linear-model  simulation 

Учитывая случайную величину Y=max(X1,X2,…,Xn)Y=max(X1,X2,…,Xn)Y = \max(X_1, X_2, \ldots, X_n) где XiXiX_i - однородные переменные IID, как рассчитать PDF для YYY ?

45 pdf  maximum 

В области экономики (я думаю) у нас есть ARIMA и GARCH для регулярно разнесенных временных рядов и Пуассон, Хоукс для моделирования точечных процессов, так как насчет попыток моделирования нерегулярно (неравномерно) разнесенных временных рядов - есть (по крайней мере) какие-либо общие практики ? (Если у вас есть знания в этой теме, …

45 time-series  garch  poisson-process  point-process  unevenly-spaced-time-series 

Есть ли возможность использовать R в веб-интерфейсе без необходимости его установки? У меня есть только один маленький скрипт, который мне нравится запускать, но я просто хочу попробовать его без долгой процедуры установки. Спасибо.

45 r 

Что такое «отклонение», как оно рассчитывается и как его используют в различных областях статистики? В частности, меня лично интересует его использование в CART (и его реализация в rpart в R). Я спрашиваю об этом, потому что в вики-статье, похоже, чего-то не хватает, и ваши идеи будут приветствоваться.

45 r  cart  rpart  deviance 

Я наткнулся на вопрос в тесте на собеседование на предмет критического мышления. Это выглядит примерно так: У Zorganian республики есть некоторые очень странные обычаи. Семейные пары хотят иметь только детей женского пола, поскольку только женщины могут наследовать богатство семьи, поэтому, если у них есть ребенок мужского пола, у них остается …

45 probability  ratio 

Я знаком с основными алгоритмами градиентного спуска для обучения нейронных сетей. Я прочитал статью с предложением Адама: АДАМ: МЕТОД СТОХАСТИЧЕСКОЙ ОПТИМИЗАЦИИ . Хотя у меня определенно есть некоторые идеи (по крайней мере), статья кажется мне слишком высокой в ​​целом. Например, функция стоимости часто является суммой множества различных функций, поэтому для …

45 neural-networks  optimization  gradient-descent  adam 

В частности, я хочу знать, есть ли разница между lm(y ~ x1 + x2)и glm(y ~ x1 + x2, family=gaussian). Я думаю, что этот конкретный случай glm равен lm. Я ошибся?

45 r  normal-distribution  generalized-linear-model  lm