Статистика и большие данные

Я написал программу, которая генерирует случайные данные. Если программа работает правильно, эти данные должны соответствовать определенному, известному распределению вероятности. Я хотел бы запустить программу, сделать некоторые расчеты по результату и получить значение p. Прежде чем кто-либо еще скажет это: я понимаю, что проверка гипотез не может определить, когда программа работает …

17 distributions  hypothesis-testing  random-generation 

Контекст: В примере с 8 школами Гельмана (Байесовский анализ данных, 3-е издание, гл. 5.5) в 8 школах проводится восемь параллельных экспериментов, проверяющих эффект коучинга. Каждый эксперимент дает оценку эффективности коучинга и связанной стандартной ошибки. Затем авторы строят иерархическую модель для 8 точек данных эффекта коучинга следующим образом: yi∼N(θi,sei)θi∼N(μ,τ)yi∼N(θi,sei)θi∼N(μ,τ) y_i \sim …

17 bayesian  hierarchical-bayesian 

У меня есть числовая переменная, которая оказывается несущественной в многомерной модели логистической регрессии. Однако, когда я делю это на группы, это внезапно становится значительным. Это очень нелогично для меня: при категоризации переменной мы отказываемся от некоторой информации. Как это может быть?

17 regression  logistic  statistical-significance  multivariate-analysis 

Я читал бесчисленные посты на этом сайте, которые невероятно против использования пошагового выбора переменных, используя любой критерий, будь то на основе p-значений, AIC, BIC и т. Д. Я понимаю, почему эти процедуры в целом достаточно плохи для выбора переменных. вероятно, знаменитый пост Ганга Ганга ясно показывает, почему; в конечном счете, …

17 forecasting  predictive-models  arima  aic  stepwise-regression 

Почему буква Q была выбрана во имя Q-learning? Большинство букв выбраны в качестве аббревиатуры, например, ππ\pi обозначает политику, а vvv обозначает значение. Но я не думаю, что Q - это аббревиатура любого слова.

17 terminology  reinforcement-learning  history  q-learning 

Я обучил модели линейной регрессии, используя набор переменных / функций. И модель имеет хорошие показатели. Однако я понял, что нет переменной с хорошей корреляцией с прогнозируемой переменной. Как это возможно?

17 regression  machine-learning  correlation  multiple-regression  linear-model 

Говорят, что штрафованные регрессионные оценки, такие как LASSO и ridge, соответствуют байесовским оценкам с определенными априорными значениями. Я предполагаю (поскольку я не знаю достаточно о байесовской статистике), что для фиксированного параметра настройки существует конкретный соответствующий априор. Теперь частый пользователь будет оптимизировать параметр настройки путем перекрестной проверки. Есть ли байесовский эквивалент …

17 bayesian  lasso  ridge-regression 

Я только что сдал экзамен, где нам представили две переменные. В игре с диктатором, где диктатору дается 100 долларов США, и он может выбирать, сколько отправить или оставить для себя, была положительная корреляция между возрастом и количеством денег, которые участники решили оставить. Я думаю, что вы не можете сделать вывод …

17 correlation  causality 

Я слежу за А. В. ван дер Ваартом за асимптотической статистикой (1998). Он говорит о статистических экспериментах, утверждая, что они отличаются от статистической модели, но он не определяет ни того, ни другого. Мой вопрос: Что такое (1) статистический эксперимент, (2) статистическая модель и (3) какой ключевой компонент всегда делает статистический …

17 mathematical-statistics  inference  experiment-design  descriptive-statistics  model 

Я видел этот список здесь и не мог поверить, что было так много способов решить наименьших квадратов. «Нормальные уравнения» на Википедии , казалось, довольно прямым α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Так почему бы просто не использовать их? Я …

17 regression  least-squares  scikit-learn 

Я спорил со своим профессором статистики на уровне выпускников о «нормальном распределении». Я утверждаю, что для истинного нормального распределения необходимо иметь среднее значение = медиана = мода, все данные должны содержаться под кривой колокола и быть абсолютно симметричными относительно среднего. Поэтому, технически, в реальных исследованиях практически НЕТ нормальных распределений, и …

17 mathematical-statistics  descriptive-statistics 

Ниже приведены 6 границ принятия решений. Границы решения - фиолетовые линии. Точки и крестики - это два разных набора данных. Мы должны решить, какой из них: Линейный СВМ Ядро SVM (Полиномиальное ядро ​​порядка 2) Perceptron Логистическая регрессия Нейронная сеть (1 скрытый слой с 10 выпрямленными линейными единицами) Нейронная сеть (1 …

17 machine-learning  self-study  classification  neural-networks  svm 

Хорошо известно, что линейная регрессия с штрафом эквивалентна нахождению оценки MAP с учетом гауссовского априорного коэффициента. Точно так же использование штрафа l 1 эквивалентно использованию распределения Лапласа в качестве предыдущего.l2l2l^2l1l1l^1 Нередко используют некоторую взвешенную комбинацию регуляризации и l 2 . Можно ли сказать, что это эквивалентно некоторому предварительному распределению по …

17 regression  bayesian  regularization  prior  elastic-net 

Мне задали этот вопрос на днях, и я никогда не рассматривал его раньше. Моя интуиция исходит из преимуществ каждого оценщика. Максимальная вероятность, предпочтительно, когда мы уверены в процессе генерирования данных, потому что, в отличие от метода моментов, он использует знания всего распределения. Поскольку оценки MoM используют только информацию, содержащуюся в …

17 mathematical-statistics  maximum-likelihood  estimators  method-of-moments 

Бета-регрессия (т. Е. GLM с бета-распределением и, как правило, функцией логит-линка) часто рекомендуется для работы с зависимостью, называемой зависимой переменной, принимающей значения от 0 до 1, такие как дроби, соотношения или вероятности: регрессия для результата (соотношение или дробь) между 0 и 1 . Однако всегда утверждается, что бета-регрессия не может …

17 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression