Статистика и большие данные

Я устанавливаю модель ARIMA на ежедневные временные ряды. Данные собираются ежедневно с 02-01-2010 по 30-07-2011 и касаются продаж газет. Поскольку можно найти недельный график продаж (среднесуточное количество проданных копий обычно одинаково с понедельника по пятницу, а затем увеличивается в субботу и воскресенье), я пытаюсь уловить эту «сезонность». Учитывая данные о …

21 r  time-series  arima  seasonality 

Я хотел бы использовать бинарную модель логистической регрессии в контексте потоковых данных (многомерных временных рядов), чтобы предсказать значение зависимой переменной данных (то есть строки), которые только что прибыли, учитывая прошлые наблюдения. Насколько я знаю, логистическая регрессия традиционно используется для посмертного анализа, где каждая зависимая переменная уже установлена ​​(либо путем проверки, …

21 r  time-series  logistic 

контекст Я читал о теории ответа предметов, и я нахожу ее увлекательной. Я верю, что понимаю основы, но мне интересно, как применять статистические методы, связанные с этой областью. Ниже приведены две статьи, похожие на те области, в которых я хотел бы применить ITR: http://www.jstor.org/stable/4640738?seq=7 http://www.ncbi.nlm.nih.gov/pubmed/21744971 Второе - это то, что …

21 psychometrics  latent-variable  irt 

Я изо всех сил пытаюсь понять концепцию смещения в контексте анализа линейной регрессии. Каково математическое определение смещения? Что именно является предвзятым и почему / как? Наглядный пример?

21 regression  terminology  bias  definition 

контекст Популярный вопрос на этом сайте: « Каковы общие статистические грехи? ». Один из грехов упоминалось при условии , что «корреляция подразумевает причинно - следственную связь ...» ссылка Затем в комментариях с 5 ответами предлагается: «Google зарабатывает 65 миллиардов долларов в год, не заботясь о разнице». Риск чрезмерного анализа лёгкой …

21 machine-learning  causality 

Предположим, что . Меня интересует маргинальное распределение диагональных элементов . Есть несколько простых результатов о распределении подматриц (по крайней мере, некоторые из них перечислены в Википедии). Из этого я могу понять, что предельное распределение любого отдельного элемента по диагонали является обратной гаммой. Но я не смог вывести совместное распределение.diag ( …

21 distributions  probability  pdf 

Этот вопрос был перенесен из переполнения стека, потому что на него можно ответить по перекрестной проверке. Мигрировал 8 лет назад . У меня есть 2 переменные, оба из класса "числовой": > head(y) [1] 0.4651804 0.6185849 0.3766175 0.5489810 0.3695258 0.4002567 > head(x) [1] 59.32820 68.46436 80.76974 132.90824 216.75995 153.25551 Я построил …

21 r 

Почти каждый пример дерева решений, с которым я сталкивался, является двоичным деревом. Это в значительной степени универсально? Поддерживает ли большинство стандартных алгоритмов (C4.5, CART и т. Д.) Только двоичные деревья? Из того, что я понял , CHAID не ограничивается бинарными деревьями, но это, похоже, исключение. Двухстороннее разделение, сопровождаемое другим двусторонним …

21 machine-learning  data-mining  cart 

Locked . Этот вопрос и его ответы заблокированы, потому что вопрос не по теме, но имеет историческое значение. В настоящее время он не принимает новые ответы или взаимодействия. Может ли кто-нибудь предложить несколько советов о том, как использовать weightsаргумент в lmфункции R ? Скажем, например, вы пытались вписать модель в …

21 r  regression 

Пуассоновская регрессия - это GLM с функцией log-link. Альтернативный способ моделирования данных с ненормально распределенным счетчиком - это предварительная обработка путем взятия журнала (или, скорее, журнала (1 + счет) для обработки 0). Если вы выполняете регрессию методом наименьших квадратов в ответах на количество журналов, связано ли это с регрессией Пуассона? …

21 regression  poisson-distribution  generalized-linear-model 

В статистическом моделировании: две культуры Лев Брейман пишет В настоящее время применяется практика проверки соответствия модели данных с помощью тестов соответствия и анализа остаточных данных. Однажды, несколько лет назад, я поставил задачу симулированной регрессии в семи измерениях с контролируемой степенью нелинейности. Стандартные тесты на пригодность к приему не отклоняли линейность, …

21 regression  goodness-of-fit 

Мне интересно узнать больше о непараметрических байесовских (и связанных с ними) методах. Я имею опыт работы в области компьютерных наук, и хотя я никогда не проходил курсы по теории меры или теории вероятностей, у меня было ограниченное количество формальных занятий по вероятности и статистике. Кто-нибудь может порекомендовать читаемое введение в …

21 probability  bayesian  references  theory 

Мне нужно реализовать программу, которая будет классифицировать записи на 2 категории (истина / ложь) на основе некоторых обучающих данных, и мне было интересно, какой алгоритм / методология мне следует рассмотреть. Кажется, из них есть из чего выбирать - искусственная нейронная сеть, генетический алгоритм, машинное обучение, байесовская оптимизация и т. Д. …

21 machine-learning  bayesian  optimization  genetic-algorithms 

Примечание: регистр n >> p Я читаю Элементы статистического обучения, и есть различные упоминания о «правильном» способе перекрестной проверки (например, стр. 60, стр. 245). В частности, мой вопрос заключается в том, как оценить итоговую модель (без отдельного набора тестов) с использованием k-кратного CV или начальной загрузки, когда был поиск модели? …

21 machine-learning  model-selection  data-mining  cross-validation 

Я никоим образом не статистик (у меня был курс математической статистики, но не более того), и недавно, изучая теорию информации и статистическую механику, я встретил то, что называется «мера неопределенности» / «энтропия». Я прочитал вывод Хинчина как меру неопределенности, и это имело смысл для меня. Другой вещью, которая имела смысл, …

21 entropy  inference