Статистика и большие данные

Я аспирант по психологии, и, поскольку я продолжаю заниматься независимой статистикой, я все больше поражаюсь неадекватности моего формального обучения. Как личный, так и личный опыт подсказывает, что недостаток статистической строгости в обучении студентов и аспирантов довольно распространен в психологии. Таким образом, я подумал, что для таких независимых учеников, как я, …

227 fallacy 

AIC и BIC - оба метода оценки соответствия модели, оштрафованные за количество оцениваемых параметров. Насколько я понимаю, BIC штрафует модели за свободные параметры больше, чем AIC. Помимо предпочтений, основанных на строгости критериев, есть ли другие причины отдавать предпочтение AIC, а не BIC или наоборот?

222 modeling  aic  cross-validation  bic  model-selection 

При обучении нейронной сети, какое значение это имеет для установки: размер партии до и количество итераций доaaabbb От размера пакета до и количества итераций доcccddd где ?ab=cdab=cd ab = cd Иными словами, предположим, что мы обучаем нейронную сеть с одинаковым количеством обучающих примеров, как установить оптимальный размер пакета и количество …

222 neural-networks  train 

Кажется, что ряд статистических пакетов, которые я использую, объединяют эти два понятия. Тем не менее, мне интересно, есть ли разные предположения или «формальности» данных, которые должны быть верны, чтобы использовать одно над другим. Реальный пример был бы невероятно полезным.

215 pca  factor-analysis 

В чем разница между сбором данных, статистикой, машинным обучением и искусственным интеллектом? Правильно ли будет сказать, что это 4 поля, пытающиеся решить очень похожие проблемы, но с разными подходами? Что именно у них общего и чем они отличаются? Если бы между ними была какая-то иерархия, что бы это было? Подобные …

208 machine-learning  data-mining 

Представьте себе стандартный сценарий машинного обучения: Вы сталкиваетесь с большим многомерным набором данных, и у вас довольно размытое понимание этого. Что вам нужно сделать, это сделать прогноз о некоторой переменной на основе того, что у вас есть. Как обычно, вы очищаете данные, просматриваете описательную статистику, запускаете некоторые модели, перекрестно проверяете …

207 machine-learning  forecasting  modeling  model-selection  forecastability 

... предполагая, что я могу расширить их знания об отклонениях интуитивно (интуитивно понимая «дисперсию» ) или сказав: это среднее расстояние между значениями данных и «средним» - и поскольку дисперсия находится в квадрате единицы, мы берем квадратный корень, чтобы сохранить единицы, и это называется стандартным отклонением. Давайте предположим, что многое сформулировано …

207 variance  covariance  intuition 

Таким образом, мы имеем среднее арифметическое (AM), среднее геометрическое (GM) и среднее гармоническое (HM). Их математическая формулировка также хорошо известна наряду со связанными с ними стереотипными примерами (например, среднее гармоническое и его применение для решения проблем, связанных с «ускорением»). Тем не менее, вопрос, который всегда интересовал меня: «Как я могу …

197 mean 

Я хотел бы реализовать алгоритм автоматического выбора модели. Я имею в виду пошаговую регрессию, но все будет хорошо (хотя она должна основываться на линейных регрессиях). Моя проблема в том, что я не могу найти методологию или реализацию с открытым исходным кодом (я просыпаюсь в Java). Методология, которую я имею в …

193 references  feature-selection  model-selection  aic  stepwise-regression 

Какой учебник по байесовской статистике является лучшим вводным? Одна книга за ответ, пожалуйста.

192 bayesian  references 

Если у меня сильно искажены положительные данные, я часто беру логи. Но что мне делать с сильно искаженными неотрицательными данными, которые содержат нули? Я видел два использованных преобразования: журнал( х + 1 )log⁡(x+1)\log(x+1) который имеет аккуратную особенность, которая 0 отображается на 0. журнал( х + с )log⁡(x+c)\log(x+c) где c либо …

191 data-transformation  large-data 

Я уверен, что многие люди ответят ссылками на «позвольте мне Google это для вас», поэтому я хочу сказать, что я пытался выяснить это, поэтому, пожалуйста, простите мое непонимание здесь, но я не могу понять, как Практическая реализация нейронной сети фактически работает. Я понимаю входной слой и как нормализовать данные, я …

187 machine-learning  neural-networks  nonlinear-regression 

У меня есть фрейм данных R, как это: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Мне нужно получить фрейм данных в следующем виде: group …

181 r  data-transformation 

Недавно окончив аспирантуру по статистике, я в последние пару месяцев начал искать работу в области статистики. Практически в каждой компании, которую я рассматривал, была опубликована вакансия с названием « Data Scientist ». На самом деле, казалось, что давно прошли дни, когда можно было видеть звания ученого- статистика или статистика . …

181 terminology  definition  careers 

Я использую Python Keras packageдля нейронной сети. Это ссылка . Is batch_sizeравно числу тестовых образцов? Из Википедии у нас есть эта информация: Однако в других случаях оценка градиента суммы может потребовать дорогостоящих оценок градиентов от всех функций слагаемых. Когда обучающий набор огромен и простых формул не существует, оценка сумм градиентов …

176 neural-networks  python  terminology  keras