Статистика и большие данные

Может кто-нибудь объяснить мне ясную математическую логику, которая связывает два утверждения (а) и (б) вместе? Давайте иметь набор значений (некоторое распределение). Сейчас, а) Медиана не зависит от каждого значения [оно зависит только от одного или двух средних значений]; б) Медиана - это локус минимальной суммы абсолютных отклонений от нее. И …

18 mean  median  robust  sensitivity-analysis 

Я являюсь автором пакета ez для R, и я работаю над обновлением для включения автоматического вычисления отношений правдоподобия (LR) в выходные данные ANOVA. Идея состоит в том, чтобы предоставить LR для каждого эффекта, аналогичного тесту того эффекта, которого достигает ANOVA. Например, LR для основного эффекта представляет сравнение нулевой модели с …

18 r  anova  likelihood-ratio 

Я знаю, что простая в обращении формула для CDF нормального распределения несколько отсутствует из-за сложной функции ошибок в ней. Однако мне интересно, есть ли хорошая формула для . Или каково «современное» приближение для этой проблемы.N(c−≤x&lt;c+|μ,σ2)N(c−≤x&lt;c+|μ,σ2)N(c_{-} \leq x < c_{+}| \mu, \sigma^2)

18 normal-distribution  approximation 

Я хочу решить, должен ли я пройти курс под названием «ВВЕДЕНИЕ В СТОХАСТИЧЕСКИЕ ПРОЦЕССЫ», который будет проходить в следующем семестре в моем университете. Я спросил лектора, как изучение такого курса поможет мне как статистику, он сказал, что, поскольку он исходит из вероятности, он очень мало знает статистику и не знает, …

18 probability  stochastic-processes 

Является ли сила логистической регрессии и критерий Стьюдента эквивалентной? Если это так, то они должны быть «эквивалентными плотности данных», под которыми я подразумеваю, что одно и то же количество базовых наблюдений дает одинаковую мощность при фиксированной альфа-коэффициенте 0,05. Рассмотрим два случая: [Параметрический t-критерий]: из биномиального наблюдения сделано 30 ничьих, и …

18 logistic  t-test  power  power-analysis 

Когда я работаю над проектами по анализу данных, я часто храню данные в файлах данных с разделителями-запятыми (CSV, TSV). При этом данные часто принадлежат к выделенной системе управления базами данных. Для многих моих приложений это было бы слишком. Я могу редактировать файлы CSV и TSV в Excel (или, предположительно, в …

18 project-management 

Я использую гребень регрессии на сильно мультиколлинеарных данных. Используя OLS, я получаю большие стандартные ошибки по коэффициентам из-за мультиколлинеарности. Я знаю, что регрессия гребня является способом решения этой проблемы, но во всех реализациях регрессии гребня, на которые я смотрел, нет стандартных ошибок, сообщаемых для коэффициентов. Я хотел бы получить некоторый …

18 standard-error  ridge-regression 

Если мы хотим наглядно увидеть распределение непрерывных данных, какую из гистограммы и pdf следует использовать? Каковы различия, а не по формуле, между гистограммой и PDF?

18 distributions  pdf  histogram 

Я ищу книгу или онлайн-ресурс, который объясняет различные виды энтропии, такие как Sample Entropy и Shannon Entropy, а также их преимущества и недостатки. Может ли кто-нибудь указать мне правильное направление?

18 references  entropy 

При меньших размерах окна n log nсортировка может работать. Есть ли лучшие алгоритмы для достижения этой цели?

18 algorithms  median 

Кто-нибудь знает, в каком году MCMC стал обычным явлением (то есть популярным методом байесовского вывода)? Ссылка на количество опубликованных MCMC (журнальных) статей с течением времени будет особенно полезной.

18 bayesian  mcmc  history 

Чтобы рассчитать доверительный интервал (CI) для среднего значения с неизвестным стандартным отклонением популяции (sd), мы оцениваем стандартное отклонение популяции, используя t-распределение. Примечательно, что CI=X¯±Z95%σX¯CI=X¯±Z95%σX¯CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X} где σX¯=σn√σX¯=σn\sigma_{\bar X} = \frac{\sigma}{\sqrt n} . Но поскольку у нас нет точечной оценки стандартного отклонения совокупности, мы оцениваем через приближениеCI=X¯±t95%(se)CI=X¯±t95%(se)CI=\bar{X} \pm …

18 normal-distribution  confidence-interval  sampling  t-distribution 

Я хотел бы нарисовать целые числа от 1 до некоторого определенного , бросая некоторое количество справедливых шестигранных кубика (d6). Хороший ответ объяснит, почему его метод производит однородные и независимые целые числа.NNN В качестве иллюстративного примера было бы полезно объяснить, как работает решение для случая .N = 150N=150N=150 Кроме того, я …

18 probability  random-generation  uniform  dice 

Многие учебники онлайн рассказывают о градиентном спуске, и почти во всех из них используется фиксированный размер шага (скорость обучения ). Почему не используется поиск строк (например, поиск по линии с возвратом или точный поиск по строке)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Я видел аналогичный вывод из многих дискуссий, что с увеличением размера мини-пакета конвергенция SGD становится все труднее / хуже, например, в этой статье и в этом ответе . Также я слышал о людях, использующих такие уловки, как небольшая скорость обучения или размеры партий на ранней стадии, для решения этой проблемы …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd