Статистика и большие данные

Для линейной регрессии мы можем проверить диагностические графики (графики остатков, графики нормального QQ и т. Д.), Чтобы проверить, не нарушены ли предположения о линейной регрессии. Что касается логистической регрессии, у меня возникают проблемы с поиском ресурсов, которые объясняют, как диагностировать подходящую модель логистической регрессии. Подытоживая некоторые заметки о курсе для …

74 regression  logistic 

Существует старая поговорка: «Соотношение не означает причинность». Когда я преподаю, я склонен использовать следующие стандартные примеры, чтобы проиллюстрировать этот момент: количество аистов и рождаемость в Дании; количество священников в Америке и алкоголизм; в начале 20-го века было отмечено, что существует сильная корреляция между «количеством радиоприемников» и «количеством людей в безумных …

74 correlation  teaching 

Я беру онлайн курсы машинного обучения и узнал о градиентном спуске для расчета оптимальных значений в гипотезе. h(x) = B0 + B1X почему нам нужно использовать градиентный спуск, если мы можем легко найти значения по формуле ниже? Это выглядит прямо и легко. но GD нужно несколько итераций, чтобы получить значение. …

74 regression  machine-learning  gradient-descent 

В отличие от других статей, я нашел запись в Википедии по этой теме нечитаемой для не математического человека (такого как я). Я понял основную идею, что вы предпочитаете модели с меньшим количеством правил. Чего я не понимаю, так это как вы переходите от набора правил к «показателю регуляризации», который вы …

74 regularization 

25 февраля 2015 года журнал « Базовая и прикладная социальная психология» опубликовал редакционную статью, запрещающую и доверительные интервалы во всех будущих статьях.ppp В частности, они говорят (форматирование и акцент мои): [...] перед публикацией авторы должны будут удалить все остатки NHSTP [процедура проверки значимости нулевой гипотезы] ( , , , утверждения …

73 hypothesis-testing  confidence-interval  p-value  effect-size  psychology 

Я знаю, что корреляция не подразумевает причинности, но означает ли отсутствие корреляции отсутствие причинности?

73 correlation  causality 

Я прочитал в реферате этой статьи, что: «Процедура максимального правдоподобия (ML) в Hartley aud Rao модифицируется путем адаптации преобразования Паттерсона и Томпсона, которое делит нормальность правдоподобия на две части, одна из которых не имеет фиксированных эффектов. Максимизация этой части дает то, что называется ограниченным максимальным правдоподобием (REML) оценки ". Я …

73 mixed-model  maximum-likelihood  reml 

Некоторое время я был очень заинтересован в интеллектуальном анализе данных и машинном обучении , отчасти потому, что я специализировался в этой области в школе, а также потому, что я действительно гораздо более взволнован, пытаясь решить проблемы, которые требуют немного больше размышлений, чем просто программирование. знания и чье решение может иметь …

73 machine-learning  data-mining  careers  phd 

Есть несколько отличных способов использования: оценка плотности ядра трюк с ядром сглаживание ядра Пожалуйста, объясните, что «ядро» в них означает, простым языком, своими словами.

73 kernel-trick  kernel-smoothing 

При использовании кластерного анализа в наборе данных для группировки аналогичных случаев необходимо выбирать из большого числа методов кластеризации и измерений расстояния. Иногда один выбор может влиять на другой, но существует множество возможных комбинаций методов. Кто-нибудь есть какие-либо рекомендации о том, как выбрать среди различных алгоритмов / методов кластеризации и меры …

73 clustering  distance-functions  methodology 

Часто статистическому аналитику передают набор данных и просят соответствовать модели, используя метод, такой как линейная регрессия. Очень часто набор данных сопровождается заявлением об отказе, похожем на «О, да, мы испортили сбор некоторых из этих точек данных - делай, что можешь». Эта ситуация приводит к припадкам регрессии, на которые сильно влияет …

73 regression  outliers 

В некоторых дисциплинах PCA (анализ основных компонентов) систематически используется без какого-либо обоснования, а PCA и EFA (анализ факторных факторов) рассматриваются как синонимы. Поэтому я недавно использовал PCA для анализа результатов исследования валидации шкалы (21 элемент по 7-балльной шкале Лайкерта, предполагаемый составление 3 факторов по 7 пунктов каждый), и рецензент спрашивает …

73 pca  factor-analysis  eda 

В последние годы сверточные нейронные сети (или, возможно, глубокие нейронные сети в целом) стали глубже и глубже: современные сети переходят от 7 уровней ( AlexNet ) до 1000 слоев ( остаточных сетей) в пространстве 4 года. Причиной повышения производительности в более глубокой сети является то, что можно изучить более сложную …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

В последнее время я много читал о различиях между методом проверки гипотез Фишера и школой мысли Неймана-Пирсона. Мой вопрос, игнорируя философские возражения на мгновение; когда мы должны использовать подход статистического моделирования Фишера, а когда следует использовать метод уровней значимости Неймана-Пирсона и так далее? Есть ли практический способ решить, какую точку …

73 hypothesis-testing  p-value  methodology 

Вдохновленный комментарием к этому вопросу : Что мы считаем «неинформативным» в априоре - и какая информация все еще содержится в предположительно неинформативном априоре? Я обычно вижу приору в анализе, где это либо анализ по типу частых, пытающийся заимствовать некоторые хорошие части из байесовского анализа (будь то какая-то более простая интерпретация …

73 bayesian  prior