Статистика и большие данные

Музыкальный клип PSY "Gangnam style" популярен, и спустя немногим более 2 месяцев его смотрят около 540 миллионов человек. Я узнал об этом от моих детей в возрасте до обеда на прошлой неделе, и вскоре дискуссия пошла в направлении того, можно ли сделать какое-то предсказание, сколько зрителей будет через 10-12 дней …

73 modeling  web 

Есть ли графический интерфейс для R, который облегчает начинающим изучение и программирование на этом языке?

73 r 

Несмотря на то, что все изображения в наборе данных MNIST центрированы с одинаковым масштабом и обращены вверх без поворотов, у них есть существенный разброс рукописного текста, который удивляет меня, как линейная модель достигает такой высокой точности классификации. Насколько я могу визуализировать, учитывая значительные различия в почерке, цифры должны быть линейно …

73 logistic  image-processing 

Мне интересно, как рассчитать точность и вспомнить меры для мультиклассовой классификации с несколькими метками, то есть классификации, где существует более двух меток, и где каждый экземпляр может иметь несколько меток?

72 machine-learning  classification  precision-recall  multi-class 

В рамках предложения по исследованию социальных наук мне был задан следующий вопрос: Я всегда использовал 100 + m (где m - количество предикторов) при определении минимального размера выборки для множественной регрессии. Это уместно? Я часто получаю похожие вопросы, часто с разными правилами. Я также очень много читал такие практические правила …

72 regression  sample-size  power-analysis  rule-of-thumb 

Справочная информация : у меня нет официальной подготовки по байесовской статистике (хотя я очень заинтересован в получении дополнительной информации), но я знаю достаточно - я думаю - чтобы понять суть, почему многие считают, что они предпочтительнее, чем статистика Frequentist. Даже магистранты в классе вводной статистики (по общественным наукам), который я …

72 bayesian  frequentist  philosophical 

В курсе машинного обучения Эндрю Нг он знакомит с линейной регрессией и логистической регрессией и показывает, как подобрать параметры модели с использованием градиентного спуска и метода Ньютона. Я знаю, что градиентный спуск может быть полезен в некоторых приложениях машинного обучения (например, обратное распространение), но в более общем случае есть какая-либо …

72 regression  machine-learning  logistic  gradient-descent 

Я где-то видел, что классические расстояния (например, евклидово расстояние) становятся слабо дискриминирующими, когда у нас имеются многомерные и разреженные данные. Почему? У вас есть пример двух разреженных векторов данных, где евклидово расстояние не работает хорошо? В этом случае какое сходство мы должны использовать?

72 machine-learning  clustering  data-mining  sparse  euclidean 

Время ожидания для распределения Пуассона является экспоненциальным распределением с параметром лямбда. Но я этого не понимаю. Например, Пуассон моделирует количество прибывших за единицу времени. Как это связано с экспоненциальным распределением? Допустим, вероятность k прибытий в единицу времени равна P (k) (смоделирована по Пуассону), а вероятность k + 1 равна P …

72 distributions  poisson-distribution  exponential 

Каковы обычные предположения для линейной регрессии? Они включают в себя: линейная зависимость между независимой и зависимой переменной независимые ошибки нормальное распределение ошибок гомоскедастичность Есть ли другие?

72 regression  assumptions 

Энтропия Шеннона является отрицательной суммой вероятностей каждого результата, умноженной на логарифм вероятностей для каждого результата. Какой цели служит логарифм в этом уравнении? Интуитивно понятный или визуальный ответ (в отличие от глубоко математического ответа) получит бонусные баллы!

72 entropy  intuition  sequence-analysis 

Оценка коэффициента регрессии хребта - это значения, которые минимизируютβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Мои вопросы: Если , то мы видим, что приведенное выше выражение сводится к обычному RSS. Что делать, если ? Я не понимаю из учебника объяснение поведения коэффициентов.λ=0λ=0\lambda = 0λ→∞λ→∞\lambda \to \infty Чтобы помочь понять концепцию, лежащую …

71 ridge-regression  statistical-learning  history 

Кажется, что интеллектуальный анализ данных и машинное обучение стали настолько популярными, что теперь почти каждый студент CS знает о классификаторах, кластеризации, статистической НЛП ... и т. Д. Таким образом, кажется, что в настоящее время найти майнеры данных не сложно. Мой вопрос: какие навыки может извлечь майнер, который отличает его от …

71 machine-learning  data-mining 

Как я могу удалить повторяющиеся строки из этого примера фрейма данных? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Я хотел бы удалить дубликаты на основе обоих столбцов: A 1 A 2 B 4 B 1 C 2 Порядок не важен.

71 r 

Каковы основные компоненты оценки (ПК баллы, PCA баллы)?

71 pca  definition