Статистика и большие данные

Я новичок в машинном обучении. Я изучаю курс машинного обучения (Стэнфордский университет), и я не понял, что подразумевается под этой теорией и в чем ее польза. Мне интересно, может ли кто-нибудь описать эту теорию для меня. Эта теория основана на этом уравнении.

15 machine-learning  probability  pac-learning 

Я немного поэкспериментировал с различными реализациями Perceptron и хочу убедиться, правильно ли я понимаю «итерации». Оригинальное правило персептрона Розенблатта Насколько я понимаю, в классическом алгоритме персептрона Розенблатта веса обновляются одновременно после каждого примера обучения через Δ ш( т + 1 )= Δ ш( т )+ η( Т г ге т …

15 optimization  gradient-descent  perceptron 

Каково частое восприятие истории вольтметра и ее вариаций? Идея заключается в том, что статистический анализ, который обращается к гипотетическим событиям, должен быть пересмотрен, если позднее станет известно, что эти гипотетические события не могли произойти, как предполагалось. Версия истории в Википедии приводится ниже. Инженер рисует случайную выборку электронных ламп и измеряет …

15 likelihood  frequentist 

Для нормально распределенных данных стандартное отклонение и медианное абсолютное отклонение связаны:MADσσ\sigmaMADMAD\text{MAD} σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,\sigma=\Phi^{-1}(3/4)\cdot \text{MAD}\approx1.4826\cdot\text{MAD}, где - кумулятивная функция распределения для стандартного нормального распределения.Φ()Φ()\Phi() Есть ли подобное отношение для других дистрибутивов?

15 distributions  standard-deviation  mad 

Чтобы моделировать нормальное распределение из набора однородных переменных, есть несколько методов: Алгоритм Бокса-Мюллера , в котором производится выборка двух независимых равномерных переменных в (0,1)(0,1)(0,1) и преобразование их в два независимых стандартных нормальных распределения с помощью: Z0=−2lnU1−−−−−−√cos(2πU0)Z1=−2lnU1−−−−−−√sin(2πU0)Z0=−2lnU1cos(2πU0)Z1=−2lnU1sin(2πU0) Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0) метод CDF , где можно приравнять …

15 normal-distribution  simulation  uniform 

Я использую Принципиальный компонентный анализ (PCA) для создания индекса, необходимого для моего исследования. Мой вопрос заключается в том, как мне создать единый индекс, используя оставшиеся основные компоненты, рассчитанные с помощью PCA. Например, я решил сохранить 3 основных компонента после использования PCA и вычислил баллы для этих 3 основных компонентов. Каковы …

15 pca  factor-analysis  rating  composite  scale-construction 

Я пытаюсь использовать анализ инструментальных переменных, чтобы сделать вывод причинно-следственной связи с данными наблюдений. Я столкнулся с двухэтапной регрессией наименьших квадратов (2SLS), которая, вероятно, решит проблему эндогенности в моих исследованиях. Тем не менее, я хотел бы, чтобы первый этап был OLS, а второй этап - пробит внутри 2SLS. Основываясь на …

15 stata  probit  instrumental-variables  2sls 

Мой профессор статистики так говорит, все книги, на которые я смотрю, утверждают: пост-специальное тестирование ненаучно. Вы должны сначала вывести гипотезу из теории, а затем собрать данные и проанализировать их. Но я действительно не понимаю, в чем проблема. Предположим, я вижу данные о продажах автомобилей разных цветов и формирую гипотезу о …

15 post-hoc 

Мой опыт в основном связан с машинным обучением, и я пытался понять, что означает тестирование байесовской гипотезы. Я согласен с байесовской интерпретацией вероятности и знаком с ней в контексте вероятностных графических моделей. Однако меня смущает то, что означает слово «гипотеза» в контексте статистического вывода. Я думаю, что я в основном …

15 hypothesis-testing 

«Фиктивная переменная» и «индикаторная переменная» представляют собой часто используемые термины меток для описания принадлежности к категории с кодированием 0/1; обычно 0: не член категории, 1: член категории. 26.11.2014 быстрый поиск на scholar.google.com (с заключенными в кавычки) показывает, что «фиктивная переменная» используется примерно в 318 000 статей, а «индикаторная переменная» используется …

15 categorical-data  terminology  categorical-encoding 

Рассмотрим урну, содержащую шариков разных цветов, причем - это пропорция шариков цвета среди шариков ( ). Я рисую шариков из урны без замены и смотрю на число разных цветов среди нарисованных шариков. Каково ожидание как функции , в зависимости от подходящих свойств распределения ?NNNр я я Н Σ я р …

15 probability  expected-value  coupon-collector-problem 

Недавно я купил ресурс для интервью с наукой о данных, в котором один из вопросов о вероятности был следующим: Принимая во внимание ничьи из нормального распределения с известными параметрами, как вы можете имитировать ничьи из равномерного распределения? Мой оригинальный мыслительный процесс состоял в том, что для дискретной случайной величины мы …

15 self-study  normal-distribution  simulation  uniform 

В модели смешанных эффектов рекомендуется использовать фиксированный эффект для оценки параметра, если включены все возможные уровни (например, как мужчины, так и женщины). Кроме того, рекомендуется использовать случайный эффект для учета переменной, если включенные уровни представляют собой просто случайную выборку из популяции (зарегистрированных пациентов из вселенной возможных пациентов) и вы хотите …

15 mixed-model  random-effects-model  fixed-effects-model  many-categories 

Из того, что я видел, формула сглаживания Кнезера-Ней (второго порядка) так или иначе задается как P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} с нормализующим коэффициентом λ(wn−1)λ(wn−1)\lambda(w_{n-1}) заданным как λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} и …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Примечание: сейчас добавлено 50 точек необработанных данных. Я хочу показать, сколько я изучил, и сколько страниц я выполнил за неделю, разбито по дням, и я сделал это, как показано ниже: У меня были люди, которые говорили мне, что не могут понять графики, но я понятия не имею, как еще я …

15 data-visualization