Статистика и большие данные

Предположим, у нас есть матрица данных , которая является n- by- , и вектор метки , который является by-one. Здесь каждая строка матрицы является наблюдением, а каждый столбец соответствует измерению / переменной. (предположим, что )XX\mathbf{X}nnnУ нpppYYYnnnn>pn>pn>p Тогда что data space, variable space, observation space, model spaceзначит? Пространство, охваченное вектором столбца, …

9 regression  multiple-regression  terminology  geometry  biplot 

Согласно «Эффективному Backprop» ЛеКуна и др. (1998), хорошей практикой является нормализация всех входных данных таким образом, чтобы они центрировались вокруг 0 ​​и лежали в диапазоне максимальной второй производной. Так, например, мы бы использовали [-0,5,0,5] для функции «Тан». Это должно помочь прогрессу обратного распространения, поскольку гессиан становится более устойчивым. Тем не …

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

Хотя мне нравится думать, что я хорошо понимаю концепцию предварительной информации в байесовском статистическом анализе и принятии решений, у меня часто возникают проблемы с нахождением головы вокруг ее применения. Я имею в виду пару ситуаций, которые иллюстрируют мою борьбу, и я чувствую, что они не были должным образом рассмотрены в …

9 bayesian  prior  rule-of-thumb  elicitation 

Типичные значения AIC, которые я видел для логистических моделей, исчисляются тысячами, по меньшей мере, сотнями. например, на http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ AIC составляет 727,39 Хотя всегда говорят, что AIC следует использовать только для сравнения моделей, я хотел понять, что означает конкретное значение AIC. По формуле А яС= - 2 журнала( L ) + …

9 regression  model-selection  aic  accuracy 

Предположим следующую одномерную последовательность: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Письма A, B, C, ..здесь представляют «обычные» события. #, $, %, ...Здесь символы обозначают «особые» события Временной интервал между всеми событиями является неоднородным (от секунд до дней), хотя чем дальше …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining 

Я изо всех сил пытался согласовать свое интуитивное понимание распределений вероятностей со странными свойствами, которыми обладают почти все топологии распределений вероятностей. Например, рассмотрим смешанную случайную переменную : выберите гауссову с центром в 0 с дисперсией 1 и с вероятностью добавьте к результату. Последовательность таких случайных переменных будет сходиться (слабо и …

9 mathematical-statistics  convergence  central-limit-theorem  topologies 

После прочтения большого количества документов для глубокого изучения возникает некое ощущение, что существует множество хитростей в обучении сети, чтобы получить лучшую, чем обычно, производительность. С точки зрения отраслевых приложений очень трудно разрабатывать подобные приемы, за исключением тех элитных исследовательских групп в крупных технологических компаниях, как, например, Google или Facebook. Тогда …

9 machine-learning  deep-learning  deep-belief-networks 

X1,...,XnX1,...,XnX_1, ... , X_nY1,...,YnY1,...,YnY_1, ..., Y_nU(0,a)U(0,a)U(0,a)Zn=nlogmax(Y(n),X(n))min(Y(n),X(n))Zn=nlog⁡max(Y(n),X(n))min(Y(n),X(n))Z_n= n\log\frac{\max(Y_{(n)},X_{(n)})}{\min(Y_{(n)},X_{(n)})}Exp(1)Exp(1)\text{Exp}(1) Я начал эту проблему, установив Тогда будет распределяться как а будет распределяться как Плотности можно легко найти как и{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}\{X_1,...,X_n,Y_1,...Y_n\} = \{Z_1,...,Z_n\}max(Yn,Xn)=Z(2n)max(Yn,Xn)=Z(2n)\max(Y_n,X_n)= Z_{(2n)}мин(Yn,Xn)=Z(1)1-(1-z( зa)2 н(Za)2N(\frac{z}{a})^{2n}мин ( YN, XN) = Z( 1 )мин(YN,ИксN)знак равноZ(1)\min(Y_n,X_n)= Z_{(1)}fZ 1 (z)=(2n)(1-z1−(1−za)2n1−(1−za)2n1 - (1 - \frac{z}{a})^{2n} fZ ( 2 n …

9 self-study  data-transformation  order-statistics 

Предыстория: у меня есть пример, который я хочу смоделировать с дистрибутивом с тяжелыми хвостами. У меня есть некоторые крайние значения, такие, что разброс наблюдений относительно велик. Моя идея состояла в том, чтобы смоделировать это с помощью обобщенного распределения Парето, и я это сделал. Теперь квантиль 0,975 моих эмпирических данных (около …

9 confidence-interval  quantiles  asymptotics  order-statistics 

Существует множество известных ресурсов, предлагающих советы по визуализации данных. (Например, Туфте, Стивен Фью и др. , Натан Яу .) Но к какой области можно обратиться за ответами на такие вопросы: Актуальна ли критика круговой диаграммы на практике? Являются ли люди намного лучше в интерпретации длины линейной шкалы, чем длины дуги? …

9 data-visualization  interpretation  terminology  presentation 

Я предполагаю общую установку регрессии, то есть непрерывную функцию выбирают из семейства чтобы соответствовать заданным данным ( может быть любым пространством, таким как куб или фактически любым разумным топологическим пространством) в соответствии с некоторыми естественными критериями.hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n{hθ}θ{hθ}θ\{h_\theta\}_\theta(xi,yi)∈X×Rn,i=1,…,k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, kXXX[0,1]m[0,1]m[0,1]^m Существуют ли применения регрессии, когда кто-то интересуется …

9 regression  machine-learning  multiple-regression 

Я хотел бы эффективно рисовать образцы из условии, что .x∈Rdx∈Rdx \in \mathbb{R}^dN(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma)||x||2=1||x||2=1||x||_2 = 1

9 distributions  normal-distribution  sampling  multivariate-normal  importance-sampling 

Я думал решить Лассо с помощью ванильных субградиентных методов. Но я читал людей, предлагающих использовать проксимальный градиентный спуск. Может ли кто-нибудь подчеркнуть, почему для лассо используются проксимальный GD вместо ванильных субградиентных методов?

9 machine-learning  optimization  lasso  gradient-descent 

Меня попросили предложить курс по экспериментальному проектированию для продвинутых аспирантов по агрономии и экологии. Я никогда не брал такой курс, и с удивлением обнаружил, что этот курс может быть более удачно назван «За пределами одностороннего ANOVA», и что он охватывает материал, который я изучил в продвинутом выпускном курсе по статистике …

9 references  experiment-design  teaching 

Это на самом деле является одной из проблем в 4-й редакции «Базовой эконометрики» Гуджарати (Q3.11), в которой говорится, что коэффициент корреляции инвариантен относительно изменения происхождения и масштаба, то есть где , , , - произвольные постоянные.corr(aX+b,cY+d)=corr(X,Y)corr(aX+b,cY+d)=corr(X,Y)\text{corr}(aX+b, cY+d) = \text{corr}(X,Y)aaabbbcccddd Но мой главный вопрос заключается в следующем: пусть и являются парными …

9 self-study  correlation  linear-algebra  mathematical-statistics