Статистика и большие данные

В курсе машинного обучения Эндрю Нг он использует следующую формулу: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T и он делает быстрое доказательство, которое показано ниже: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T …

10 machine-learning  matrix  derivative 

Я программирую и занимаюсь разработкой на основе тестов. После внесения изменений в код я запускаю свои тесты. Иногда они добиваются успеха, а иногда они терпят неудачу. Перед запуском теста я записываю число от 0,01 до 0,99, чтобы удостовериться, что тест пройдёт успешно. Я хочу знать, улучшаю ли я прогнозирование того, …

10 forecasting  decision-theory  calibration  scoring-rules 

Я работаю в сети свертки для распознавания изображений, и мне было интересно, смогу ли я вводить изображения разных размеров (хотя и не сильно отличается). Об этом проекте: https://github.com/harvardnlp/im2markup Они говорят: and group images of similar sizes to facilitate batching Таким образом, даже после предварительной обработки изображения по-прежнему имеют разные размеры, …

10 neural-networks  conv-neural-network  computer-vision 

После некоторого обсуждения (ниже) у меня теперь есть более четкая картина сфокусированного вопроса, так что здесь есть пересмотренный вопрос, хотя некоторые комментарии теперь могут показаться не связанными с первоначальным вопросом. Кажется, что t-тесты быстро сходятся для симметричных распределений , что тест со знаком ранга предполагает симметрию , и что для …

10 hypothesis-testing  t-test  paired-data  wilcoxon-signed-rank  sign-test 

Скажем, у нас есть упорядоченный список товаров [a, b, c, ... x, y, z, ...] Я ищу семейство дистрибутивов с поддержкой в ​​списке выше, управляемых некоторым параметром альфа, чтобы: При альфа = 0 он присваивает вероятность 1 первому элементу, a выше, а 0 остальным. То есть, если мы сделаем выборку …

10 distributions  sampling  discrete-data 

Это просто совокупность точек данных? Или это представление точек данных для разных элементов в табличном формате, упорядоченных по значениям разных переменных? Чем он отличается от необработанных данных?

10 dataset  terminology  definition 

Я заинтересован в лечебно-ковариат взаимодействий в контексте экспериментов / рандомизированных контролируемых исследований, с бинарным назначения лечения индикатора .TTT В зависимости от конкретного метода / источника, я видел как и T = { 1 , - 1 } для обработанных и необработанных субъектов соответственно.T={1,0}Tзнак равно{1,0}T=\{1,0\}T={1,−1}T={1,−1}T=\{1, -1\} Есть ли эмпирическое правило, когда …

10 binary-data  categorical-encoding 

[Подобный вопрос был задан здесь без ответов] Я подобрал модель логистической регрессии с регуляризацией L1 (логистическая регрессия Лассо), и я хотел бы проверить соответствие значимых коэффициентов и получить их p-значения. Я знаю, что тесты Вальда (например) - это возможность проверить значимость отдельных коэффициентов в полной регрессии без регуляризации, но с …

10 logistic  statistical-significance  regression-coefficients  lasso 

Рассмотрим следующую модель множественной регрессии: Y=Xβ+Zδ+U.(1)(1)Y=Xβ+Zδ+U.Y=X\beta+Z\delta+U.\tag{1} Здесь YYY - вектор столбца n×1n×1n\times 1 ; Матрица XXX a n×(k+1)n×(k+1)n\times (k+1) ; ββ\beta a (k+1)×1(k+1)×1(k+1)\times 1 вектор-столбец; Матрица ZZZ a n×ln×ln\times l ; δδ\deltal×1l×1l\times 1 вектор - столбец; и UUU - член ошибки, вектор столбца n×1n×1n\times1 . ВОПРОС Мой преподаватель, учебник Введение …

10 regression  multiple-regression  econometrics  least-squares  nonlinear-regression 

Я пытаюсь вручную вычислить предсказания случайных эффектов на основе линейной смешанной модели и, используя обозначения, представленные Вудом в Обобщенных аддитивных моделях: введение в R (стр. 294 / стр. 307 в формате pdf), я запутываюсь в том, что каждый из параметров представляет. Ниже приведено резюме из дерева. Определить линейную смешанную модель …

10 mixed-model  lme4-nlme 

Случайная величина определяется как измеримой функции от одной - алгебры с основной мерой на другой - алгебры .σ ( Ω 1 , F 1 ) P σ ( Ω 2 , F 2 )XXXσσ\sigma(Ω1,F1)(Ω1,F1)(\Omega_1, \mathcal F_1)PPPσσ\sigma(Ω2,F2)(Ω2,F2)(\Omega_2, \mathcal F_2) Как мы говорим о выборке этой случайной величины? Мы рассматриваем это как …

10 sampling  random-variable  simulation 

Мне интересно, как правильно подойти к обучению и тестированию модели LASSO с использованием glmnet в R? В частности, мне интересно, как это сделать, если отсутствие внешнего набора тестовых данных требует использования перекрестной проверки (или другого аналогичного подхода) для тестирования моей модели LASSO. Позвольте мне разбить мой сценарий: У меня есть …

10 r  cross-validation  glmnet  lasso 

Как говорится в заголовке, я пытаюсь воспроизвести результаты из glmnet linear, используя оптимизатор LBFGS из библиотеки lbfgs. Этот оптимизатор позволяет нам добавлять член регуляризатора L1, не беспокоясь о дифференцируемости, если наша целевая функция (без члена регуляризатора L1) выпуклая. minβ∈Rp12n∥β0+Xβ−y∥22+αλ∥β∥1+12(1−α)λ∥β∥22minβ∈Rp12n‖β0+Xβ−y‖22+αλ‖β‖1+12(1−α)λ‖β‖22\min_{\beta \in \mathbb{R}^p} \frac{1}{2n}\Vert \beta_0 + X\beta - y \Vert_2^2 + \alpha …

10 r  regression  regularization  glmnet  elastic-net 

В настоящее время я использую байесовский подход для оценки параметров модели, состоящей из нескольких ODE. Поскольку у меня есть 15 параметров для оценки, мое пространство выборки является 15-мерным, и в моем поиске апостериорного распределения, по-видимому, имеется много локальных максимумов, которые очень изолированы большими областями с очень низкой вероятностью. Это приводит …

10 bayesian  mcmc  monte-carlo  ergodic 

Предположим, что является объективной оценкой для . Тогда, конечно, . ; & thetasE[ & thetas ; |thetas]=thetasθ^θ^\hat{\theta}θθ\thetaE[θ^∣θ]=θE[θ^∣θ]=θ\mathbb{E}[\hat{\theta} \mid \theta] = \theta Как можно объяснить это непрофессионалу? В прошлом я говорил, что если вы усредняете набор значений , а размер выборки увеличивается, вы получаете лучшее приближение . ; & thetasθ^θ^\hat{\theta}θθ\theta Для …

10 bias  asymptotics  unbiased-estimator  estimators  communication