Статистика и большие данные

Предположим, что у нас есть два вектора случайных величин, оба являются нормальными, то есть и Y ∼ N ( μ Y , Σ Y ) . Нас интересует распределение их линейной комбинации Z = A X + B Y + C , где A и B - матрицы, C - …

14 probability  normal-distribution  multinomial 

Итак, я хочу подобрать случайную модель негативных биномиальных эффектов. Для такой модели STATA может производить экспоненциальные коэффициенты. Согласно справочному файлу такие коэффициенты можно интерпретировать как коэффициенты заболеваемости. К сожалению, я не являюсь носителем английского языка, и я не очень понимаю, что такое коэффициенты заболеваемости или как я могу их перевести. …

14 interpretation  negative-binomial  regression-coefficients 

В настоящее время я использую набор инструментов RF на MATLAB для двоичной классификации. Набор данных: 50000 образцов и более 250 функций Так, каково должно быть количество деревьев и случайным образом выбранная особенность на каждом разделении, чтобы вырастить деревья? Может ли какой-либо другой параметр сильно повлиять на результаты?

14 machine-learning  classification  random-forest 

Мне нужно объединить единицы в кластеров, чтобы минимизировать сумму квадратов внутри группы (WSS), но мне нужно убедиться, что каждый из кластеров содержит не менее единиц. Любая идея, если какая-либо из функций кластеризации R позволяет кластеризовать в кластеров с учетом ограничения минимального размера кластера? Кажется, kmeans () не предлагает опцию ограничения …

14 r  clustering 

Я пытался понять, что именно означает "coef" и "(exp) coef" coxph. Кажется, что "(exp) coef" - сравнение первой переменной в модели в соответствии с группой, назначенной в команде. Как функция coxph получает значения для "coef" и "(exp) coef"? Кроме того, как coxph определяет эти значения, когда проводится цензура?

14 r  survival  interpretation 

Теорема Гаусса-Маркова говорит нам, что оценка OLS является наилучшей линейной несмещенной оценкой для модели линейной регрессии. Но предположим, что меня не волнует линейность и непредвзятость. Тогда есть ли какая-либо другая (возможно, нелинейная / смещенная) оценка для модели линейной регрессии, которая наиболее эффективна в предположениях Гаусса-Маркова или в некотором другом общем …

14 regression  unbiased-estimator 

Вопрос прост: уместно ли использовать линейную регрессию, когда Y ограничен и дискретен (например, оценка теста 1 ~ 100, некоторое заранее определенное ранжирование 1 ~ 17)? В этом случае «нехорошо» использовать линейную регрессию или это совершенно неправильно?

14 regression  multiple-regression  least-squares  linear  bounds 

Когда мы проводим тестирование, мы получаем два результата. 1) Мы отвергаем нулевую гипотезу 2) Мы не можем отвергнуть нулевую гипотезу. Мы не говорим о принятии альтернативных гипотез. Если мы не говорим о принятии альтернативной гипотезы, зачем вообще нужна альтернативная гипотеза? Вот обновление: кто-нибудь может дать мне два примера: 1) отклонение …

14 hypothesis-testing 

Если ожидаемое значение равно , каково ожидаемое значение ? Можно ли рассчитать аналитически?Gamma(α,β)Gamma(α,β)\mathsf{Gamma}(\alpha, \beta)αβαβ\frac{\alpha}{\beta}log(Gamma(α,β))log⁡(Gamma(α,β))\log(\mathsf{Gamma}(\alpha, \beta)) Параметризация, которую я использую, является скоростью формы.

14 expected-value  gamma-distribution 

В частности, в контексте соревнований по догонялкам, я заметил, что производительность модели - это выбор функций / разработка. Хотя я могу полностью понять, почему это происходит в случае с более традиционными алгоритмами ML старой школы, я не понимаю, почему это было бы так при использовании глубоких нейронных сетей. Ссылаясь на …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

Недавно я был заинтересован в реализации модели бета-регрессии, для получения результата, который является пропорцией. Обратите внимание, что этот результат не будет вписываться в биномиальный контекст, потому что в этом контексте нет осмысленной концепции дискретного «успеха». Фактически, результат - это пропорция продолжительности; числитель - это количество секунд, в течение которых определенное …

14 logit  beta-regression 

Моя цель - классифицировать сигналы датчиков. Концепция моего решения на данный момент такова: i) Инженерные функции из необработанного сигнала ii) Выбор соответствующих функций с ReliefF и подходом кластеризации iii) Применение NN, Random Forest и SVM Однако я попал в ловушку дилеммы. В ii) и iii) существуют гиперпараметры, такие как k-Nearest …

14 feature-selection  hyperparameter  optimization 

Я читал документ FaceNet и в 3-м абзаце введения говорится: Предыдущие подходы к распознаванию лиц, основанные на глубоких сетях, используют уровень классификации, обученный на основе набора известных идентификаторов лиц, а затем используют промежуточный уровень узких мест в качестве представления, используемого для обобщения распознавания, выходящего за пределы набора идентификаторов, используемых при …

14 neural-networks  image-processing 

Я пытаюсь понять знаменитую статью «Игра Atari с глубоким обучением подкреплению» ( pdf ). Я неясный о различии между эпохой и эпизодом . В алгоритме внешний цикл заканчивается эпизодами , а на рисунке ось х обозначена как эпоха . В контексте обучения подкреплению мне не ясно, что означает эпоха. Является …

14 neural-networks  terminology  reinforcement-learning  q-learning 

Мой главный вопрос касается попыток понять, как k-кратная перекрестная проверка подходит в контексте наличия наборов обучения / проверки / тестирования (если это вообще подходит в таком контексте). Обычно люди говорят о разделении данных на набор для обучения, валидации и тестирования, скажем, с соотношением 60/20/20 на курс Эндрю Нга, посредством чего …

14 cross-validation  dataset  overfitting