Статистика и большие данные

В книге Бишопа «Классификация образов и машинное обучение» описывается метод регуляризации в контексте нейронных сетей. Тем не менее, я не понимаю параграф, описывающий, что в процессе обучения количество степеней свободы увеличивается вместе со сложностью модели. Соответствующая цитата следующая: Альтернативой регуляризации как способу управления эффективной сложностью сети является процедура ранней остановки. …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Я хочу выполнить анализ ANCOVA данных, касающихся плотности эпифитов растений. Сначала я хотел бы знать, есть ли какая-либо разница в плотности растений между двумя склонами, одним N и одним S, но у меня есть другие данные, такие как высота, открытость навеса и высота растения-хозяина. Я знаю, что моим ковариатом должны …

17 r  ancova 

Скажем, что вы находитесь в библиотеке вашего департамента статистики, и что вы наткнулись на книгу со следующей картинкой на первой странице. Вы, вероятно, подумаете, что это книга о вещах линейной регрессии. Какая картина заставит вас задуматься о линейных смешанных моделях?

17 mixed-model 

Кто-нибудь может сказать мне, что именно дает перекрестный анализ? Это просто средняя точность или дает какую-либо модель с настроенными параметрами? Потому что я где-то слышал, что для настройки параметров используется перекрестная проверка.

17 cross-validation 

У меня есть этот побочный проект, где я сканирую местные новостные сайты в моей стране и хочу создать индекс преступности и индекс политической нестабильности. Я уже освещал информационно-поисковую часть проекта. Мой план состоит в том, чтобы сделать: Неконтролируемая тема извлечения. Обнаружение близких дубликатов. Контролируемая классификация и уровень инцидента (преступность / …

17 machine-learning  classification  text-mining 

Я нырнул в область нейронных сетей и увлекся ими. Наконец-то я разработал прикладную среду для тестирования торговых систем на биржах, и теперь я собираюсь внедрить в нее свою первую нейронную сеть. Очень простой и примитивный, не предназначенный для реальной торговли, просто для начинающих. Я только хочу знать, хороший ли мой …

17 machine-learning  neural-networks 

Я ищу советы / ресурсы / рекомендации о том, как лучше отформатировать графики для презентаций. По своему опыту я знаю, что график, созданный для печатного издания, не очень хорошо «масштабируется», когда его отображают с помощью проектора. Текст часто слишком маленький, строки недостаточно толстые и т. Д. Почти всегда плохая идея …

17 data-visualization 

Я провел компьютерную оценку различных методов подгонки модели определенного типа, используемой в науках о палео. У меня был большой тренировочный набор, и поэтому я случайно (стратифицированная случайная выборка) отложил тестовый набор. Я подгонял различных методов к выборкам обучающих наборов и, используя результирующих моделей, предсказывал отклик для выборок тестовых наборов и …

17 r  mixed-model  multiple-comparisons  simulation  independence 

что такое pdf произведения двух независимых случайных величин X и Y, если X и Y независимы? X нормально распределен, а Y - хи-квадрат. Z = XY если XXX имеет нормальное распределение X∼N(μx,σ2x)X∼N(μx,σx2)X\sim N(\mu_x,\sigma_x^2) fX(x)=1σx2π−−√e−12(x−μxσx)2fX(x)=1σx2πe−12(x−μxσx)2f_X(x)={1\over\sigma_x\sqrt{2\pi}}e^{-{1\over2}({x-\mu_x\over\sigma_x})^2} иYYYимеет распределение хи-квадрат сkkkстепенью свободы Y∼χ2kY∼χk2Y\sim \chi_k^2 fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)f_Y(y)={y^{(k/2)-1}e^{-y/2}\over{2^{k/2}\Gamma({k\over2})}}u(y) гдеu(y)u(y)u(y)- единичная ступенчатая функция. Теперь, что такое PDF …

17 normal-distribution  chi-squared  random-variable 

Существует ли такой пакет, который обеспечивает нулевую раздувание отрицательной биномиальной оценки модели смешанных эффектов в R? Под этим я подразумеваю: Нулевая инфляция, где вы можете указать биномиальную модель для нулевой инфляции, как в функции zeroinfl в пакете pscl: zeroinfl (y ~ X | Z, dist = "negbin") где Z - …

17 r  mixed-model  count-data  negative-binomial  zero-inflation 

У меня есть две группы субъектов, A и B, каждая из которых имеет размер около 400 и около 300 предикторов. Моя цель - построить модель прогнозирования для бинарной переменной ответа. Мой клиент хочет увидеть результат применения модели, построенной из A на B. (В своей книге «Стратегии регрессионного моделирования», @FrankHarrell упоминает, …

17 pca  logistic  predictive-models  robust 

Однажды я наткнулся на тип сюжета для категориальных данных (то есть таблиц непредвиденных обстоятельств) в Интернете, который мне действительно понравился, но я никогда не нашел его снова, и я даже не знаю, как он называется. По сути, это было похоже на сито, в котором высота строк и ширина столбцов были …

17 r  data-visualization  categorical-data 

Учитывая непрерывную зависимую переменную y и независимые переменные, включая порядковую переменную X 1 , как мне вписать линейную модель R? Есть ли документы об этом типе модели?

17 r  regression  lasso  ordinal-data  predictor 

Это частично мотивировано следующим вопросом и обсуждением после него. Предположим, что образец iid наблюдается, Xi∼F(x,θ)Xi∼F(x,θ)X_i\sim F(x,\theta) . Цель состоит в том, чтобы оценить . Но оригинальный образец не доступен. Вместо этого мы имеем некоторую статистику выборки . Предположим, что фиксировано. Как мы оцениваем ? Какова будет оценка максимального правдоподобия в …

17 estimation  maximum-likelihood 

Я подозреваю, что ряд наблюдаемых последовательностей представляет собой цепь Маркова ... X=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AAD⋮BCA⋮E⎞⎠⎟⎟⎟⎟X=(ACDDBACBAACADA⋮⋮⋮⋮⋮⋮⋮BCADABE)X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right) Однако, как я мог проверить, что они …

17 markov-process