Статистика и большие данные

Я читаю книгу: Епископ, Распознавание образов и машинное обучение (2006) который определяет экспоненциальное семейство как распределения вида (уравнение 2.194): p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp⁡{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\} Но я не вижу никаких ограничений на или \ mathbf u (\ mathbf x) . Не …

18 mathematical-statistics  exponential-family 

У меня есть данные о поведении при движении (время, проведенное во сне, сидячий образ жизни и выполнение физических упражнений), которое составляет приблизительно 24 (как в часах в день). Я хочу создать переменную, которая фиксирует относительное время, затрачиваемое на каждое из этих поведений, - мне сказали, что изометрическое преобразование логарифмического соотношения …

18 r  multivariate-analysis  data-transformation  compositional-data 

Мы определяем эпоху как пройденную через все доступные обучающие выборки, а размер мини-пакета как число выборок, по которым мы усредняем, чтобы найти обновления весов / смещений, необходимые для снижения градиента. Мой вопрос заключается в том, следует ли нам рисовать без замены из набора обучающих примеров, чтобы генерировать каждую мини-серию в …

18 machine-learning  neural-networks  optimization  deep-learning 

Я читал (например, здесь ), что ядро ​​Епанечникова является оптимальным, по крайней мере в теоретическом смысле, при оценке плотности ядра. Если это правда, то почему гауссиан появляется так часто, как ядро ​​по умолчанию, или во многих случаях единственное ядро, в библиотеках оценки плотности?

18 nonparametric  kernel-smoothing 

Я использую модель Logit. Моя зависимая переменная является двоичной. Однако у меня есть независимая переменная , которая является категоричным и содержит ответы: 1.very good, 2.good, 3.average, 4.poor and 5.very poor. Итак, это порядковый номер («количественный категориальный»). Я не уверен, как справиться с этим в модели. Я использую gretl. [Примечание от …

18 regression  logistic  ordinal-data  predictor 

Существуют современные исследования байесовской оптимизации (1) для настройки гиперпараметров ML. Мотивация здесь заключается в том, что требуется минимальное количество точек данных, чтобы сделать осознанный выбор того, какие точки стоит попробовать (вызовы целевых функций стоят дорого, поэтому делать меньше нужно лучше), потому что обучение модели требует много времени - некоторые скромные …

18 hyperparameter  bayesian-optimization  optunity 

Изучая обучение подкреплению, я сталкивался со многими формами функции вознаграждения: , и даже с функцией вознаграждения, которая зависит только от текущего состояния. Сказав это, я понял, что не очень легко «сделать» или «определить» функцию вознаграждения.R ( s , a )р(s,a)R(s,a)R ( s , a , s)')р(s,a,s')R(s,a,s') Вот мои вопросы: Существуют …

18 machine-learning  reinforcement-learning 

Некоторые из функций моих данных имеют большие значения, в то время как другие функции имеют гораздо меньшие значения. Необходимо ли центрировать + масштабировать данные перед применением t-SNE, чтобы предотвратить смещение в сторону больших значений? Я использую реализацию Python sklearn.manifold.TSNE с евклидовой метрикой расстояния по умолчанию.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Я только изучаю оптимизацию и испытываю трудности с пониманием разницы между выпуклой и невыпуклой оптимизацией. Насколько я понимаю, выпуклая функция - это та, где «отрезок прямой между любыми двумя точками на графике функции лежит выше или на графике». В этом случае можно использовать алгоритм градиентного спуска, поскольку существует единственный минимум, …

18 optimization 

Некоторые авторы (например, Pallant, 2007, стр. 225; см. Изображение ниже) предлагают рассчитать величину эффекта для рангового теста Уилкоксона, разделив статистику теста на квадратный корень из числа наблюдений: r = ZNИкс+ nY√рзнак равноZNИкс+NYr = \frac{Z}{\sqrt{n_x + n_y}} Zявляется выводом статистики теста по SPSS (см. изображение ниже), а также по wilcoxsign_testR. (См. …

18 effect-size  wilcoxon-signed-rank 

У меня есть модель набора данных Movies, и я использовал регрессию: model <- lm(imdbVotes ~ imdbRating + tomatoRating + tomatoUserReviews+ I(genre1 ** 3.0) +I(genre2 ** 2.0)+I(genre3 ** 1.0), data = movies) library(ggplot2) res <- qplot(fitted(model), resid(model)) res+geom_hline(yintercept=0) Который дал вывод: Теперь я попытался сработать что-то под названием «График добавленной переменной» …

18 regression  data-visualization  multiple-regression  scatterplot 

Какова разница между и ?E ( X | Y ) E(X|Y)E(X|Y)E ( X | Y = y )E(X|Y=y)E(X|Y=y) Раньше функция Yyy а последняя функция Иксxx ? Это так запутанно ..

18 conditional-expectation  notation  definition 

Справочная информация: Примечание: мой набор данных и r-код включены ниже текста Я хочу использовать AIC для сравнения двух моделей смешанных эффектов, сгенерированных с использованием пакета lme4 в R. Каждая модель имеет один фиксированный эффект и один случайный эффект. Фиксированный эффект отличается между моделями, но случайный эффект остается одинаковым между моделями. …

18 maximum-likelihood  random-effects-model  fixed-effects-model  mixed-model  lme4-nlme 

Я, кажется, запутался, пытаясь понять, имеет ли значение квадрат также значение .rrrppp Насколько я понимаю, в линейной корреляции с набором точек данных может иметь значение в диапазоне от до и это значение, каким бы оно ни было, может иметь значение, которое показывает , значительно ли отличается от (т.е. , если …

18 statistical-significance  p-value  r-squared 

Я однажды слышал, что логарифмическое преобразование является наиболее популярным для правосторонних распределений в линейной регрессии или квантильной регрессии Я хотел бы знать, есть ли причина, лежащая в основе этого утверждения? Почему преобразование журналов подходит для правильного распределения? Как насчет левостороннего распределения?

18 regression  distributions  data-transformation  skewness