Статистика и большие данные

При построении прогностической модели с использованием методов машинного обучения, какой смысл проводить исследовательский анализ данных (EDA)? Можно ли сразу перейти к генерации объектов и созданию вашей модели? Как важна описательная статистика, используемая в EDA?

23 machine-learning  predictive-models  descriptive-statistics  eda 

Каждый учебник, который я видел до сих пор, описывает алгоритмы ML и способы их реализации. Есть ли также учебник, который строит теоремы и доказательства поведения этих алгоритмов? например, заявив, что в условиях градиентный спуск всегда будет приводить к ?х , у, zИкс,Y,Zx,y,zA , B , CA,В,СA,B,C

23 machine-learning  mathematical-statistics  references  algorithms 

Предположим, я хочу создать модель логистической регрессии, которая может оценить вероятность появления некоторых видов животных, живущих на деревьях, на основе характеристик деревьев (например, высоты). Как всегда, мое время и деньги ограничены, поэтому я могу собрать только ограниченный размер выборки. У меня есть следующие вопросы: должно ли соотношение 1 и 0 …

23 logistic  sampling 

Мне интересно узнать, как разработать географическую аппроксимацию какого-то эпицентра на основе данных о вспышке болезни Джона Сноу Холера. Какое статистическое моделирование может быть использовано для решения такой проблемы без предварительного знания места расположения скважин. Как общая проблема, у вас будет время, местоположение известных точек и пешеходная дорожка наблюдателя. Метод, который …

23 bayesian  spatial  epidemiology  gis 

Я пишу пример и составил некоторые данные. Я хочу, чтобы читателю было ясно, что это не реальные данные, но я также не хочу создавать впечатление злого умысла, поскольку он служит только примером. В этих конкретных данных нет (псевдослучайной) компоненты, поэтому мне кажется, что «имитация» не подходит. Если я называю это …

23 terminology  synthetic-data 

Я много читал об алгоритме sne для уменьшения размерности. Я очень впечатлен производительностью на «классических» наборах данных, таких как MNIST, где достигается четкое разделение цифр ( см. Оригинальную статью ):Ttt Я также использовал его, чтобы визуализировать функции, которым научилась нейронная сеть, которую я тренирую, и я был очень доволен результатами. …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

В вопросе, который я задал недавно , мне сказали, что это большое «нет-нет», экстраполировать с лессом. Но в последней статье Нейта Сильвера на FiveThirtyEight.com он обсуждал использование лессов для прогнозирования выборов. Он обсуждал специфику агрессивных и консервативных прогнозов с лессом, но мне любопытно, насколько правильно делать будущие прогнозы с лессом? …

23 time-series  forecasting  predictive-models  loess  politics 

Обычно мы используем PCA как метод уменьшения размерности для данных, где предполагается, что случаи Вопрос: Каковы типичные нюансы в применении PCA для зависимых, неидеальных данных? Какие полезные / полезные свойства PCA для данных iid скомпрометированы (или полностью потеряны)? Например, данные могут быть многомерным временным рядом, и в этом случае можно …

23 time-series  pca  non-independent  iid 

Я занимаюсь некоторыми методами оптимизации машинного обучения, но удивляюсь, обнаружив, что большое количество алгоритмов оптимизации определяется с точки зрения других задач оптимизации. Я проиллюстрирую некоторые примеры в следующем. Например, https://arxiv.org/pdf/1511.05133v1.pdf. Все выглядит красиво и хорошо , но тогда есть это в обновление .... так что алгоритм , который решает для …

23 machine-learning  svm  optimization 

Недавно я бегал и изучал тензорный поток и получил несколько гистограмм, которые я не знал, как интерпретировать. Обычно я думаю о высоте столбцов как о частоте (или относительной частоте / числе). Тем не менее, тот факт, что в обычной гистограмме нет столбцов, и то, что все заштриховано, меня смущает. также …

23 machine-learning  neural-networks  conv-neural-network  tensorflow 

Монти прекрасно знал, была ли за дверью коза (или она была пуста). Этот факт позволяет игроку удвоить свой показатель успеха с течением времени, переключая «догадки» на другую дверь. Что если знания Монти были не идеальными? Что если иногда приз действительно находился в том же дверном проеме, что и коза? Но …

23 conditional-probability 

Если вы посмотрите документацию http://keras.io/optimizers/, в SGD есть параметр для затухания. Я знаю, что это снижает скорость обучения с течением времени. Однако не могу понять, как именно это работает. Это значение умножается на скорость обучения, например, lr = lr * (1 - decay) экспоненциально? Кроме того, как я могу узнать, …

23 neural-networks  python 

Я просматривал этот обзор формул lm / lmer R от @conjugateprior и был озадачен следующей записью: Теперь предположим, что A случайный, но B фиксирован, а B вложен в A. aov(Y ~ B + Error(A/B), data=d) Ниже приведена аналогичная смешанная модельная формула lmer(Y ~ B + (1 | A:B), data=d) для …

23 r  anova  mixed-model  repeated-measures  lme4-nlme 

Предположим, я обучил несколько моделей на тренировочном наборе, выбрал лучшую, используя набор перекрестной проверки, и измерил производительность на тестовом наборе. Так что теперь у меня есть одна последняя лучшая модель. Должен ли я переучивать его на всех имеющихся у меня данных или судовом решении, обученном только на тренировочном наборе? Если …

23 machine-learning  validation  regression-strategies 

Сегодня мне пришло в голову, что распределение можно рассматривать как компромисс между распределениями Гаусса и Лапласа, дляx∈R,p∈[1,2]иβ>0.Имеет ли такое распределение имя? И есть ли у него выражение для константы нормализации? Исчисление пни меня, потому что я не знаюкак даже начать решать дляCв интегральном 1=C⋅∫ ∞ - ∞ ехр(-|х-ц | рf(x)∝exp(−|x−μ|pβ)f(x)∝exp⁡(−|x−μ|pβ) …

23 distributions  normal-distribution  terminology  laplace-distribution  distribution-identification