Статистика и большие данные

Я понял, как регрессия гребня сжимает коэффициенты геометрически к нулю. Более того, я знаю, как доказать это в специальном «ортонормированном случае», но я не совсем понимаю, как это работает в общем случае с помощью «спектральной декомпозиции».

20 regression  multiple-regression  regularization  ridge-regression  svd 

Я тренирую нейронную сеть (детали не важны), где целевые данные - это вектор углов (между 0 и 2 * пи). Я ищу совет о том, как кодировать эти данные. Вот что я сейчас пытаюсь (с ограниченным успехом): 1) Кодирование 1-в-C: я устанавливаю возможные углы в 1000 или около того дискретных …

20 neural-networks  circular-statistics 

Я знаю определение симметричной положительно определенной (SPD) матрицы, но хочу понять больше. Почему они так важны, интуитивно понятно? Вот что я знаю. Что еще? Для заданных данных матрица Co-дисперсии является SPD. Ковариационная матрица является важной метрикой, см. Этот превосходный пост для интуитивного объяснения. Квадратичная форма является выпуклой, если SPD. Выпуклость …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Мы все знакомы с хорошо документированным в литературе представлением о том, что оптимизация LASSO (для простоты ограничим здесь случай линейной регрессии) эквивалентно линейной модели с гауссовыми ошибками, в которой параметры задаются перед Лапласом \ exp (- \ lambda \ | \ beta \ | _1). Нам также известно, что старшая …

20 lasso  laplace-distribution 

Я не могу точно сказать о характере данных, поскольку они являются собственностью, но предположим, что у нас есть такие данные: каждый месяц некоторые люди подписываются на услугу. Затем в каждом последующем месяце эти люди могут обновить услугу, прекратить обслуживание или получить отказ в обслуживании (например, из-за неуплаты). Для самой ранней …

20 panel-data  splines  mars 

Я не понимаю точно, что подразумевается под размером узла. Я знаю, что такое узел принятия решения, но не знаю, какой это размер узла.

20 machine-learning  random-forest  bagging 

Я прохожу курс Эндрю Нг по машинному обучению через Coursera . Для уравнений вместо индексов используются верхние индексы. Например, в следующем уравнении используется вместо : х яx(i)x(i)x^{(i)}xixix_i J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2} Видимо, это обычная практика. Мой вопрос: зачем использовать верхние индексы вместо подписных? Верхние индексы уже используются …

20 machine-learning  notation 

Для меня это было шоком, когда я впервые выполнил моделирование методом Монте-Карло с нормальным распределением и обнаружил, что среднее значение стандартных отклонений от выборок, все из которых имеют размер выборки только , оказалось намного меньше чем, т. е. в среднем раз, используется для генерации населения. Тем не менее, это хорошо …

20 normal-distribution  standard-deviation  expected-value  unbiased-estimator  umvue 

Смотрите этот вопрос на Math SE . Короткая история: я прочитал «Элементы статистического обучения» и был разочарован, когда пытался проверить некоторые результаты, например, учитывая затем I Я ищу книгу матричного исчисления, которая написана так же, как ваша традиционная книга исчислений (т. е. доказательства теорем, примеры, упражнения по вычислениям и т. …

20 references  matrix  matrix-calculus 

Я прочитал оттуда, что стандартная ошибка выборочной дисперсии SEs2=2σ4N−1−−−−−−√SEs2=2σ4N−1SE_{s^2} = \sqrt{\frac{2 \sigma^4}{N-1}} Какова стандартная ошибка стандартного отклонения образца? Я хотел бы догадаться и сказать, что но я не уверен.SEs=SEs2−−−−√SEs=SEs2SE_{s} = \sqrt{SE_{s^2}}

20 sampling  standard-deviation  standard-error 

Парадокс Штейна показывает, что, когда три или более параметров оцениваются одновременно, существуют комбинированные оценки, более точные в среднем (то есть имеющие меньшую ожидаемую среднеквадратичную ошибку), чем любой метод, который обрабатывает параметры отдельно. Это очень противоречивый результат. Сохраняется ли тот же результат, если вместо использования нормы (ожидаемой среднеквадратичной ошибки) мы будем …

20 paradox  steins-phenomenon 

У меня есть один вопрос, касающийся необходимости использовать методы выбора признаков (значение важности признаков в случайных лесах или методы выбора однофакторных объектов и т. Д.) Перед запуском алгоритма статистического обучения. Мы знаем, что во избежание переобучения мы можем ввести штраф за регуляризацию весовых векторов. Поэтому, если я хочу сделать линейную …

20 regression  machine-learning  feature-selection  lasso  regularization 

Существует много методов в экологической статистике для анализа разведочных данных многомерных данных. Это так называемые техники рукоположения. Многие из них совпадают или тесно связаны с общими методами в других областях статистики. Возможно, прототипным примером будет анализ основных компонентов (PCA). Экологи могут использовать PCA и связанные с ними методы для изучения …

20 pca  eda  ecology  correspondence-analysis 

Я смотрел много обучающих видео, и они выглядят одинаково. Вот этот, например: https://www.youtube.com/watch?v=ip4iSMRW5X4 Они объясняют состояния, действия и вероятности, которые в порядке. Человек объясняет это хорошо, но я просто не могу понять, для чего это будет использоваться в реальной жизни. Я еще не сталкивался ни с одним списком. Самый распространенный …

20 markov-process 

У меня есть нейронная сеть, настроенная для предсказания чего-то, где выходная переменная является порядковой. Я опишу ниже, используя три возможных выхода A <B <C. Совершенно очевидно, как использовать нейронную сеть для вывода категориальных данных: выходные данные - это просто максимальное значение последнего (обычно полностью подключенного) слоя, по одному на категорию, …

20 neural-networks  ordinal-data  softmax