Статистика и большие данные

Я тренирую нейронную сеть, но потери от тренировок не уменьшаются. Как я могу это исправить? Я не спрашиваю о переоснащении или регуляризации. Я спрашиваю, как решить проблему, когда производительность моей сети не улучшается на тренировочном наборе . Этот вопрос намеренно носит общий характер, поэтому другие вопросы о том, как обучить …

148 neural-networks  deep-learning 

У меня есть набор данных, который содержит как непрерывные, так и категориальные данные. Я анализирую с помощью PCA и задаюсь вопросом, можно ли включать категориальные переменные в качестве части анализа. Насколько я понимаю, PCA может применяться только к непрерывным переменным. Это правильно? Если его нельзя использовать для категориальных данных, какие …

147 categorical-data  pca  correspondence-analysis  mixed-type-data 

В нескольких различных контекстах мы используем центральную предельную теорему для обоснования любого статистического метода, который мы хотим принять (например, аппроксимируем биномиальное распределение нормальным распределением). Я понимаю технические детали относительно того, почему теорема верна, но мне только что пришло в голову, что я не совсем понимаю интуицию, лежащую в основе центральной …

144 intuition  central-limit-theorem 

Я изучил R, но кажется, что компании гораздо больше заинтересованы в опыте SAS. Каковы преимущества SAS перед R?

143 r  sas 

Уровень техники нелинейности заключается в использовании выпрямленных линейных единиц (ReLU) вместо сигмовидной функции в глубокой нейронной сети. Каковы преимущества? Я знаю, что тренировка сети при использовании ReLU будет быстрее, и она будет более биологически вдохновленной, каковы другие преимущества? (То есть какие-то недостатки использования сигмовидной кишки)?

141 machine-learning  neural-networks  deep-learning 

Вот статья, которая мотивировала этот вопрос: неужели нетерпение делает нас толстыми? Мне понравилась эта статья, и она хорошо демонстрирует концепцию «контроля за другими переменными» (IQ, карьера, доход, возраст и т. Д.), Чтобы наилучшим образом выделить истинные отношения только между двумя рассматриваемыми переменными. Можете ли вы объяснить мне, как вы фактически …

141 regression  causality  confounding  controlling-for-a-variable  statistics-in-media 

Всегда ли полезно тренироваться с полным набором данных после перекрестной проверки ? Другими словами, можно ли тренироваться со всеми образцами в моем наборе данных и не иметь возможности проверить, подходит ли этот конкретный пример ? Некоторые предыстории проблемы: Скажем, у меня есть семейство моделей, параметризованных . Скажем также, что у …

140 machine-learning  cross-validation  model-selection 

Я получил этот вопрос во время интервью с Amazon: 50% всех людей, которые получают первое интервью, получают второе интервью 95% ваших друзей, которые получили второе интервью, чувствовали, что у них было хорошее первое интервью 75% ваших друзей, которые НЕ получили второе интервью, считают, что у них было хорошее первое интервью …

139 probability  conditional-probability 

В последнее время эта статья привлекла большое внимание (например, из WSJ ). По сути, авторы приходят к выводу, что Facebook потеряет 80% своих членов к 2017 году. Они основывают свои требования на экстраполяции модели SIR , компартментальной модели, часто используемой в эпидемиологии. Их данные взяты из поисков Google для «Facebook», …

138 hypothesis-testing  correlation  epidemiology  social-network 

Я использую в -кратной перекрестной проверки несколько раз сейчас , чтобы оценить производительность некоторых алгоритмов обучения, но я всегда был озадачен о том , как я должен выбрать значение .КKКKKКK Я часто видел и использовал значение , но мне это кажется совершенно произвольным, и теперь я просто использую по привычке, …

136 machine-learning  classification  cross-validation 

Сегодня в классе меня спросили, почему при расчете стандартного отклонения вы делите сумму квадратичной ошибки на а не на .nn - 1n−1n-1Nnn Я сказал, что не собираюсь отвечать на этот вопрос в классе (поскольку я не хотел вдаваться в объективные оценки), но позже я удивился - есть ли интуитивное объяснение …

136 standard-error  intuition  teaching  bessels-correction 

В настоящее время я использую SVM с линейным ядром для классификации моих данных. На тренировочном наборе ошибок нет. Я перепробовал несколько значений параметра ( 10 - 5 , … , 10 2 ). Это не изменило ошибку на тестовом наборе.СCC10- 5, … , 10210−5,…,10210^{-5}, \dots, 10^2 Теперь я задаюсь вопросом: …

134 machine-learning  svm  libsvm 

Какие функции общих затрат используются при оценке производительности нейронных сетей? подробности (не стесняйтесь пропустить остальную часть этого вопроса, мое намерение здесь состоит в том, чтобы просто дать пояснение по обозначению, которое ответы могут использовать, чтобы помочь им быть более понятными для широкого читателя) Я думаю, что было бы полезно иметь …

133 machine-learning  neural-networks 

Чем отличаются PCA и классический MDS? Как насчет МДС и неметрических МДС? Есть ли время, когда вы бы предпочли одно над другим? Чем отличаются интерпретации?

133 pca  multidimensional-scaling  pcoa 

У меня есть набор данных, и я хочу выяснить, какое распределение лучше всего подходит для моих данных. Я использовал fitdistr()функцию для оценки необходимых параметров для описания предполагаемого распределения (т. Е. Вейбулла, Коши, Нормаль). Используя эти параметры, я могу провести тест Колмогорова-Смирнова, чтобы оценить, соответствуют ли мои выборочные данные тому же …

133 r  distributions  goodness-of-fit  kolmogorov-smirnov  distribution-identification