Вопросы с тегом «neural-networks»

В частности, в контексте соревнований по догонялкам, я заметил, что производительность модели - это выбор функций / разработка. Хотя я могу полностью понять, почему это происходит в случае с более традиционными алгоритмами ML старой школы, я не понимаю, почему это было бы так при использовании глубоких нейронных сетей. Ссылаясь на …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

Я читал документ FaceNet и в 3-м абзаце введения говорится: Предыдущие подходы к распознаванию лиц, основанные на глубоких сетях, используют уровень классификации, обученный на основе набора известных идентификаторов лиц, а затем используют промежуточный уровень узких мест в качестве представления, используемого для обобщения распознавания, выходящего за пределы набора идентификаторов, используемых при …

14 neural-networks  image-processing 

Я пытаюсь понять знаменитую статью «Игра Atari с глубоким обучением подкреплению» ( pdf ). Я неясный о различии между эпохой и эпизодом . В алгоритме внешний цикл заканчивается эпизодами , а на рисунке ось х обозначена как эпоха . В контексте обучения подкреплению мне не ясно, что означает эпоха. Является …

14 neural-networks  terminology  reinforcement-learning  q-learning 

В некоторых уроках я обнаружил, что было указано, что инициализация весов «Ксавье» (статья: Понимание сложности обучения глубоких нейронных сетей с прямой связью ) является эффективным способом инициализации весов нейронных сетей. Для полностью связанных слоев в этих уроках было практическое правило: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} …

14 normal-distribution  variance  neural-networks  conv-neural-network 

Теорема универсального приближения является довольно известным результатом для нейронных сетей, в основном утверждая, что при некоторых допущениях функция может быть равномерно аппроксимирована нейронной сетью с любой точностью. Есть ли аналогичный результат, применимый к сверточным нейронным сетям?

14 neural-networks  conv-neural-network  approximation 

У меня есть необработанные данные, которые имеют около 20 столбцов (20 функций). Десять из них являются непрерывными данными, а 10 - категориальными. Некоторые из категориальных данных могут иметь около 50 различных значений (штаты США). После предварительной обработки данных 10 непрерывных столбцов превращаются в 10 подготовленных столбцов, а 10 категориальных значений …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

В документе DeepMind 2015 года об обучении глубокому подкреплению говорится, что «предыдущие попытки объединить RL с нейронными сетями в значительной степени потерпели неудачу из-за нестабильного обучения». Затем в документе перечислены некоторые причины этого, основанные на корреляции между наблюдениями. Пожалуйста, кто-нибудь может объяснить, что это значит? Является ли это формой переоснащения, …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Я читал некоторые статьи о ручном создании изображений, чтобы «обмануть» нейронную сеть (см. Ниже). Это потому, что сети моделируют только условную вероятность ? Если сеть может смоделировать общую вероятность p ( y , x ) , будут ли такие случаи происходить?р ( у| х)п(Y|Икс)p(y|x)р ( у, Х )п(Y,Икс)p(y,x) Я предполагаю, …

13 machine-learning  neural-networks  deep-learning 

Я искал в Google, Википедии, Google ученый и многое другое, но я не мог найти происхождение автоэнкодеров. Возможно, это одна из тех концепций, которые развивались очень постепенно, и невозможно проследить четкую отправную точку, но все же я хотел бы найти какое-то краткое изложение основных этапов их развития. В главе об …

13 neural-networks  autoencoders  history 

По моему мнению, коррелированные входные данные должны привести к переоснащению в нейронных сетях, потому что сеть узнает корреляцию, например, шум в данных. Это верно?

13 correlation  neural-networks  overfitting 

При инициализации весов соединений в нейронной сети с прямой связью важно инициализировать их случайным образом, чтобы избежать любых симметрий, которые алгоритм обучения не сможет нарушить. Рекомендация, которую я видел в разных местах (например, в учебнике MNIST от TensorFlow ), заключается в использовании усеченного нормального распределения с использованием стандартного отклонения , …

13 neural-networks  backpropagation  weights  truncated-normal 

Я читал Книгу Йошуа Бенжио по глубокому обучению, и на странице 224 написано: Сверточные сети - это просто нейронные сети, которые используют свертку вместо общего умножения матриц, по крайней мере, на одном из их уровней. однако я не был уверен на 100% в том, как «заменить умножение матриц сверткой» в …

13 machine-learning  neural-networks  deep-learning  convolution 

Я использую lstm и сеть прямой связи для классификации текста. Я преобразую текст в горячие векторы и подаю каждый в lstm, чтобы суммировать его как единое представление. Затем я передаю его в другую сеть. Но как мне тренировать LSTM? Я просто хочу последовательно классифицировать текст - я должен кормить его …

13 classification  neural-networks  deep-learning  lstm 

Я работаю над небольшим проектом, в котором мы пытаемся прогнозировать цены на товары (нефть, алюминий, олово и т. Д.) На ближайшие 6 месяцев. У меня есть 12 таких переменных для прогнозирования, и у меня есть данные за апрель 2008 года - май 2013 года. Как я должен идти о предсказании? …

13 r  time-series  forecasting  neural-networks  arima 

В большинстве примеров нейронных сетей, которые я видел до сих пор, сеть используется для классификации, а узлы трансформируются сигмоидальной функцией. Тем не менее, я хотел бы использовать нейронную сеть для вывода непрерывного реального значения (реально выходной сигнал обычно находится в диапазоне от -5 до +5). Мои вопросы: 1. Should I …

13 regression  neural-networks