Вопросы с тегом «neural-network»

Недавно я прочитал « Полностью сверточные сети для семантической сегментации » Джонатана Лонга, Эвана Шелхамера, Тревора Даррелла. Я не понимаю, что делают "деконволюционные слои" / как они работают. Соответствующая часть 3.3. Апсэмплинг - обратная свертка Другим способом подключения грубых выходов к плотным пикселям является интерполяция. Например, простая билинейная интерполяция вычисляет …

188 neural-network  convnet  convolution 

Я использую нейронные сети для решения различных задач машинного обучения. Я использую Python и Pybrain, но эта библиотека почти прекращена. Есть ли другие хорошие альтернативы в Python?

130 machine-learning  python  neural-network 

Ссылаясь на заметки Стэнфордского курса о сверточных нейронных сетях для визуального распознавания , в параграфе говорится: «К сожалению, юниты ReLU могут быть хрупкими во время обучения и могут« умереть ». Например, большой градиент, протекающий через нейрон ReLU, может привести к тому, что веса обновятся таким образом, что нейрон никогда не …

119 machine-learning  neural-network  deep-learning 

Основное различие между ГРУ и LSTM является то , что ГРУ имеет два ворот ( сброс и обновление Gates) в то время как LSTM имеет три ворота (а именно вход , выход и забыть ворота). Почему мы используем GRU, когда мы четко контролируем сеть через модель LSTM (так как у …

95 neural-network  deep-learning 

В настоящее время я работаю над внедрением Stochastic Gradient Descent, SGDдля нейронных сетей, использующих обратное распространение, и, хотя я понимаю его назначение, у меня есть несколько вопросов о том, как выбрать значения для скорости обучения. Связана ли скорость обучения с формой градиента ошибки, так как он определяет скорость снижения? Если …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

При написании статьи / создании презентации по теме, касающейся нейронных сетей, обычно визуализируют архитектуру сетей. Каковы хорошие / простые способы автоматической визуализации общих архитектур?

80 machine-learning  neural-network  deep-learning  visualization 

Я построил свою модель. Теперь я хочу нарисовать диаграмму сетевой архитектуры для моей исследовательской работы. Пример показан ниже:

78 machine-learning  neural-network  deep-learning  svm  software-recommendation 

Это небольшой концептуальный вопрос, который мучил меня некоторое время: как мы можем распространяться обратно через слой максимального пула в нейронной сети? Я наткнулся на слои с максимальным объединением, проходя этот урок для библиотеки nn в Torch 7. Библиотека абстрагирует вычисление градиента и прямые проходы для каждого слоя глубокой сети. Я …

62 neural-network  backpropagation 

Я недавно прочитал комментарий Яна ЛеКуна о свертках 1x1 : В Сверточных Сетях не существует такого понятия, как «полностью связанные слои». Существуют только слои свертки с ядрами свертки 1x1 и полной таблицей соединений. Это слишком редко понимаемый факт, что ConvNets не должен иметь вход фиксированного размера. Вы можете обучить их …

55 neural-network  convnet 

Я думал о рекуррентных нейронных сетях (RNN) и их разновидностях, а также о сверточных нейронных сетях (CNN) и их разновидностях. Будут ли справедливы эти два момента, чтобы сказать: Используйте CNN, чтобы разбить компонент (например, изображение) на подкомпоненты (например, объект на изображении, например, контур объекта на изображении и т. Д.) Используйте …

53 machine-learning  neural-network  beginner 

Я знал, что Residual Network (ResNet) сделал обычную инициализацию популярной. В ResNet используется обычная инициализация He , в то время как первый уровень использует равномерную инициализацию He. Я просмотрел документ ResNet и документ «Углубление в выпрямители» (документ об инициализации), но я не нашел упоминаний о обычном init против стандартного init. …

51 neural-network  deep-learning  normalization 

Когда я начинал с искусственных нейронных сетей (NN), я думал, что мне придется бороться с переоснащением в качестве основной проблемы. Но на практике я даже не могу заставить свой NN пройти барьер 20% ошибок. Я даже не могу побить свой счет в случайном лесу! Я ищу какой-то очень общий или …

50 neural-network  deep-learning 

Я использую TensorFlow для экспериментов в основном с нейронными сетями. Хотя я провел довольно много экспериментов (XOR-Problem, MNIST, некоторые вещи регрессии, ...), я борюсь с выбором «правильной» функции стоимости для конкретных задач, потому что в целом я мог бы считаться новичком. До прихода в TensorFlow я самостоятельно кодировал некоторые полностью …

49 machine-learning  python  neural-network  statistics  tensorflow 

немного читал о LSTM и их использовании для временных рядов, и это было интересно, но в то же время сложно. У меня возникли трудности с пониманием - это подход к добавлению дополнительных функций в список временных рядов. Предположим, у вас есть такой набор данных: т-3, Т-2, Т-1, выход Теперь предположим, …

43 machine-learning  neural-network  deep-learning  time-series 

f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Керас, однако, выполняет обе функции в документах . Leaky ReLU Источник LeakyReLU : return K.relu(inputs, alpha=self.alpha) Следовательно (см. Код relu ) е1( x ) = max ( 0 , x ) - α …

42 neural-network