Вопросы с тегом «neural-network»

Первоначальный вопрос касался конкретно реализаций TensorFlow. Однако ответы относятся к реализации в целом. Этот общий ответ также является правильным для TensorFlow. При использовании пакетной нормализации и выпадения в TensorFlow (особенно с использованием contrib.layers) нужно ли мне беспокоиться о порядке? Кажется возможным, что, если я использую выпадение с немедленной нормализацией партии, …

118 python  neural-network  tensorflow  conv-neural-network 

Я пытаюсь понять махи аргумента в tf.nn.avg_pool, tf.nn.max_pool, tf.nn.conv2d. В документации неоднократно говорится шаги: список целых чисел, длина которого> = 4. Шаг скользящего окна для каждого измерения входного тензора. Мои вопросы: Что означает каждое из 4+ целых чисел? Почему у них должны быть шаги [0] = шаги [3] = 1 …

115 python  neural-network  convolution  tensorflow  conv-neural-network 

Я читал документацию PyTorch и нашел пример, в котором они пишут gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) где x была начальной переменной, из которой был построен y (3-вектор). Вопрос в том, каковы аргументы 0,1, 1,0 и 0,0001 тензора градиентов? Документация по этому поводу не очень ясна.

112 neural-network  gradient  pytorch  torch  gradient-descent 

Недавно я наткнулся на tf.nn.sparse_softmax_cross_entropy_with_logits, и я не могу понять, в чем разница по сравнению с tf.nn.softmax_cross_entropy_with_logits . Является единственным отличие , что обучающие векторы yдолжны быть один горячей закодированными при использовании sparse_softmax_cross_entropy_with_logits? Читая API, я не нашел другой разницы по сравнению с softmax_cross_entropy_with_logits. Но зачем тогда нужна дополнительная функция? …

111 neural-network  tensorflow  softmax  cross-entropy 

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Stack Overflow. Закрыт 6 лет назад . Уточните этот вопрос Меня действительно интересуют искусственные нейронные сети, но я ищу, с чего начать. Какие …

109 neural-network 

Я пытаюсь понять роль Flattenфункции в Керасе. Ниже мой код, который представляет собой простую двухуровневую сеть. Он принимает двумерные данные формы (3, 2) и выводит одномерные данные формы (1, 4): model = Sequential() model.add(Dense(16, input_shape=(3, 2))) model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(4)) model.compile(loss='mean_squared_error', optimizer='SGD') x = np.array([[[1, 2], [3, 4], [5, 6]]]) y …

109 machine-learning  tensorflow  neural-network  deep-learning  keras 

Я пытаюсь понять LSTM и как их создавать с помощью Keras. Я обнаружил, что в основном есть 4 режима для запуска RNN (4 правые на картинке) Источник изображения: Андрей Карпаты Теперь мне интересно, как будет выглядеть минималистичный фрагмент кода для каждого из них в Keras. Так что-то вроде model = …

108 machine-learning  neural-network  deep-learning  keras  recurrent-neural-network 

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Stack Overflow. Закрыт 9 дней назад . Уточните этот вопрос Пытаюсь построить нейронную сеть с нуля. Во всей литературе по ИИ существует консенсус …

105 machine-learning  neural-network  artificial-intelligence  mathematical-optimization  gradient-descent 

Если у нас есть 10 собственных векторов, то у нас может быть 10 нейронных узлов во входном слое. Если у нас есть 5 выходных классов, то у нас может быть 5 узлов в выходном слое. Но каковы критерии выбора количества скрытых слоев в MLP и сколько нейронных узлы в 1 …

104 machine-learning  neural-network  deep-learning  perceptron 

Мне было интересно, можно ли сохранить частично обученную модель Keras и продолжить обучение после повторной загрузки модели. Причина этого в том, что в будущем у меня будет больше обучающих данных, и я не хочу снова переобучать всю модель. Я использую следующие функции: #Partly train model model.fit(first_training, first_classes, batch_size=32, nb_epoch=20) #Save …

102 python  tensorflow  neural-network  keras  resuming-training 

У меня есть пример нейронной сети с двумя слоями. Первый уровень принимает два аргумента и имеет один выход. Второй должен принимать один аргумент как результат первого уровня и один дополнительный аргумент. Должно получиться так: x1 x2 x3 \ / / y1 / \ / y2 Итак, я создал модель с …

96 python  machine-learning  keras  neural-network 

Я обнаружил, что во многих доступном коде нейронных сетей, реализованном с использованием TensorFlow, условия регуляризации часто реализуются путем добавления вручную дополнительного члена к значению потерь. Мои вопросы: Есть ли более элегантный или рекомендуемый способ регуляризации, чем это делать вручную? Я также считаю, что get_variableу этого есть аргумент regularizer. Как его …

94 python  neural-network  tensorflow  deep-learning 

Я просматривал этот пример языковой модели LSTM на github (ссылка) . Что он делает в целом, мне довольно ясно. Но я все еще пытаюсь понять, что contiguous()делает вызов , что происходит несколько раз в коде. Например, в строке 74/75 создаются последовательности ввода кода и цели LSTM. Данные (хранящиеся в ids) …

90 neural-network  deep-learning  lstm  pytorch  contiguous 

Я заметил, что во время тренировок вводится частое явление NAN. Часто кажется, что это происходит из-за того, что веса во внутреннем продукте / полностью связанных или сверточных слоях взрываются. Это происходит потому, что вычисление градиента резко увеличивается? Или это из-за инициализации веса (если да, то почему инициализация веса имеет такой …

86 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

Проблемы классификации, такие как логистическая регрессия или полиномиальная логистическая регрессия, оптимизируют кросс-энтропийную потерю. Обычно слой кросс-энтропии следует за слоем softmax , который производит распределение вероятностей. В тензорном потоке есть как минимум дюжина различных функций кросс-энтропийных потерь : tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ... Какой из них работает только …

84 python  tensorflow  neural-network  logistic-regression  cross-entropy