программирование deep-learning

1

Какие параметры следует использовать для ранней остановки?

Я тренирую нейронную сеть для своего проекта с помощью Keras. Керас предусмотрел функцию ранней остановки. Могу ли я узнать, какие параметры следует соблюдать, чтобы моя нейронная сеть не переобучалась с помощью ранней остановки?

100 python keras deep-learning conv-neural-network

6

Как применить градиентную обрезку в TensorFlow?

Учитывая пример кода . Я хотел бы знать, как применить градиентное отсечение в этой сети в RNN, где есть возможность взрывных градиентов. tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) Это пример, который можно использовать, но где мне его представить? В деф РНН lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0) # Split data because rnn cell needs …

96 python machine-learning tensorflow deep-learning lstm

6

Использование предварительно обученного встраивания слов (word2vec или Glove) в TensorFlow

Недавно я рассмотрел интересную реализацию классификации сверточного текста . Однако весь код TensorFlow, который я рассмотрел, использует случайные (не предварительно обученные) векторы внедрения, например следующие: with tf.device('/cpu:0'), tf.name_scope("embedding"): W = tf.Variable( tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), name="W") self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) Кто-нибудь знает, как использовать результаты Word2vec …

95 python numpy tensorflow deep-learning

10

Как добавить регуляризации в TensorFlow?

Я обнаружил, что во многих доступном коде нейронных сетей, реализованном с использованием TensorFlow, условия регуляризации часто реализуются путем добавления вручную дополнительного члена к значению потерь. Мои вопросы: Есть ли более элегантный или рекомендуемый способ регуляризации, чем это делать вручную? Я также считаю, что get_variableу этого есть аргумент regularizer. Как его …

94 python neural-network tensorflow deep-learning

5

почему мы «упаковываем» последовательности в pytorch?

Я пытался воспроизвести, как использовать упаковку для входных данных последовательности переменной длины для rnn, но я думаю, что сначала мне нужно понять, почему нам нужно «упаковать» последовательность. Я понимаю, почему нам нужно их «прокладывать», но почему это pack_padded_sequenceнеобходимо? Приветствуются любые объяснения высокого уровня!

93 deep-learning pytorch recurrent-neural-network tensor zero-padding

6

PyTorch - смежные ()

Я просматривал этот пример языковой модели LSTM на github (ссылка) . Что он делает в целом, мне довольно ясно. Но я все еще пытаюсь понять, что contiguous()делает вызов , что происходит несколько раз в коде. Например, в строке 74/75 создаются последовательности ввода кода и цели LSTM. Данные (хранящиеся в ids) …

90 neural-network deep-learning lstm pytorch contiguous

5

Какая польза от многословия в Keras при проверке модели?

Я впервые использую модель LSTM. Вот моя модель: opt = Adam(0.002) inp = Input(...) print(inp) x = Embedding(....)(inp) x = LSTM(...)(x) x = BatchNormalization()(x) pred = Dense(5,activation='softmax')(x) model = Model(inp,pred) model.compile(....) idx = np.random.permutation(X_train.shape[0]) model.fit(X_train[idx], y_train[idx], nb_epoch=1, batch_size=128, verbose=1) Какая польза от многословия при обучении модели?

89 python deep-learning keras verbose

2

как форматировать данные изображения для обучения / прогнозирования, когда изображения различаются по размеру?

Я пытаюсь обучить свою модель, которая классифицирует изображения. У меня проблема в том, что у них разные размеры. как мне отформатировать мои изображения / или архитектуру модели?

88 deep-learning

4

Что означает global_step в Tensorflow?

Это учебный код с веб-сайта TensorFlow, может ли кто-нибудь помочь объяснить, что global_stepзначит? На веб-сайте Tensorflow я обнаружил, что глобальный шаг используется для подсчета шагов обучения , но я не совсем понимаю, что именно это означает. Кроме того, что означает цифра 0 при настройке global_step? def training(loss,learning_rate): tf.summary.scalar('loss',loss) optimizer = …

88 tensorflow deep-learning

5

Керас, как мне предсказать после обучения модели?

Я играю с набором данных reuters-example, и он работает нормально (моя модель обучена). Я читал о том, как сохранить модель, чтобы потом загрузить ее и использовать снова. Но как мне использовать эту сохраненную модель для предсказания нового текста? Я использую models.predict()? Нужно ли мне готовить этот текст по-особенному? Я пробовал …

87 python theano deep-learning keras

5

Распространенные причины нанов во время тренировок

Я заметил, что во время тренировок вводится частое явление NAN. Часто кажется, что это происходит из-за того, что веса во внутреннем продукте / полностью связанных или сверточных слоях взрываются. Это происходит потому, что вычисление градиента резко увеличивается? Или это из-за инициализации веса (если да, то почему инициализация веса имеет такой …

86 machine-learning neural-network deep-learning caffe gradient-descent

1

Какова роль слоя TimeDistributed в Keras?

Я пытаюсь понять, что делает оболочка TimeDistributed в Керасе. Я понимаю, что TimeDistributed «применяет слой к каждому временному фрагменту ввода». Но я провел некоторый эксперимент и получил результаты, которых не могу понять. Короче говоря, применительно к слою LSTM, TimeDistributed и просто Dense дают одинаковые результаты. model = Sequential() model.add(LSTM(5, input_shape …

83 python machine-learning keras neural-network deep-learning

2

Пользовательский оптимизатор TensorFlow Keras

Предположим, я хочу написать собственный класс оптимизатора, соответствующий tf.kerasAPI (используя версию TensorFlow> = 2.0). Я запутался в документированном способе сделать это по сравнению с тем, что сделано в реализациях. Документация для tf.keras.optimizers.Optimizer штатов , ### Write a customized optimizer. If you intend to create your own optimization algorithm, simply inherit …

30 python tensorflow deep-learning tf.keras tensorflow2.x

1

Понимание получения градиентной политики

Я пытаюсь воссоздать очень простой пример Policy Gradient из исходного ресурса блога Andrej Karpathy . В этой статье вы найдете пример с CartPole и Policy Gradient со списком веса и активацией Softmax. Вот мой воссозданный и очень простой пример градиента политики CartPole, который отлично работает . import gym import numpy …

19 python machine-learning math deep-learning reinforcement-learning

3

Использование YOLO или других методов распознавания изображений для идентификации всего буквенно-цифрового текста, присутствующего в изображениях

У меня есть схема с несколькими изображениями, каждая из которых содержит метки в виде буквенно-цифровых символов, а не только текстовую метку. Я хочу, чтобы моя модель YOLO идентифицировала все цифры и буквенно-цифровые символы, присутствующие в ней. Как я могу обучить свою модель YOLO делать то же самое. Набор данных можно …

12 python opencv machine-learning deep-learning yolo

Вопросы с тегом «deep-learning»