Вопросы с тегом «tensorflow»

В большинстве кодов Tensorflow, которые я видел, используется Adam Optimizer с постоянной скоростью обучения 1e-4(т.е. 0,0001). Код обычно выглядит следующим образом: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

В частности, я предполагаю, что мне интересно это утверждение: Будущие основные версии TensorFlow позволят градиентам перетекать в метки, введенные на backprop по умолчанию. Который показан, когда я использую tf.nn.softmax_cross_entropy_with_logits. В том же сообщении он призывает меня взглянуть tf.nn.softmax_cross_entropy_with_logits_v2. Я просмотрел документацию, но она только утверждает, что для tf.nn.softmax_cross_entropy_with_logits_v2: Обратное распространение …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Прежде всего, я понял, что если мне нужно выполнить двоичные предсказания, я должен создать как минимум два класса, выполняя горячее кодирование. Это верно? Однако является ли двоичная кросс-энтропия только для предсказаний только с одним классом? Если бы я использовал категориальную кросс-энтропийную потерю, которая обычно встречается в большинстве библиотек (например, TensorFlow), …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Я работал над проблемой регрессии, когда входной сигнал представляет собой изображение, а метка представляет собой непрерывное значение между 80 и 350. Изображения имеют некоторые химические вещества после реакции. Цвет, который получается, указывает концентрацию другого химического вещества, которое осталось, и это то, что модель должна вывести - концентрацию этого химического вещества. …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

Я некоторое время изучал LSTM. Я понимаю на высоком уровне, как все работает. Однако, собираясь реализовать их с помощью Tensorflow, я заметил, что BasicLSTMCell требует параметра количества единиц (то есть num_units). Из этого очень подробного объяснения LSTM я понял, что один блок LSTM является одним из следующих который на самом …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Хинтон и Салахутдинов в статье « Сокращение размерности данных с помощью нейронных сетей», Science 2006, предложили нелинейный PCA за счет использования глубокого автоэнкодера. Я несколько раз пытался построить и обучить автоэнкодер PCA с Tensorflow, но мне никогда не удавалось получить лучший результат, чем линейный PCA. Как эффективно обучить автоэнкодеру? (Позднее …

31 pca  python  deep-learning  tensorflow  autoencoders 

Не уверен, принадлежит ли этот вопрос здесь, но он тесно связан с градиентными методами в оптимизации, которая, кажется, здесь уместна. В любом случае, не стесняйтесь мигрировать, если считаете, что какое-то другое сообщество обладает большим опытом в этой теме. Короче говоря, я ищу пошаговый пример автоматического дифференцирования в обратном режиме . …

27 optimization  derivative  tensorflow  automatic-differentiation 

почти во всех примерах кода, которые я видел в VAE, функции потерь определяются следующим образом (это код с тензорным потоком, но я видел похожее для theano, torch и т. д. Это также для коннета, но это также не слишком актуально) , только влияет на оси, суммы принимаются): # latent space …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Недавно я бегал и изучал тензорный поток и получил несколько гистограмм, которые я не знал, как интерпретировать. Обычно я думаю о высоте столбцов как о частоте (или относительной частоте / числе). Тем не менее, тот факт, что в обычной гистограмме нет столбцов, и то, что все заштриховано, меня смущает. также …

23 machine-learning  neural-networks  conv-neural-network  tensorflow 

Я играл с простой нейронной сетью только с одним скрытым слоем от Tensorflow, а затем пробовал разные активации для скрытого слоя: Relu сигмоид Softmax (ну, обычно softmax используется в последнем слое ..) Relu дает лучшую точность поезда и точность проверки. Я не уверен, как это объяснить. Мы знаем, что Relu …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve 

Я немного экспериментирую с автоэнкодерами, и с помощью tenorflow я создал модель, которая пытается восстановить набор данных MNIST. Моя сеть очень проста: X, e1, e2, d1, Y, где e1 и e2 - уровни кодирования, d2 и Y - уровни декодирования (а Y - восстановленный выход). X имеет 784 единиц, e1 …

21 mse  autoencoders  tensorflow  cross-entropy 

Я обнаружил, что в реализации ResNet от Tensorflow они используют инициализатор дисперсионного масштабирования, а также популярный инициализатор xavier . У меня нет большого опыта в этом, что лучше на практике?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

С точки зрения языка нейронной сети (у = вес * х + смещение), как я узнаю, какие переменные являются более важными, чем другие? У меня есть нейронная сеть с 10 входами, 1 скрытый слой с 20 узлами и 1 выходной слой с 1 узлом. Я не уверен, как узнать, какие …

20 machine-learning  neural-networks  bias  tensorflow  theano 

Я просматриваю следующий блог по нейронной сети LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Автор изменяет входной вектор X как [выборки, временные шаги, особенности] для различной конфигурации LSTM. Автор пишет Действительно, последовательности букв являются временными шагами одного признака, а не одним временным шагом отдельных признаков. Мы дали больше контекста для сети, но не больше последовательности, …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Можем ли мы предоставить изображения с переменным размером в качестве входных данных для сверточной нейронной сети для обнаружения объектов? Если возможно, как мы можем это сделать? Но если мы попытаемся обрезать изображение, мы потеряем некоторую часть изображения, и если мы попытаемся изменить его размер, то четкость изображения будет потеряна. Означает …

17 deep-learning  tensorflow  keras  computer-vision  object-detection