Наука о данных neural-network

3

Руководство по выбору оптимизатора для обучения нейронных сетей

Я использую нейронные сети уже некоторое время. Тем не менее, одна вещь, с которой я постоянно борюсь, это выбор оптимизатора для обучения сети (используя backprop). Что я обычно делаю, так это просто начинаю с одного (например, стандартного SGD), а затем пробую другие другие довольно случайно. Мне было интересно, есть ли …

18 neural-network optimization backpropagation

4

Поиск гиперпараметра для LSTM-RNN с использованием Keras (Python)

Из Keras RNN Tutorial: «RNNs сложны. Выбор размера пакета важен, выбор потерь и оптимизатора важен и т. Д. Некоторые конфигурации не сходятся». Так что это более общий вопрос о настройке гиперпараметров LSTM-RNN на Keras. Я хотел бы знать о подходе к поиску лучших параметров для вашего RNN. Я начал с …

18 python neural-network deep-learning keras hyperparameter

4

Ролевая производная сигмоидальной функции в нейронных сетях

Я пытаюсь понять роль производной сигмовидной функции в нейронных сетях. Сначала я строю сигмовидную функцию и производную всех точек из определения, используя python. Какова роль этой производной? import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1 / (1 + np.exp(-x)) def derivative(x, step): return (sigmoid(x+step) - sigmoid(x)) …

18 machine-learning neural-network

1

Почему ReLU лучше, чем другие функции активации

Здесь ответ относится к исчезающему и взрывному градиенту, который был sigmoidпохож на функции активации, но, я думаю, Reluимеет недостаток, и это его ожидаемое значение. нет ограничений на вывод Reluи поэтому его ожидаемое значение не равно нулю. Я помню время , прежде чем популярность , Reluчто tanhбыл самым популярным среди машинного …

17 machine-learning neural-network deep-learning gradient-descent activation-function

3

Bagging vs Dropout в глубоких нейронных сетях

Пакетирование - это создание нескольких предикторов, которые работают так же, как и один предиктор. Dropout - это метод, который обучает нейронные сети усреднять все возможные подсети. Глядя на наиболее важные соревнования Kaggle, кажется, что эти две техники используются вместе очень часто. Я не вижу никакой теоретической разницы, кроме фактической реализации. …

17 machine-learning neural-network deep-learning

4

Дополнительный выходной слой в нейронной сети (от десятичного до двоичного)

Я работаю над вопросом из онлайн-книги: http://neuralnetworksanddeeplearning.com/chap1.html Я могу понять, что если дополнительный выходной слой состоит из 5 выходных нейронов, я мог бы, вероятно, установить смещение в 0,5 и вес 0,5 для каждого предыдущего слоя. Но теперь возникает вопрос о новом слое из четырех выходных нейронов - этого более чем …

17 neural-network

2

Зачем использовать набор проверки и набор тестов?

Рассмотрим нейронную сеть: Для данного набора данных мы делим его на наборы для обучения, проверки и тестирования. Предположим, что мы делаем это в классическом соотношении 60:20:20, тогда мы предотвращаем переобучение, проверяя сеть, проверяя ее на наборе проверки. Тогда зачем тестировать его на тестовом наборе, чтобы проверить его работоспособность? Не будет …

17 machine-learning neural-network cross-validation

1

Глубокая нейронная сеть - обратная связь с ReLU

У меня есть некоторые трудности с получением обратного распространения с помощью ReLU, и я проделал некоторую работу, но я не уверен, что я на правильном пути. Функция стоимости: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2гдеyyyпредставляет собой реальное значение, и у представляет собой предсказанное значение. Также предположим, чтоx> 0 всегда.y^y^\hat yxxx 1 слой ReLU, где вес …

17 neural-network backpropagation

2

Должны ли мы применять нормализацию и к тестовым данным?

Я делаю проект по проблеме идентификации автора. Я применил нормализацию tf-idf для обучения данных, а затем обучил SVM на этих данных. Теперь при использовании классификатора я должен также нормализовать тестовые данные. Я чувствую, что основная цель нормализации - сделать так, чтобы обучающий алгоритм придавал больший вес более важным функциям во …

17 machine-learning neural-network deep-learning

5

Сверточное нейросетевое переоснащение. Выпадение не помогает

Я немного играю с конвеетами. В частности, я использую набор данных kaggle cats-vs-dogs, который состоит из 25000 изображений, помеченных как кошки или собаки (по 12500 изображений). Мне удалось достичь около 85% точности классификации на моем тестовом наборе, однако я поставил цель добиться точности 90%. Моя главная проблема - переоснащение. Каким-то …

16 neural-network deep-learning convnet image-recognition dropout

2

Как выбрать функции для нейронной сети?

Я знаю, что нет четкого ответа на этот вопрос, но давайте предположим, что у меня огромная нейронная сеть с большим количеством данных, и я хочу добавить новую функцию ввода. «Лучший» способ - проверить сеть с помощью новой функции и увидеть результаты, но есть ли способ проверить, полезна ли эта функция …

16 machine-learning neural-network feature-selection feature-extraction

5

сделать морскую карту тепла больше

Я создаю corr()DF из оригинального DF. corr()ДФ вышел 70 X 70 и невозможно представить себе Heatmap ... sns.heatmap(df). Если я попытаюсь отобразить corr = df.corr(), таблица не умещается на экране, и я вижу все корреляции. Это способ печати всего, dfнезависимо от его размера, или контроля размера тепловой карты?

16 visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

3

Как объединить категориальные и непрерывные функции ввода для обучения нейронной сети

Предположим, у нас есть два вида входных функций: категориальные и непрерывные. Категориальные данные могут быть представлены в виде горячего кода A, тогда как непрерывные данные - это просто вектор B в N-мерном пространстве. Кажется, что просто использование concat (A, B) не является хорошим выбором, потому что A, B - совершенно …

16 neural-network feature-selection categorical-data feature-construction

8

Как я изучаю нейронные сети?

Я студент-первокурсник (упоминая об этом, чтобы вы могли простить мою незнакомость), который в настоящее время проводит исследования с использованием нейронных сетей. Я закодировал трехузловую нейронную сеть (которая работает) на основе руководства моего профессора. Тем не менее, я хотел бы продолжить карьеру в области искусственного интеллекта и науки о данных, и …

15 machine-learning neural-network

2

Параметризация регрессии угла поворота

Допустим, у меня есть стрелка сверху вниз, и я хочу предсказать угол, под которым эта стрелка. Это будет от до градусов или от до . Проблема в том, что эта цель круговая, и градусов - это одно и то же, что является инвариантностью, которую я хотел бы включить в свою …

15 neural-network deep-learning loss-function parameter-estimation

Вопросы с тегом «neural-network»