Наука о данных

Недавно я прочитал « Полностью сверточные сети для семантической сегментации » Джонатана Лонга, Эвана Шелхамера, Тревора Даррелла. Я не понимаю, что делают "деконволюционные слои" / как они работают. Соответствующая часть 3.3. Апсэмплинг - обратная свертка Другим способом подключения грубых выходов к плотным пикселям является интерполяция. Например, простая билинейная интерполяция вычисляет …

188 neural-network  convnet  convolution 

Одной из распространенных проблем в науке о данных является сбор данных из различных источников в несколько очищенном (полуструктурированном) формате и объединение метрик из различных источников для проведения анализа более высокого уровня. Глядя на усилия других людей, особенно другие вопросы на этом сайте, кажется, что многие люди в этой области делают …

168 open-source  dataset 

Мой набор данных содержит ряд числовых атрибутов и один категориальный. Скажи NumericAttr1, NumericAttr2, ..., NumericAttrN, CategoricalAttr, где CategoricalAttrпринимает один из трех возможных значений: CategoricalAttrValue1, CategoricalAttrValue2или CategoricalAttrValue3. Я использую стандартную реализацию алгоритма кластеризации k-средних для Octave https://blog.west.uni-koblenz.de/2012-07-14/a-working-k-means-code-for-octave/ . Работает только с числовыми данными. Поэтому мой вопрос: правильно ли разделить категориальный атрибут …

133 data-mining  clustering  octave  k-means  categorical-data 

Я использую нейронные сети для решения различных задач машинного обучения. Я использую Python и Pybrain, но эта библиотека почти прекращена. Есть ли другие хорошие альтернативы в Python?

130 machine-learning  python  neural-network 

Я знаю, что в Керасе есть возможность при подборе class_weightsсловаря параметров, но я не смог найти ни одного примера. Будет ли кто-то так любезно предоставить? Кстати, в этом случае подходящей практикой является просто взвесить класс меньшинства пропорционально его недопредставленности?

130 classification  keras  weighted-data 

Ссылаясь на заметки Стэнфордского курса о сверточных нейронных сетях для визуального распознавания , в параграфе говорится: «К сожалению, юниты ReLU могут быть хрупкими во время обучения и могут« умереть ». Например, большой градиент, протекающий через нейрон ReLU, может привести к тому, что веса обновятся таким образом, что нейрон никогда не …

119 machine-learning  neural-network  deep-learning 

В MNIST для начинающих ML они определяют кросс-энтропию как Hy′(y):=−∑iy′ilog(yi)Hy′(y):=−∑iyi′log⁡(yi)H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i) yiyiy_i - это прогнозируемое значение вероятности для классаiii аy′iyi′y_i' - истинная вероятность для этого класса. Вопрос 1 Разве это не проблема, что yiyiy_i (в log(yi)log⁡(yi)\log(y_i) ) может быть 0? Это означало бы, что …

115 machine-learning  tensorflow 

Я новичок в науке данных , и я не понимаю разницу между fitи fit_transformметоды в scikit-учиться. Кто-нибудь может просто объяснить, почему нам может понадобиться преобразовать данные? Что означает подгонка модели к тренировочным данным и преобразование в тестовые данные? Означает ли это, например, преобразование категориальных переменных в числа в поезде и …

110 python  scikit-learn 

Я пробую настройку мультиклассовой классификации с 3 классами. Распределение классов искажено, большая часть данных попадает в 1 из 3 классов. (метки классов 1,2,3, при этом 67,28% данных попадают в метку класса 1, 11,99% данных в классе 2 и остаются в классе 3) Я обучаю мультиклассовый классификатор на этом наборе данных, …

103 multiclass-classification  evaluation 

Я только начинаю разрабатывать приложение машинного обучения для академических целей. В настоящее время я использую R и тренируюсь в этом. Тем не менее, во многих местах я видел людей, использующих Python . Что люди используют в научных кругах и промышленности, и какова рекомендация?

101 machine-learning  r  python 

Я уже некоторое время строю модели с категориальными данными, и когда в этой ситуации я в основном по умолчанию использую функцию LabelEncoder scikit-learn для преобразования этих данных до построения модели. Я понимаю разницу между OHE, LabelEncoderи DictVectorizorс точки зрения того, что они делают , чтобы данные, но то , что …

98 scikit-learn  categorical-data  feature-engineering 

Основное различие между ГРУ и LSTM является то , что ГРУ имеет два ворот ( сброс и обновление Gates) в то время как LSTM имеет три ворота (а именно вход , выход и забыть ворота). Почему мы используем GRU, когда мы четко контролируем сеть через модель LSTM (так как у …

95 neural-network  deep-learning 

Многие люди используют термин « большие данные» довольно коммерческим способом, чтобы показать, что в вычислениях участвуют большие наборы данных, и поэтому потенциальные решения должны иметь хорошую производительность. Конечно, большие данные всегда имеют связанные термины, такие как масштабируемость и эффективность, но что именно определяет проблему как проблему больших данных ? Должно …

86 bigdata  scalability  efficiency  performance 

В настоящее время я работаю над внедрением Stochastic Gradient Descent, SGDдля нейронных сетей, использующих обратное распространение, и, хотя я понимаю его назначение, у меня есть несколько вопросов о том, как выбрать значения для скорости обучения. Связана ли скорость обучения с формой градиента ошибки, так как он определяет скорость снижения? Если …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

При написании статьи / создании презентации по теме, касающейся нейронных сетей, обычно визуализируют архитектуру сетей. Каковы хорошие / простые способы автоматической визуализации общих архитектур?

80 machine-learning  neural-network  deep-learning  visualization