Как искусственная нейронная сеть ANN может использоваться для неконтролируемой кластеризации?


53

Я понимаю, как artificial neural network (ANN)можно обучаться контролируемым образом с использованием обратного распространения для улучшения подгонки путем уменьшения ошибки в прогнозах. Я слышал, что ANN можно использовать для обучения без учителя, но как это можно сделать без какой-либо функции затрат, которая бы направляла этапы оптимизации? С помощью k-средних или EM-алгоритма есть функция, которую каждая итерация стремится увеличить.

  • Как мы можем выполнить кластеризацию с ANN и какой механизм он использует для группировки точек данных в одной местности?

(и какие дополнительные возможности принесены с добавлением к нему большего количества слоев?)


Заинтересованы ли вы в NN обучении без присмотра в целом или, в частности, в неконтролируемой кластеризации с нейронными сетями?
Денис Тарасов

@DenisTarasov, меня интересует прежде всего кластеризация с NN без присмотра, но я не знаю много о обучении NN без надзора в целом. Было бы замечательно, если бы ответ включал в себя немного обучения NN без присмотра в целом, прежде чем обсуждать конкретное приложение.
Васс

1
Самоорганизующаяся карта (SOM) - это тип сети, используемой для кластеризации.
Кагдас Озгенц

неконтролируемое обучение в ANN - оно извлекает статистические свойства из обучающего набора. - Обучение без учителя сложнее, но считается биологически правдоподобным. - Не требует учителя.
Йонас

Ответы:


57

Нейронные сети широко используются в обучении без надзора, чтобы лучше понять представления входных данных. Например, учитывая набор текстовых документов, NN может выучить отображение из документа в вектор с реальной стоимостью таким образом, чтобы результирующие векторы были одинаковыми для документов с аналогичным содержанием, то есть с сохранением расстояния. Это может быть достигнуто с использованием, например, авто-кодировщиков - модели, которая обучается восстанавливать исходный вектор из меньшего представления (активации скрытого слоя) с ошибкой восстановления (расстоянием от функции ID) в качестве функции стоимости. Этот процесс не дает вам кластеров, но он создает значимые представления, которые можно использовать для кластеризации. Например, вы можете запустить алгоритм кластеризации для активаций скрытого слоя.

Кластеризация. Существует несколько различных архитектур NN, специально разработанных для кластеризации. Наиболее широко известны, вероятно, самоорганизующиеся карты. SOM - это NN, у которого есть набор нейронов, соединенных для формирования топологической сетки (обычно прямоугольной). Когда какой-либо шаблон представлен в СДЛ, нейрон с ближайшим вектором весов считается победителем, и его веса адаптируются к шаблону, а также весам его окрестности. Таким образом, SOM естественным образом находит кластеры данных. Несколько похожий алгоритм - это выращивание нейронного газа (он не ограничен заранее определенным количеством нейронов).

Другой подход - это адаптивная теория резонанса, где у нас есть два уровня: «поле сравнения» и «поле распознавания». Поле распознавания также определяет лучшее совпадение (нейрон) с вектором, перенесенным из поля сравнения, а также имеет латеральные ингибирующие связи. Детали реализации и точные уравнения можно легко найти, прибегая к помощи названий этих моделей, поэтому я не буду их здесь приводить.


16

Вы хотите посмотреть на самоорганизующиеся карты . Кохонен (который их придумал) написал о них книгу . Для этого есть пакеты в R ( som , kohonen ), и есть реализации на других языках, таких как MATLAB .


Можете ли вы рассказать подробнее о том, как NN может это сделать, и уточнить теорию? Возможно также объяснить эффект использования глубокого NN (DNN)?
Васс

1
Боюсь, у меня очень мало опыта, @Vass. Я не думаю, что добавление дополнительных слоев сделает многое, кроме как замедлит его. Кто-то еще должен будет дать вам теорию, я просто хотел, чтобы вы начали.
gung - Восстановить Монику

1
Студент в нашей лаборатории экспериментировал с кластеризацией с использованием SOM. Это заняло целую вечность, и результаты были очень разочаровывающими по сравнению с другими подходами (в нашем случае стандартные алгоритмы кластеризации графов). Я всегда был озадачен тем фактом, что стандартная двумерная целевая область (топологическая сетка) представляется весьма произвольным пространством. Еще более тревожным является то, что он очень упрощен и по сути должен сжимать данные в пространство, описываемое всего двумя переменными.
micans

@micans делает некоторые хорошие замечания, но данные не просто сжимаются в пространство, описываемое всего двумя переменными, потому что каждый узел также связан с прототипом. Также, если работа идет медленно, это может быть проблемой реализации. Статистически, другие методы, кроме SOM, должны достигать лучших результатов классификации. Что касается проблемы топологии, мозг, похоже, организован в виде слоев топологии 2D, но он достигает больших результатов (или мне хотелось бы так думать).
Том Андерсон
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.