Какая модель глубокого обучения может классифицировать категории, которые не являются взаимоисключающими


9

Примеры: у меня есть предложение в должностной инструкции: «Старший инженер Java в Великобритании».

Я хочу использовать модель глубокого обучения, чтобы предсказать ее как 2 категории: English и IT jobs. Если я использую традиционную классификационную модель, она может предсказать только 1 метку с softmaxфункцией на последнем слое. Таким образом, я могу использовать 2 модели нейронных сетей, чтобы предсказать «Да» / «Нет» с обеими категориями, но если у нас есть больше категорий, это слишком дорого. Так есть ли у нас какая-либо модель глубокого обучения или машинного обучения, чтобы предсказывать 2 или более категорий одновременно?

«Редактировать»: с 3 метками по традиционному подходу он будет закодирован как [1,0,0], но в моем случае он будет закодирован как [1,1,0] или [1,1,1]

Пример: если у нас есть 3 метки, и предложения могут соответствовать всем этим меткам. Таким образом, если выход из функции softmax равен [0,45, 0,35, 0,2], мы должны классифицировать его на 3 метки или 2 метки, или может быть одна? главная проблема, когда мы делаем это: какой хороший порог для классификации на 1, 2 или 3 метки?


Мы должны использовать сигмовидную функцию вместо функции softmax. Он может назначить несколько классов для точек данных.
NITISH MAHAJAN

Ответы:


6

Вы можете достичь этой классификации по нескольким меткам, заменив softmax сигмовидной активацией и используя бинарную кроссентропию вместо категориальной кроссцентропии в качестве функции потерь. Тогда вам просто нужна одна сеть с таким количеством выходных единиц / нейронов, сколько у вас есть меток.

яJ

Lязнак равно-ΣJTя,Jжурнал(пя,J)

Tя,Jзнак равно0Lязнак равно-ΣJTя,Jжурнал(пя,J)-ΣJ(1-Tя,J)журнал(1-пя,J)


почему мы должны использовать бинарную кроссентропию вместо категориальной кроссентропии в качестве функции потерь? можешь объяснить больше? Теперь я использую сигмовидную активацию @robintibor
Voxter

Я добавил объяснение в ответ @voxter
robintibor

Блестящий! Спасибо. Кроме того, можете ли вы дать некоторые документы или учебные пособия, которые объясняют больше математики о функциях глубокого обучения, как вы мне объяснили?
Voxter

1
Отлично. Эти учебные пособия могут помочь: neuralnetworksanddeeplearning.com deeplearning.net/tutorial deeplearning.stanford.edu/tutorial
robintibor
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.