поскольку GAN состоит из двух частей - генератора и дискриминатора, существует два способа использования GAN в качестве экстрактора признаков:
- Генераторный путь, представленный Михаилом Юрасовым.
- Дискриминатор основан на представлении Кенни.
Второй способ более спорный. В некоторых исследованиях [1] считалось, что, поскольку цель дискриминатора состоит в том, чтобы отличать сгенерированные выборки от реальных выборок, он просто сосредоточится на разнице между этими двумя типами выборок. Но что имеет смысл, так это разница между реальными выборками, то есть выборками, используемыми в последующих задачах.
Я попытался изучить это, и я обнаружил, что извлеченная функция может быть разложена на две ортогональные подпространства. Первый пробел способствует задаче дискриминатора, а второй свободен от нее. Поскольку в большинстве случаев функции, используемые для отличия реальных выборок от сгенерированных, представляют собой шум, второе пространство признаков будет свободным от шума. С этой точки зрения, хотя задача дискриминатора не будет фокусироваться на разнице между реальными выборками, которые полезны для задач нисходящего потока, будут работать безшумные функции, содержащиеся во втором подпространстве.
[1] Йост Тобиас Спрингенберг. Неконтролируемое и полуконтролируемое обучение с категориальными порождающими состязательными сетями. arXiv: 1511.06390 [cs, stat], апрель 2016 г. Препринт arXiv. arXiv: 1511.06390 [stat.ML]. Итака, Нью-Йорк: Университетская библиотека Корнелла.