5 лет спустя, сети maxout мертвы и почему?

Сети Maxout были простой, но блестящей идеей Goodfellow et al. с 2013 года до макс. карт возможностей, чтобы получить универсальный аппроксиматор выпуклых активаций. Конструкция была адаптирована для использования в сочетании с выпадением (тогда он был недавно представлен) и, конечно же, привела к самым современным результатам в таких тестах, как CIFAR-10 и SVHN.

Пять лет спустя, отсев определенно все еще в игре, но как насчет maxout? Эта статья по-прежнему широко цитируется в последних статьях, согласно Google Scholar, но, похоже, практически никто не использует эту технику.

Так что, уходит в прошлое maxout, и если да, то почему - что сделало его самым успешным в 2013 году, но не в 2018 году?

По сути, если вы прочитаете полный текст статьи (особенно реферат и раздел 7), вы обнаружите, что основным достижением остается незначительный вклад в дополнение к отсеву.

Если вы видите эмпирические результаты в Таблице 5 (на странице 5) оригинальной статьи о maxout , вы обнаружите, что уровень ошибочной классификации очень и очень немного ниже, чем уровень отсева. (2,47% вместо 2,78%)

Это может объяснить относительно низкий интерес к работе.