Я читаю основополагающую статью Илья Суцкевер и Куок Ле, « Последовательность к обучению последовательностей с использованием нейронных сетей ». На первой странице кратко упоминается, что:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
Кто-нибудь может вкратце обрисовать, как сортировать числа, используя только 2 скрытых слоя?
Ответы:
Проведя некоторые исследования, я нашел документ, который доказывает, что сортировка может быть сделана максимум с 3 слоями, и что их решение является оптимальным, если вы ограничите размер сети полиномиальным числом входных чисел:
Эффективные по глубине нейронные сети для деления и связанных с ними проблем , см. Теорему 7 на стр. 955 (стр. 10 в PDF).
Я мог бы предположить, что можно было бы придумать веса вручную, чтобы точно выполнить работу, но, возможно, смысл в том, чтобы уметь их тренировать? Пара примеров:
Как отсортировать числа с помощью сверточной нейронной сети?