Что означает «инвариант перестановки» в контексте нейронных сетей, выполняющих распознавание изображений?

Я видел термин "инвариантная перестановка" версия задачи распознавания цифр MNIST. Что это означает?

Ответы:

В этом контексте это относится к тому факту, что модель не предполагает пространственных отношений между объектами. Например, для многослойного персептрона вы можете переставлять пиксели, и производительность будет одинаковой. Это не относится к сверточным сетям, которые предполагают отношения соседства.

— bayerj
источник

да, это запутанная часть Разве это не должно быть пространственные отношения в классификации цифр?

— RockTheStar

MNIST широко используется в качестве эталона (или проверки работоспособности) в нейронных сетях. Если ваша модель может получить ошибку <1% в MNIST, инвариантном по перестановке, вы к чему-то подходите.

— Bayerj

Да, я имею в виду, не существует ли пространственная связь цифрами? Если вы переставите цифры пикселей, это изменит порядок пикселей, что существенно повлияет на производительность !?

— RockTheStar

Только если модель предполагает это. mlps не делает, коннет делает. Вот почему сравнивать коннет с mlp на mnist несколько несправедливо.

— Bayerj

Я вижу! Итак, в наборе данных mnist, mlps работает лучше или convnet?

— RockTheStar

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$ and so on.

— kjetil b halvorsen
источник

This answer is a little misleading, because the in machine learning the learning algorithm is often permutation invariant, while the function it returns is not.

— bayerj

@bayerj: Это интересная информация, но я не могу понять, что это определение, которое я дал, вводит в заблуждение , это правильное определение, но, возможно, не полный ответ в этом контексте.

— kjetil b halvorsen

Вы правы, определение верное. Но это не относится к тому, как вы это записываете. В контексте инварианта MNIST о перестановке, о котором спрашивал OP, функции записанной вами формы не выполняются.

— Bayerj