«Теорема глубокого Нётера»: построение в симметрийных ограничениях

Если у меня есть проблема обучения, которая должна иметь внутреннюю симметрию, есть ли способ подвергнуть мою проблему обучения ограничению симметрии для улучшения обучения?

Например, если я делаю распознавание изображения, мне может потребоваться 2D симметрия вращения. Это означает, что повернутая версия изображения должна получить тот же результат, что и оригинал.

Или, если я учусь играть в крестики-нолики, вращение на 90 градусов должно привести к тому же самому игровому процессу.

Было ли проведено какое-либо исследование по этому вопросу?

machine-learning

— aidan.plenert.macdonald
источник

Да, немного; например, групповые эквивариантные сверточные сети ( код ), гармонические сети: глубокая эквивалентность трансляции и вращения , глубокая эквивариантная сеть вращения , использование циклической симметрии в сверточных нейронных сетях и т. д. Вы просто еще не видите ее в дикой природе.

— Эмре

@ Emre Спасибо! Знаете ли вы о какой-либо работе за пределами CNN?

— aidan.plenert.macdonald

Нет, я только поверхностно знаю эту нишу. Несмотря на это, CNN кажутся естественной обстановкой ...

— Эмре

Я должен также упомянуть докторскую диссертацию Ризи Кондор, Групповые теоретические методы в машинном обучении (pdf)

— Эмре

Из вышеприведенного комментария Эмре, раздел 4.4 теоретических методов группы в машинном обучении Риси Кондора содержит подробную информацию и доказательства создания методов ядра, которые по своей природе имеют симметрии. Я буду резюмировать это, надеюсь, интуитивно понятным способом (я физик, а не математик!).

Большинство алгоритмов ML имеют матричное умножение, например,

\begin{aligned} s_{i} & = \sum_{j} W_{i j} x_{j} \\ = \sum_{j} W_{i j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$ где

\vec{x}

$\vec{x}$ - вход, а

W_{i j}

$W_{ij}$ - веса, которые мы хотим обучить.

Метод ядра

\begin{aligned} s_{i} & = \sum_{j} W_{i j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$

x, e_{j} \in X

$x, e_j \in \mathcal{X}$

$G$ $\mathcal{X}$ $x \rightarrow T_g(x)$ $g \in G$

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

$k(x, y) = x \cdot y$

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

Который предлагает матрицу преобразования, которая может симметризовать входные данные в алгоритм.

Пример SO (2)

$\frac{\pi}{2}$

$(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

\begin{aligned} min_{W_{j}} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{i}) + b_{i} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

Ядро удовлетворяет . Вы также можете использовать и множество ядер. $k(x, y) = \| x - y \|^2$ $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

Таким образом,

\begin{aligned} k_{G} (e_{j}, x_{i}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{i} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{i 1})^{2} + (\sin (n π / 2) - {\vec{x}}_{i 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{i 1}^{2} + 2 {\vec{x}}_{i 2}^{2} + (1 - {\vec{x}}_{i 1})^{2} + (1 - {\vec{x}}_{i 2})^{2} + (1 + {\vec{x}}_{i 1})^{2} + (1 + {\vec{x}}_{i 2})^{2}] \\ = {\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

Обратите внимание, что нам не нужно суммировать по потому что оно одинаково для обоих. Таким образом, наша проблема становится такой: $j$

\begin{aligned} min_{W} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = W [{\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1] + b_{i} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

Что дает ожидаемую сферическую симметрию!

Крестики-нолики

Пример кода можно посмотреть здесь . Он показывает, как мы можем создать матрицу, которая кодирует симметрию и использовать ее. Обратите внимание, что это действительно плохо, когда я запускаю его! Работа с другими ядрами на данный момент.

— aidan.plenert.macdonald
источник

Хорошая работа, Эйдан! Если у вас есть время, вы можете написать более подробную запись в блоге. Сообщество будет наиболее заинтересованным.

— Эмре

Не уверен, какое сообщество вы имеете в виду, но я начал писать больше. Я хотел найти способ оценить оптимальное ядро с учетом набора данных. Поэтому я оптимизировал энтропию в пространстве ядра, чтобы интуитивно получить новый набор функций, которые симметрично ограничены, а также максимально энтропийны (т.е. информативны). Теперь то ли это правильный подход. Я не могу сказать. Просто предупреждение, математика - это хакерская работа прямо сейчас и вроде как из статов. overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

Есть ли какой-либо значимый подход, когда группа симметрии неизвестна?

— leitasat

@leitasat Откуда ты знаешь, что это симметрично, если ты не знаешь группу?

— aidan.plenert.macdonald

@ aidan.plenert.macdonald из данных. Допустим, у нас есть 1000 наборов по 100 изображений в каждом, и в каждом наборе есть изображения одного объекта с разных точек зрения. Может ли какой-либо алгоритм «изучить идею» симметрии SO (3) и использовать ее на ранее невидимых объектах?

— leitasat

Оказывается, это всего лишь изучение теории инвариантов, применяемой к машинному обучению.

— aidan.plenert.macdonald
источник