Как изменяется косинусное сходство после линейного преобразования?

9

Есть ли математическая связь между:

косинусное сходство двух векторов и , и $\operatorname{sim}(A, B)$ $A$ $B$
косинусное сходство для и , неравномерно масштабированное с помощью заданной матрицы ? Здесь - заданная диагональная матрица с неравными элементами на диагонали. $\operatorname{sim}(MA, MB)$ $A$ $B$ $M$ $M$

Я попытался просмотреть вычисления, но не смог найти простую / интересную ссылку (выражение). Интересно, есть ли такой?

Например, углы не сохраняются при неравномерном масштабировании, но какова связь между исходными углами и углами после неравномерного масштабирования? Что можно сказать о связи между набором векторов S1 и другим набором векторов S2 - где S2 получается неравномерным масштабированием S1?

linear-algebra cosine-similarity

— TURDUS-Мерула
источник

@ whuber, спасибо! Да, M - это заданная матрица (масштабирующая матрица, то есть диагональная матрица, других ограничений нет). В некотором смысле я хотел знать, что происходит (с точки зрения косинусного сходства для любой пары векторов) с векторным пространством, которое страдает от нелинейного масштабирования.

— turdus-merula

2

Возможно, стоит отметить, что если все масштабные факторы неотрицательны (как можно было бы естественно предположить), то все симметричные положительно определенные матрицы можно считать «масштабирующими» матрицами. Отношения, которые вы ищете, широко используются, в частности , для изучения и описания искажений в проекциях карты. Там, центры интереса в максимальных и минимальных углах на поверхности земли, которые будут связаны с двумя перпендикулярными направлениями на карте. Существует прямая связь между этими углами и отношениями двух масштабных факторов.

— whuber

8

Поскольку является довольно общим, и изменение в косинусном подобии зависит от конкретных и и их отношения к , определенная формула невозможна. Однако существуют практически вычисляемые пределы того, насколько может измениться косинусное сходство . Их можно найти, выдвинув угол между и учитывая, что косинусное сходство между и является заданным значением, скажем, (где - угол между и ). Ответ говорит нам, сколько под любым углом $M$ $A$ $B$ $M$ $MA$ $MB$ $A$ $B$ $\cos(2\phi)$ $2\phi$ $A$ $B$ $2\phi$ возможно , может быть согнут преобразованием . $M$

Расчеты грозят быть грязными. Некоторые умные варианты обозначений, а также некоторые предварительные упрощения сокращают усилия. Оказывается, что решение в двух измерениях раскрывает все, что нам нужно знать. Это поддающаяся решению проблема, зависящая только от одной реальной переменной , которая легко решается с использованием методов исчисления. Простой геометрический аргумент распространяет это решение на любое количество измерений . $\theta$ $n$

Математические вступительные

По определению, косинус угла между любыми двумя векторами и получается путем нормализации их к единице длины и взятия их произведения. Таким образом, $A$ $B$

\frac{A^{'} B}{\sqrt{(A^{'} A) (B^{'} B)}} = \cos (2 ϕ)

$\frac{A^\prime B}{\sqrt{(A^\prime A)\, (B^\prime B)}} = \cos(2\phi)$

и, написав , косинус угла между изображениями и при преобразовании равен $\Sigma = M^\prime M$ $A$ $B$ $M$

\begin{matrix} (1) & \frac{(M A)^{'} (M B)}{\sqrt{((M A)^{'} (M A)) ((M B)^{'} (M B))}} = \frac{A^{'} Σ B}{\sqrt{(A^{'} Σ A) (B^{'} Σ B)}} . \end{matrix}

$\frac{(MA)^\prime (MB)}{\sqrt{((MA)^\prime (MA))\, ((MB)^\prime (MB))}} = \frac{A^\prime \Sigma B}{\sqrt{(A^\prime \Sigma A) (B^\prime \Sigma B)}}.\tag{1}$

Обратите внимание , что только имеет значение в анализе, $\Sigma$ а не себя. Поэтому мы можем использовать разложение по сингулярным числам (SVD) для чтобы упростить задачу. Напомним, что это выражает как произведение (справа налево) ортогональной матрицы , диагональной матрицы и другой ортогональной матрицы : $M$ $M$ $M$ $V^\prime$ $D$ $U$

M = U D V^{'} .

$M = U\,D\,V^\prime.$

Другими словами, существует основа привилегированных векторов (столбцы ), в которых действует путем изменения масштаба каждого отдельно с помощью диагональной записи в (которую я назову ) и затем применение поворота (или анти-вращения) к результату. Это окончательное вращение не изменит никаких длин или углов и, следовательно, не должно влиять на . Вы можете увидеть это формально с расчетом $e_1, \ldots, e_n$ $V$ $M$ $e_i$ $i^\text{th}$ $D$ $d_i$ $U$ $\Sigma$

Σ = M^{'} M = (U D V^{'})^{'} (U D V^{'}) = V D (U^{'} U) D V^{'} = V D^{2} V^{'} .

$\Sigma = M^\prime M = (U D V^\prime)^\prime (U D V^\prime) = V D (U^\prime U) D V^\prime = V D^2 V^\prime.$

Следовательно, для изучения мы можем свободно заменить любой другой матрицей, которая дает те же значения в . Заказав так что уменьшение размера (и предполагая не тождественно равна нулю), выбор хороший из является $\Sigma$ $M$ $(1)$ $e_i$ $d_i$ $M$ $M$

M = \frac{1}{d_{1}} D V^{'} .

$M = \frac{1}{{d_1}} D V^\prime.$

Диагональные элементы имеют вид $(1/{d_1})D$

1 = d_{1} / d_{1} \geq λ_{2} = d_{2} / d_{1} \geq λ_{3} = d_{3} / d_{1} \geq \dots \geq λ_{n} = d_{n} / d_{1} \geq 0.

$1 = d_1/d_1 \ge \lambda_2 = d_2/{d_1} \ge \lambda_3 = d_3/{d_1} \ge \cdots \ge \lambda_n = d_n/{d_1} \ge 0.$

В частности, влияние (в исходном или измененном виде) на все углы полностью определяется тем фактом, что $M$

M e_{i} = λ_{i} e_{i} .

$M e_i = \lambda_i e_i.$

Анализ частного случая

Пусть . Поскольку изменение длины векторов не меняет угол между ними, мы можем предположить, что и являются единичными векторами. В плоскости все такие векторы могут быть обозначены углом, который они составляют с , что позволяет нам писать $n=2$ $A$ $B$ $e_1$

A = \cos (θ - ϕ) e_{1} + \sin (θ - ϕ) e_{2} .

$A = \cos(\theta-\phi)e_1 + \sin(\theta-\phi)e_2.$

Следовательно

B = \cos (θ + ϕ) e_{1} + \sin (θ + ϕ) e_{2} .

$B = \cos(\theta+\phi)e_1 + \sin(\theta+\phi)e_2.$

(Смотрите рисунок ниже.)

Применение очень просто: оно фиксирует первые координаты и и умножает их вторые координаты на . Поэтому угол от к является $M$ $A$ $B$ $\lambda_2$ $MA$ $MB$

f (θ) = \arctan (λ_{2} \tan (θ + ϕ)) - \arctan (λ_{2} \tan (θ - ϕ)) .

$f(\theta) = \arctan(\lambda_2 \tan(\theta+\phi)) - \arctan(\lambda_2 \tan(\theta-\phi)).$

Поскольку - непрерывная функция, эта разность углов является непрерывной функцией . На самом деле, это дифференцируемо. Это позволяет нам находить крайние углы, проверяя нули производной . Эту производную легко вычислить: это соотношение тригонометрических функций. Нули могут встречаться только среди нулей его числителя, поэтому давайте не будем пытаться вычислить знаменатель. Мы получаем $M$ $\theta$ $f^\prime(\theta)$

f^{'} (θ) = \frac{λ_{2} (1 - λ_{2}) (λ_{2} + 1) \sin (2 θ) \sin (2 ϕ)}{*} .

$f^\prime(\theta) = \frac{\lambda_2(1-\lambda_2)(\lambda_2+1)\sin(2\theta)\sin(2\phi)}{*}.$

случаи , и легко понять: они соответствуют ситуациям, когда имеет пониженный ранг (и таким образом сдавливает все векторы на линию); где - кратное единичной матрицы; и где и параллельны (откуда угол между ними не может измениться, независимо от ). Случай исключается условием . $\lambda_2=0$ $\lambda_2=1$ $\phi=0$ $M$ $M$ $A$ $B$ $\theta$ $\lambda_2=-1$ $\lambda_2 \ge 0$

Помимо этих особых случаев, нули встречаются только там, где : то есть или . Это означает, что линия, определяемая делит пополам угол . Теперь мы знаем, что крайние значения угла между и должны лежать среди значений , поэтому давайте вычислим их: $\sin(2\theta)=0$ $\theta=0$ $\theta=\pi/2$ $e_1$ $AB$ $MA$ $MB$ $f(\theta)$

\begin{aligned} f (0) & = \arctan (λ_{2} \tan (ϕ)) - \arctan (λ_{2} \tan (- ϕ)) = 2 \arctan (λ_{2} \tan (ϕ)); \\ f (π / 2) & = \arctan (λ_{2} \tan (π / 2 + ϕ)) - \arctan (λ_{2} \tan (π / 2 - ϕ)) = 2 \arctan (λ_{2} \cot (- ϕ)) . \end{aligned}

$\eqalign{ f(0) &= \arctan(\lambda_2 \tan(\phi)) - \arctan(\lambda_2 \tan(-\phi)) = 2\arctan(\lambda_2\tan(\phi)); \\ f(\pi/2) &= \arctan(\lambda_2 \tan(\pi/2+\phi)) - \arctan(\lambda_2 \tan(\pi/2-\phi)) = 2\arctan(\lambda_2\cot(-\phi)). }$

Соответствующие косинусы

\begin{matrix} (2) & \cos (f (0)) = \frac{1 - λ_{2}^{2} \tan (ϕ)^{2}}{1 + λ_{2}^{2} \tan (ϕ)^{2}} \end{matrix}

$\cos(f(0)) = \frac{1 - \lambda_2^2 \tan(\phi)^2}{1 + \lambda_2^2 \tan(\phi)^2}\tag{2}$

а также

\begin{matrix} (3) & \cos (f (π / 2)) = \frac{1 - λ_{2}^{2} \cot (ϕ)^{2}}{1 + λ_{2}^{2} \cot (ϕ)^{2}} = \frac{\tan (ϕ)^{2} - λ_{2}^{2}}{\tan (ϕ)^{2} + λ_{2}^{2}} . \end{matrix}

$\cos(f(\pi/2)) = \frac{1 - \lambda_2^2 \cot(\phi)^2}{1 + \lambda_2^2 \cot(\phi)^2} = \frac{\tan(\phi)^2 - \lambda_2^2 }{\tan(\phi)^2 + \lambda_2^2}.\tag{3}$

Часто достаточно понять, как искажает прямые углы. В этом случае , что приводит к , которую вы можете включить в предыдущие формулы. $M$ $2\phi=\pi/2$ $\tan(\phi) = \cot(\phi) = 1$

Обратите внимание, что чем меньше становится , тем более экстремальными становятся эти углы и тем больше искажение. $\lambda_2$

На этом рисунке показаны четыре конфигурации векторов и разделенных углом . Единичный круг и его эллиптическое изображение под заштрихованы для справки (с равномерным изменением масштаба действия чтобы сделать ). На рисунке заголовки указывают значение , среднюю точку и . Ближайшие любые такие и могут появиться при преобразовании с помощью - конфигурация, подобная конфигурации слева с $A$ $B$ $2\phi = \pi/3$ $M$ $M$ $\lambda_1=1$ $\theta$ $A$ $B$ $A$ $B$ $M$ $\theta=0$ , Наибольшее расстояние между ними может быть конфигурация, подобная приведенной справа с . Показаны две промежуточные возможности. $\theta=\pi/2$

Решение для всех размеров

Мы видели, как действует, расширяя каждое измерение на коэффициент . Это изменит единичную сферу на эллипсоид. В определения его главных осей. В расстояние от начала координат, вдоль этих осей, к эллипсоиду. Следовательно, самое маленькое - это самое короткое расстояние (в любом направлении) от начала координат до эллипсоида, а самое большое - это самое дальнее расстояние (в любом направлении) от начала координат до эллипсоида. $M$ $i$ $\lambda_i$ $\{A\,|\, A^\prime A = 1\}$ $e_i$ $\lambda_i$ $\lambda_n$ $\lambda_1$

В более высоких измерениях , и являются частью двумерного подпространства. отображает единичную окружность в этом подпространстве на пересечение эллипсоида с плоскостью, содержащей и . Это пересечение, являющееся линейным искажением круга, является эллипсом. Очевидно, что самое дальнее расстояние до этого эллипса не больше, чем а самое короткое расстояние не меньше, чем . $n\gt 2$ $A$ $B$ $M$ $MA$ $MB$ $\lambda_1=1$ $\lambda_n$

Как мы наблюдали в конце предыдущего раздела, наиболее экстремальная возможность - это когда и расположены в плоскости, содержащей два элемента для которых отношение соответствующих настолько мало, насколько это возможно. Это произойдет в плоскости . У нас уже есть решение для этого случая. $A$ $B$ $e_i$ $\lambda_i$ $e_1, e_n$

Выводы

Крайности косинусного сходства, достижимые путем применения к двум векторам, имеющим косинусное сходство , определяются формулами и . Они достигаются путем расположения и под равными углами к направлению, в котором максимально удлиняет любой вектор (например, направление ), и разделяя их в направлении, в котором минимально удлиняет любой вектор ( например, направление ). $M$ $\cos(2\phi)$ $(2)$ $(3)$ $A$ $B$ $\Sigma=M^\prime M$ $e_1$ $\Sigma$ $e_n$

Эти крайности могут быть вычислены в терминах СВД из . $M$

— Whuber
источник

Это фантастический ответ! Большое спасибо за это подробное обсуждение! Я полагаю, что у вас есть ошибка знака в уравнении (3), где у вас должен быть просто знак минус.

— LFH

Меня интересует случай, когда угол приближается к нулю, и я хотел бы получить неравенство между и . Верно ли, что на основе ваших вычислений мне просто нужно найти самый экстремальный (самый маленький) и в этом случае асимптотическое неравенство задается как as ?

2 ϕ

$2\phi$

2 ϕ

$2\phi$

f

$f$

λ_{n}

$\lambda_n$

2 λ_{n} ϕ \leq f \leq 2 λ_{n}^{- 1} ϕ

$2\lambda_n\phi\leq f\leq 2\lambda_n^{-1}\phi$

ϕ \to 0

$\phi\to0$

— LFH

6

Вы, вероятно, заинтересованы в:

(M A, M B) = A^{T} (M^{T} M) B,

$(MA,MB)=A^T(M^TM)B,$

Вы можете по диагонали (или, как вы это называете, PCA), что говорит вам, что подобие при преобразовании ведет себя, проецируя на ваши главные компоненты, а затем Расчет сходства в этом новом пространстве. Чтобы уточнить это немного подробнее, позвольте основным компонентам быть с собственными значениями . затем $M^TM=U\Sigma U^T$ $A,B$ $M$ $A,B$ $u_i$ $\lambda_i$

U B = \sum_{i} (u_{i}, b_{i}) u_{i}, U A = \sum_{i} (u_{i}, a_{i}) u_{i},

$UB=\sum_i(u_i,b_i)u_i, \ UA=\sum_i(u_i,a_i)u_i,$

что дает вам:

(M A, M B) = \sum_{i = 1}^{n} (u_{i}, a_{i}) (u_{i}, b_{i}) λ_{i} .

$(MA,MB)=\sum_{i=1}^n (u_i,a_i)(u_i,b_i)\lambda_i.$

Обратите внимание, что здесь происходит масштабирование: растягивается / сжимается. Когда являются единичными векторами, и если каждый , тогда соответствует повороту, и вы получаете: , что эквивалентно тому, что внутренние произведения инвариантны относительно вращений. В общем, угол остается тем же, когда является конформным преобразованием, которое в этом случае требует, чтобы обратимо, и полярное разложение удовлетворяет с , то есть . $\lambda_i$ $A,B$ $\lambda_i=1$ $M$ $\mbox{sim}(MA,MB)=\mbox{sim}(A,B)$ $M$ $M$ $M$ $M=OP$ $P=aI$ $M^TM=a^2I$

— Алекс Р.
источник

1

Ваша первоначальная постановка задачи не учитывает нормализацию векторов , , и необходимых для вычисления косинусного подобия. Похоже, что последующий анализ также не рассматривает эту нормализацию. В частности, обратите внимание, что косинусные сходства сохраняются даже тогда, когда все собственные значения равны некоторому (положительному) значению, которое отличается от . Это показывает, что даже в этом простом случае можно сказать гораздо больше.

A

$A$

B

$B$

M A

$MA$

M B

$MB$

1

$1$

— whuber

@whuber: косинусное сходство сохраняется именно тогда, когда является конформным преобразованием, что в данном случае эквивалентно требованию быть обратимым и , кратным тождеству. Другими словами, полярное разложение удовлетворяет , где . Вы правы по поводу нормализации , но, кажется , глупо говорить о косинус сходстве с не нормированными векторами .

M

$M$

M

$M$

M^{T} M = a^{2} I

$M^TM=a^2I$

M

$M$

M = O P

$M=OP$

P = a I

$P=aI$

A, B

$A,B$

— Алекс Р.

2

Совсем не глупо! Поскольку это «сходство» определяется косинусом угла между векторами, оно имеет смысл для любых двух ненулевых векторов. Что я имел в виду «гораздо больше , можно сказать , » является то , что эффективные ограничения на угол между изображениями и могут быть получены в терминах угла между и и собственных .

A

$A$

B

$B$

A

$A$

B

$B$

M

$M$

— whuber