Ограниченная задача оптимизации в матричной энтропии

У меня есть ограниченная проблема оптимизации в матрице (Шеннона) энтропии $\mathtt{(sum(entr(eig(A))))}$ . Матрица может быть записана как сумма матриц ранга 1 вида где - заданный нормализованный вектор. Коэффициенты матриц ранга один - это неизвестные, в которых мы оптимизируем, и они должны быть больше нуля и суммировать до 1.[ V $A$v $[v_i\,v_i^T]$$v_i$

В CVX-подобном синтаксисе проблема заключается в следующем: заданная переменная$\mathtt{c(n)}$

$$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$$

$$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$$ .

У кого-нибудь есть идеи, как решить это эффективно? Я уже знаю, что это, вероятно, нельзя рассматривать как проблему полуопределенного программирования (SDP).

Изменить: коллега сообщил мне, что мой метод ниже является примером общего метода в следующей статье, когда специализируется на функции энтропии,

Овертон, Майкл Л. и Роберт С. Вомерсли. «Вторые производные для оптимизации собственных значений симметричных матриц». Журнал SIAM по матричному анализу и приложениям 16.3 (1995): 697-718. http://ftp.cs.nyu.edu/cs/faculty/overton/papers/pdffiles/eighess.pdf

обзор

В этом посте я покажу, что задача оптимизации хорошо поставлена ​​и что ограничения неравенства неактивны при решении, затем вычисляем первую и вторую производные Фреше функции энтропии, а затем предлагаем метод Ньютона для задачи с устранением ограничения равенства. Наконец, код Matlab и числовые результаты представлены.

Хорошо поставленная задача оптимизации

Во-первых, сумма положительно определенных матриц положительно определена, поэтому для сумма матриц ранга 1 A ( c ) : = N ∑ i = 1 c i v i v T i положительно определена. Если множество v i имеет полный ранг, то собственные значения A положительны, поэтому можно взять логарифмы собственных значений. Таким образом, целевая функция четко определена внутри допустимого множества.$c_i > 0$

$$A(c):=\sum_{i=1}^N c_i v_i v_i^T$$ $v_i$$A$

Во- вторых, так как любая , теряет ранг поэтому наименьшее собственное значение А стремится к нулю. То есть σ m i n ( A ( c ) ) → 0 при c i → 0 . Поскольку производная - σ log ( σ ) взрывается при σ → 0 , нельзя иметь последовательность последовательно лучших и лучших точек, приближающихся к границе допустимого множества. Таким образом, проблема хорошо определена и, кроме того, ограничения неравенства$c_i \rightarrow 0$$A$$A$$\sigma_{min}(A(c)) \rightarrow 0$$c_i \rightarrow 0$$-\sigma \log(\sigma)$$\sigma \rightarrow 0$ неактивны.$c_i \ge 0$

Производные Фреше энтропийной функции

Внутри выполнимой области энтропийная функция везде дифференцируема по Фреше и дважды дифференцируема по Фреше, где собственные значения не повторяются. Чтобы сделать метод Ньютона, нам нужно вычислить производные энтропии матрицы, которая зависит от собственных значений матрицы. Это требует вычисления чувствительности разложения по собственным значениям матрицы относительно изменений в матрице.

Напомним, что для матрицы с разложением по собственным значениям A = U Λ U T производная матрицы собственных значений по изменениям в исходной матрице имеет вид d Λ = I ∘ ( U T d A U ) , а производная от Матрица собственных векторов имеет вид d U = U C ( d A ) , где ∘ - произведение Адамара с матрицей коэффициентов C = { $A$$A = U \Lambda U^T$

$$d\Lambda = I \circ (U^T dA U),$$ $$dU = UC(dA),$$ $\circ$ $$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$$

Такие формулы выводятся путем дифференцирования уравнения собственных значений , и формулы выполняются всякий раз, когда собственные значения различны. Когда имеются повторяющиеся собственные значения, формула для d Λ имеет устранимый разрыв, который можно расширить, если тщательно выбирать неединственные собственные векторы. Подробнее об этом см. Следующую презентацию и статью .$AU=\Lambda U$$d\Lambda$

Затем вторая производная находится путем дифференцирования,

$$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$$

$d^2 \Lambda$$dU_2$$C$$v_i$

Устранение ограничения равенства

$\sum_{i=1}^N c_i = 1$$N-1$

$$c_N = 1-\sum_{i=1}^{N-1} c_i.$$

$N-1$

$$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$$ $$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$$ $$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$$

$$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$$

$$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$$

Метод Ньютона после устранения ограничения

Поскольку ограничения по неравенству неактивны, мы просто начинаем с допустимого набора и запускаем поиск в области доверия или неточный ньютон-CG в области поиска для квадратичной сходимости к внутренним максимумам.

Метод заключается в следующем (не включая детали поиска области доверия / линии)

1. $\tilde{c} = [1/N,1/N,\ldots,1/N]$
2. $c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
3. $A = \sum_i c_i v_i v_i^T$
4. $U$$\Lambda$$A$
5. $G = M^T [I \circ (V^T U B U^T V)]$
6. $H G = p$$p$$H$$H$$\delta \tilde{c}$$dU_2$$B_a$$B_b$ $$M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$$
7. $\tilde{c} \leftarrow \tilde{c} - p$
8. Перейти к 2.

Результаты

$v_i$$N=100$$v_i$

>> N = 100;
>> V = рандн (N, N);
>> для k = 1: NV (:, k) = V (:, k) / норма (V (:, k)); конец
>> maxEntropyMatrix (V);
Итерация Ньютона = 1, норма (градус f) = 0,67748
Итерация Ньютона = 2, норма (градус f) = 0,03644
Итерация Ньютона = 3, норма (градус f) = 0,0012167
Итерация Ньютона = 4, норма (град. F) = 1.3239e-06
Итерация Ньютона = 5, норма (градус f) = 7.7114e-13

Чтобы увидеть, что вычисленная оптимальная точка на самом деле является максимумом, приведем график изменения энтропии при случайном возмущении оптимальной точки. Все возмущения уменьшают энтропию.

Код Matlab

Функция «все в 1» для минимизации энтропии (недавно добавлена ​​в этот пост): https://github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m