Линейное программирование с матричными ограничениями

У меня есть проблема оптимизации, которая выглядит следующим образом

$$\begin{array}{rl} \min_{J,B} & \sum_{ij} |J_{ij}|\\ \textrm{s.t.} & MJ + BY =X \end{array}$$

Здесь мои переменные - это матрицы $J$ и $B$ , но вся проблема все еще является линейной программой; остальные переменные являются фиксированными.

Когда я пытаюсь ввести эту программу в мои любимые инструменты линейного программирования, у меня возникают проблемы. А именно, если я напишу это в «стандартной» линейной форме программы, матрицы параметров $M$ и $Y$ будут повторяться множество раз (по одному разу для каждого столбца $X$ ).

Есть ли алгоритм и / или пакет, который может иметь дело с оптимизацией в форме выше? Прямо сейчас у меня заканчивается память, потому что $M$ и $Y$ нужно копировать так много раз!

обзор

Возможно, вы захотите попробовать вариант метода множителей с альтернативными направлениями (ADMM), который, как было обнаружено, неожиданно быстро сходится для типа лассо. Стратегия состоит в том, чтобы сформулировать проблему с помощью расширенного лагранжиана, а затем выполнить градиентное восхождение по двойной задаче. Это особенно хорошо для этой конкретной регуляризованной задачи, потому что негладкая часть каждой итерации метода имеет точное решение, которое вы можете просто оценить элемент за элементом, в то время как гладкая часть включает в себя решение линейной системы.л $l_1$$l^1$

В этом посте мы

• получить общую формулировку ADMM для обобщения вашей проблемы,
• получить подзадачи для каждой итерации ADMM и специализировать их в вашей ситуации, а затем
• исследовать полученную линейную систему , которая должна быть решена каждой итерации, и разработать быстрый решатель (или предобуславливатель) на основе предварительного вычисления собственного значения разложения (или низкий ранг приближения этого) для и .Y Y $M^TM$$YY^T$
• резюмируя несколько заключительных замечаний

Большинство важных идей здесь описаны в следующем превосходном обзоре:

Бойд, Стивен и др. «Распределенная оптимизация и статистическое обучение с помощью метода переменных множителей». Основы и тенденции в машинном обучении 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

Прежде чем углубляться в детали, я хочу заметить, что это ответ метода / алгоритма, а не практический ответ кода - если вы хотите использовать этот метод, вам потребуется развернуть собственную реализацию.

ADMM формулировка

В общем, предположим, что вы хотите решить

$$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$$

Проблема в оригинальном посте попадает в эту категорию после соответствующей векторизации. (это только в принципе - мы увидим, что векторизация не должна выполняться на практике)

Вместо этого вы можете решить эквивалентную задачу: с лагранжевым L(x,z,λ,γ)

$$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$$ $$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$$

Метод мультипликаторов с переменным направлением решает двойственную задачу, посредством градиентного подъема по двойственным переменным, за исключением неточные чередующиеся проекции на двойственные подзадачи. То есть каждый выполняет итерацию x k +

$$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$$ $$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$$

При определенных мягких условиях для параметров и (объясненных в статье Бойда и Париха, связанной выше) метод ADMM будет сходиться к истинному решению. Скорость сходимости является линейной, так как в основе лежит метод градиентного всплытия. Часто он может быть ускорен до суперлинейности путем 1) изменения параметров и мере использования эвристики или 2) с использованием ускорения Нестерова. Примечания по изменению параметров штрафа см. В обзоре Бойда, а для использования ускорения Нестерова с ADMM - в следующей статье.β α $\alpha$$\beta$$\alpha$$\beta$

Гольдштейн, Том, Брендан О'Донохью и Саймон Сетцер. «Быстрые методы оптимизации переменных направлений». Отчет CAM (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Однако, даже если общая скорость сходимости является только линейной, для задач наблюдался метод, позволяющий очень быстро найти образец разреженности, а затем медленнее сходиться к точным значениям. Поскольку найти образец разреженности - самая трудная часть, это очень случайно! Точные причины, по-видимому, являются областью современных исследований. Все видят, что шаблоны разреженности сходятся быстро, но никто, кажется, не знает точно, почему это происходит. Некоторое время назад я спросил об этом Бойда и Париха по электронной почте, и Парих подумал, что это можно объяснить интерпретацией метода в контексте систем управления. Другое эвристическое объяснение этого явления можно найти в приложении к следующей статье:$l^1$

Гольдштейн, Том и Стэнли Ошер. «Метод расщепления Брегмана для L1-регуляризованных задач». SIAM Journal of Imaging Sciences 2.2 (2009): 323-343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Конечно, теперь трудность заключается в решении подзадач обновления и для вашей конкретной ситуации. Поскольку лагранжиан квадратичен по , подзадача обновления просто требует решения линейной системы. подзадача кажется сложнее , так как это недифференцируема, но оказывается, что есть точная формула для решения , которые могут быть применены поэлементно! Теперь мы обсудим эти подзадачи более подробно и укажем их на проблему в исходном посте.z z z $x$$z$$z$$z$$x$

Настройка для подзадачи update (линейная система)$z$

Для обновления у нас есть a r g m i n z L ( x k , z , λ k , γ k ) = a r g m i n z $z$

$$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$$

Специализируется на вашей проблеме:

$$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$$

где обозначает норму Фробениуса (поэлементно ). Это задача квадратичной минимизации, где условия оптимальности первого порядка можно найти, взяв частные производные цели по и и установив их в ноль. Это л 2 Z J Z B $||\cdot||Fro$$l_2$$Z_J$$Z_B$

$$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$$

Как отмечается в комментариях оригинального автора Джастина Соломона, эта система для является симметричной, поэтому сопряженный градиент является идеальным методом без матрицы. В следующем разделе обсуждается эта система и как ее решить / подготовить более подробно.$Z_J,Z_B$

Решение подзадачи update (решение для аналитического порога)$x$

Теперь обратимся к подзадаче , a r g m i n x L ( x , z k , λ k , γ k ) = a r g m i n x ∑ i | х я | + $x$

$$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$$

Первое, что нужно увидеть, это то, что сумма может быть разбита по элементам,

$$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$$

Таким образом, мы можем решить задачу оптимизации элемент за элементом параллельно, получив

$$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$$

Общая форма этого уравнения:

$$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$$

Функция абсолютного значения пытается потянуть оптимальную точку к , тогда как квадратичный член пытается потянуть оптимальную точку к . следовательно, истинное решение лежит где-то на отрезке между ними, причем увеличение стремится к вытягиванию оптимальной точки в направлении , а уменьшение вытягивает оптимальную точку в направлении .s = t [ 0 , t ) α t α $s=0$$s=t$$[0,t)$$\alpha$$t$$\alpha$$0$

Это выпуклая функция, но она не дифференцируема в нуле. Условием минимизации является то, что субпроизводное цели в этой точке содержит ноль. Квадратичный член имеет производную , а функция абсолютного значения имеет производную для , субпроизводную с множеством значений в качестве интервала при и производную для , Таким образом, мы получаем субпроизводную для общей целевой функции: - 1 s < 0 [ - 1 , 1 ] s = 0 1 s > 0 ∂ s ( | s | + $\alpha(s-t)$$-1$$s < 0$$[-1,1]$$s=0$$1$$s > 0$

$$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$$

Отсюда видно, что субпроизводное цели при содержит тогда и только тогда, когда , в этом случае - это минимизатор. С другой стороны, если не является минимизатором, то мы можем установить однозначную производную равной нулю и решить для минимизатора. Делая это, вы 0 | т | ≤ $s=0$$0$ s=0s=0argmins| с| +$|t| \le \frac{1}{\alpha}$$s=0$$s=0$

$$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$$

Снова специализируя этот результат на реальной проблеме, которую мы пытаемся решить в исходном вопросе, где приводит Обновление для просто J k + 1 i j ={ Z k i j - $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

$$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$$ $B$ $$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$$

как отметил оригинальный постер Джастина Соломона в комментариях. В целом, выполнение обновления для просто требует циклического просмотра записей ваших матриц и оценки приведенных выше формул для каждой записи.$J,B$

Щур дополнение к системы$Z_J,Z_B$

Самым дорогостоящим шагом итерации является решение системы,

$$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$$

Для этого стоит приложить некоторые усилия для создания хорошего решателя / предобусловливателя для этой системы. В этом разделе мы делаем это путем векторизации , формирования дополнения Шура , выполнения некоторых манипуляций с продуктом Крнёкера, а затем отмены векторизации. Полученная система дополнения Шура представляет собой слегка модифицированное уравнение Сильвестра .

В дальнейшем абсолютно идентичны следующие понятия о векторизации и продуктах Кронекера:

• $\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
• $(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
• $(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ и
• $(A \otimes B)^T = A^T \otimes B^T$ .

Эти тождества сохраняются всякий раз, когда размеры матриц и обратимость таковы, что каждая сторона уравнения является допустимым выражением.

Векторизованная форма системы:

$$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$$

или

$$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$$

где и - сокращенные обозначения для правой части. Теперь мы выполняем блок-гауссово-исключение / дополнение Шура, чтобы исключить нижний левый блок матрицы в процессе конденсации продуктов Кронекера. Это $F$$G$

$$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$$

Невекторизовав, два уравнения, которые мы должны решить последовательно:

1. $$Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$$
2. $$(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$$

Решение системы дополнения Шура, когда квадратные, высокого ранга$Y,M$

В этом разделе мы решаем систему дополнения Шура для (уравнение 1. выше), используя предварительно вычисленные полные SVD матриц и применяя модифицированную версию алгоритма Бартельс-Стюарта для Сильвестра уравнение. Алгоритм немного изменен по сравнению со стандартной версией, чтобы учесть дополнительный на втором члене, что делает его не совсем уравнением Сильвестра. Как только найден с помощью первого уравнения, может быть легко найден из второго уравнения. Второе уравнение тривиально для решения любым способом, который вам нравится.$Z_B$$YY^T, MM^T, M^TM$$\beta YY^T$$Z_B$$Z_J$

Этот метод требует предоплаты за предварительное вычисление двух полных SVD до запуска процесса ADMM, но затем быстро применяется в реальных итерациях ADMM. Так как метод имеет дело с полными SVD матриц ограничений, он подходит, когда они близки к квадрату и высокому рангу. Также возможен более сложный метод с использованием SVD низкого ранга, но он будет представлен в следующем разделе.

Способ развивается следующим образом. Пусть обозначает предварительно вычисленное полное сингулярное значение разложения, и конденсируется правая сторона , чтобы быть . Тогда первое уравнение становится: Умножение с помощью ортогональных факторов для очистки левого и правого и установки нового временного неизвестного , это далее становится,

$$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$$ $H$ $$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$$ $A = W^T Z_B Q$ $$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$$

Теперь мы можем найти , решив диагональную систему: $A$

$$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$$

Найдя , мы вычисляем , и, зная мы решаем второе уравнение выше для , которое является тривиальным, поскольку у нас уже есть разложение по собственным значениям для .$A$$Z_B = W A Q^T$$Z_B$$Z_J$$M^TM$

Первоначальная стоимость - это вычисление двух симметричных положительно определенных разложений по собственным значениям и , а затем в цене за одну итерацию для полного решения преобладает несколько умножений матрица-матрица, которые имеют тот же порядок Величина как делает 1 CG сублитерации. Если предварительные разложения по собственным значениям слишком дороги, то их можно вычислить неточно, например, досрочно завершив итерацию Ланцоша и сохранив самые большие собственные векторы. Тогда этот метод можно использовать в качестве хорошего предварительного условия для CG, а не в качестве прямого решателя.$M^TM$$YY^T$

Метод решения, когда очень прямоугольные или имеют приближение низкого ранга$M,Y$

Теперь мы наше внимание на решение или предварительную подготовку когда либо a) входные матрицы очень прямоугольные - это означает, что у них намного больше строк, чем столбцов, или наоборот - или b) они имеют приближение низкого ранга. Вывод ниже включает в себя широкое использование формулы Вудбери, дополнения Шура и других подобных манипуляций.$Z_J,Z_B$$M,Y$

Мы начнем с нашей системы дополнения Шура,

$$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$$

Несколько манипуляций превращают эту систему в более симметричную форму

$$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$$

Теперь введем приближения низкого ранга. Пусть будет либо приведенным приближением SVD, либо приближением низкого ранга для и ( является заполнителем и не является используемый). Подстановка их в нашу систему приводит к следующей обратной матрице, которую мы хотим применить,

$$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$$ $Y$$M$$Q_2$ $$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$$

Поскольку матрица, которую мы используем для инвертирования, является обновлением низкого ранга идентичности, логическая стратегия состоит в том, чтобы попытаться использовать формулу Вудбери,

$$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$$

Тем не менее, требуется некоторая осторожность, так как младшие куски и не являются ортогональными. Таким образом, чтобы применить формулу Вудбери, мы собираем оба обновления низкого ранга в одно большое обновление. Поступайте так и применяя формулу Вудбери, $I \otimes W$$Y \otimes I$

$$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$$

Обратное ядро ​​может быть вычислено по блочной обратной формуле 2x2:

$$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$$

Эта статья уже достаточно длинна, поэтому я позабочусь о длинных деталях вычислений, но в результате мы добавим необходимые подматрицы в блочную инверсию и умножим все на части, получая следующую явную форму для общей инверсии

$$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$$

где

$$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$$

В этой форме мы можем применить обратное и найти термин по через 8 левых и правых сэндвичей умножения матриц. Общая формула для применения суммы произведений Кронекера: $Z_B$

$$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$$

Обратите внимание, что все явные инверсии, с которыми мы закончили, являются диагональными, так что нечего «решать».

Код линейного решателя

Я реализовал два решателя в Matlab. Кажется, работает хорошо. Код решателя здесь.$z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Тестовый скрипт для проверки работы решателей находится здесь. На примере также показано, как вызывать код решателя.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

Заключительные замечания

Методы ADMM-типа хорошо подходят для подобных задач, но вам нужно будет развернуть собственную реализацию. Общая структура метода довольно проста, поэтому его реализация не так сложна в чем-то вроде MATLAB.

Часть, отсутствующая в этом посте, которая должна быть указана для полного определения метода вашей проблемы, - это выбор параметров штрафа . К счастью, метод, как правило, довольно надежный, пока значения параметров не сумасшедшие. В статье Бойда и Париха есть раздел о параметрах штрафа, как и ссылки в нем, но я бы просто экспериментировал с параметрами, пока вы не получите разумную скорость сходимости.$\alpha,\beta$

Представленные очень эффективны, если матрицы ограничений либо: а) плотные, квадратные и высокого ранга, либо б) имеют хорошее приближение низкого ранга. Другой полезный решатель , который может быть темой будущей работы будет решатель оптимизирован для следующего случая - ограничение матрица разрежена и squareish и высокого ранга, но существует хороший переобусловливатель для . Это имело бы место, если, например, является дискретным лапласианом.$Z_J,Z_B$$M$$\alpha I + MM^T$$M$

Вы, вероятно, хотите использовать метод без матрицы для линейного программирования. Я не знаю ни одного метода, специально предназначенного для линейного программирования, но существуют методы без внутренних матриц для квадратичных программ и для общих нелинейных программ. Случай квадратичной программы в точности соответствует вашей задаче, где все коэффициенты квадратичной формы равны нулю. (Вы также можете адаптировать методы, которые используют точные линейные решения, к структуре вашей проблемы, но такая реализация на заказ может не стоить этого и менее практична, чем использование метода без матриц.)

Я не знаю ни одного коммерческого пакета оптимизации, который бы реализовывал безматричные варианты методов внутренних точек. Предполагается, что в IPOPT реализован метод внутренней матрицы без матрицы для нелинейного программирования, но я не смог отследить вызовы API, которые позволяют вам его использовать.

В дополнение к CVX, вы, возможно, могли бы использовать GAMS или AMPL для однократного ввода матрицы и установки ограничений на языке моделирования для использования этой матрицы. Однако методы, используемые бэкэндами решателя для CVX, GAMS и AMPL, не используют решатели без матрицы; для всех потребуется полная матрица коэффициентов для линейной программы в стандартной форме, которая будет огромной (это будет произведение матриц Кронекера). Вероятно, случится так, что вы введете свою линейную программу в форму выше, используя язык моделирования, а затем язык моделирования преобразует данные в форму, используемую бэкэнд-решателями. Эта форма потребует огромных матриц, и я подозреваю, что вы столкнетесь с такими же ошибками (если только вы не запускаете на машине с достаточным объемом памяти).

Можете ли вы позволить себе те SVD, о которых упоминал Джеффри Ирвинг? Если вы можете, я бы рассмотрел подход с наименьшими квадратами (IRLS) . Этот подход позволил бы решить проблемы вида где - весовая матрица.

$$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$$ $W$

Итерации начинаются с как матрицы всех единиц; это дает оптимальный . Итерации продолжаются с где небольшая постоянная, которая предотвращает деление на ноль. Я не совсем уверен в критериях конвергенции, но, возможно, ссылка на Википедию, которую я предложил выше, может дать вам ссылки. J ( 0 ) W ( k + 1 ) i j = | max { J ( k ) i j , ϵ } | - 1$W^{(0)}$$J^{(0)}$

$$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$$ $\epsilon$

Вы также можете рассмотреть сглаженный метод первого порядка. TFOCS, который я в соавторстве, мог бы справиться с этим, используя свой решатель «сглаженное коническое двойное» (SCD), но он не будет таким простым в использовании.

Если вы хотите попробовать метод внутренней матрицы без матрицы, прочитайте работу Яцека Гондзио.

РЕДАКТИРОВАТЬ: хм, это может быть случай, когда IRLS не сможет использовать SVD для вычисления решений. Если так, я бы остановился на одном из других вариантов.

Вы можете попробовать использовать CVX , что позволит вам закодировать его именно в той форме, в которой вы его написали (то есть с в качестве матрицы, а не вектора). Возможно, это будет решено с использованием более общего выпуклого решателя вместо LP-решателя, но если выпуклый решатель преуспеет, то, я полагаю, вы не будете возражать$X$

Другая возможность: использовать решатель, который позволяет вашим матрицам ограничений храниться как разреженные матрицы. Это по-прежнему потребует намного больше памяти, чем нужно, но гораздо меньше, чем если бы вы хранили их в виде плотных матриц. В CVX, если вы используете, kronвы получаете разреженную матрицу, так что было бы тривиально попробовать это.