Понимание стоимости сопряженного метода для pde-ограничения оптимизации

Я пытаюсь понять, как метод оптимизации на основе сопряжения работает для ограниченной оптимизации PDE. В частности, я пытаюсь понять, почему сопряженный метод более эффективен для задач, в которых число проектных переменных велико, но «число уравнений мало».

Что я понимаю:

Рассмотрим следующую проблему ограниченной оптимизации PDE:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

где $I$ - (достаточно непрерывная) целевая функция переменных векторного дизайна $\beta$ и вектора переменных поля неизвестных $u(\beta)$ которые зависят от переменных дизайна, и $R(u)$ - остаточная форма PDE.

Ясно, что мы можем первые вариации I и R как

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

Вводя вектор множителей Лагранжа $\lambda$ , изменение целевой функции можно записать в виде

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

Переставляя термины, мы можем написать:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

Таким образом, если мы можем решить для такое, что $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

Тогда градиент оценивается только с точки зрения проектных переменных $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$ .

Таким образом, алгоритм оптимизации, основанный на сопряженных элементах, будет проходить по следующим этапам:

Учитывая текущие переменные дизайна $\beta$
Решите для переменных поля (из PDE) $u$
Решить для множителей Лагранжа (из присоединенного уравнения) $\lambda$
Вычислить градиенты $\frac{\partial I}{\partial \beta}$
Обновление проектных переменных $\beta$

Мой вопрос

Как этот сопутствующий «трюк» улучшает стоимость оптимизации за итерацию в случае, когда число проектных переменных велико? Я слышал, что стоимость оценки градиента для присоединенного метода не зависит от числа проектных переменных. Но как именно это правда?

Я уверен, что есть что-то очень очевидное, что я как-то упускаю из виду.

optimization pde

— Пол
источник

Кстати, множитель Лагранжа обычно добавляется к целевому функционалу, а не к вариации; таким образом . Установка производной по на ноль дает присоединенное уравнение, а вставка этого (и решение уравнения состояния ) в производную по дает градиент. Если вы начнете со слабой формулировки PDE, все станет еще проще: просто вставьте множитель Лагранжа вместо тестовой функции. Нет необходимости в сильной форме или частичной интеграции в любом месте.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Кристиан Клэйсон

Самая дорогая часть любой симуляции - фаза решения. Используя сопряженное, вы получаете градиент в двух решениях, намного дешевле по сравнению с конечными разностями, где вам нужно по крайней мере n + 1 решений, где n - число свободных параметров в вашей модели.

— Стали

Ответы:

Как этот сопутствующий «трюк» улучшает стоимость оптимизации за итерацию в случае, когда число проектных переменных велико?

Я думаю о стоимости с точки зрения линейной алгебры. (См. Эти заметки Стивена Дж. Джонсона , которые я считаю более интуитивными, чем метод множителей Лагранжа). Прямой подход сводится к решению для чувствительности напрямую:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

который включает в себя решение линейной системы для каждого параметра в векторе , а затем оценку $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

где обозначает полную производную, а обозначает частную производную. $\mathrm{d}$ $\partial$

Сопутствующий подход отмечает, что

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

поэтому присоединенная переменная (множитель Лагранжа) может быть определена как $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

что соответствует присоединенному уравнению

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

Эта перегруппировка терминов требует только одного линейного решения вместо линейного решения для каждого параметра, что делает дешевую сопряженную оценку для случая многих параметров.

Я слышал, что стоимость оценки градиента для присоединенного метода не зависит от числа проектных переменных. Но как именно это правда?

Это не совсем независимо; по-видимому, стоимость оценки и будет увеличиваться с увеличением количества параметров. Линейные решения, тем не менее, будут иметь тот же размер, пока размер не изменится. Предполагается, что решения намного дороже, чем оценки функций. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Джефф Оксберри
источник

В двух словах, преимущество заключается в том, что для вычисления производных сокращенной цели вам не обязательно знать производную от отношению к как отдельный объект, но только та его часть, которая приводит к изменениям в . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

Позвольте мне перейти к нотации , я немного более комфортно с: ( является переменная дизайна, - переменная состояния, а - цель). Допустим, достаточно хорош для применения теоремы о неявной функции, поэтому уравнение имеет единственное решение которое непрерывно дифференцируемо по , и производную задается решением ( и - частные производные) ,

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

Это означает, что вы можете определить приведенную цель , которая также дифференцируема (если есть). Один из способов охарактеризовать градиент - через производные по направлениям (например, вычислить все частные производные по базису пространства проектирования). Здесь производная по направлению в направлении задается правилом цепочки как Если хорош, единственное, что трудно вычислить, это для заданного . Это можно сделать, умножив на $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ справа и решение для (что позволяет теорема о неявной функции), т. е. вычисление и вставляем это выражение в . При оптимизации с ограничением по PDE это сводится к решению линеаризованного PDE для каждого базисного вектора проектного пространства.

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

Однако, если мы найдем такой оператор , что то это должен быть требуемый градиент. Глядя на , мы можем написать (с являющимся присоединенным оператором), поэтому все, что нам нужно для вычисления, это . Используя это , это можно сделать, используя , то есть вычисление и установка В PDE-ограниченной оптимизации $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ обычно является своего рода невязкой, и вычисление включает в себя решение одного (линейного) сопряженного PDE, независимого от измерения пространства проектирования. (На самом деле, это работает даже для распределенных параметров, т. Е. Если - функция в некотором бесконечномерном банаховом пространстве, где первый подход невозможен.)

λ

$\lambda$

u

$u$

— Кристиан Клэйсон
источник