Градиентный спуск и сопряженный градиентный спуск

Для проекта я должен реализовать эти два метода и сравнить, как они выполняют разные функции.

Похоже, метод сопряженных градиентов предназначен для решения систем линейных уравнений

$$A\mathbf{x} = \mathbf{b}$$

Где - матрица размером n на n, которая является симметричной, положительно определенной и действительной.$A$

С другой стороны, когда я читаю о градиентном спуске, я вижу пример функции Розенброка , которая

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

Как я понимаю, я не могу решить это с помощью метода сопряженных градиентов. Или я что-то пропустил?

Градиентный спуск и метод сопряженных градиентов являются алгоритмами минимизации нелинейных функций, то есть таких функций, как функция Розенброка

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

или многомерная квадратичная функция (в данном случае с симметричным квадратичным членом)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

Оба алгоритма также итеративны и основаны на направлении поиска. В оставшейся части этого поста и будут векторами длины ; и являются скалярами, а верхние индексы обозначают индекс итерации. Градиентный спуск и метод сопряженных градиентов могут быть использованы, чтобы найти значение которое решаетд $x$$d$$n$α x $f(x)$$\alpha$$x^*$

$\min f(x)$

Оба метода начинаются с начального предположения , а затем вычисляют следующую итерацию, используя функцию вида$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

Словом, следующее значение найдено, начиная с текущего местоположения и двигаясь в направлении поиска на некоторое расстояние . В обоих методах расстояние для перемещения может быть найдено путем поиска строки (минимизируйте над ). Другие критерии также могут быть применены. Где два метода отличаются в их выборе . Для градиентного метода . Для метода сопряженных градиентов процедура Грамма-Шмидта используется для ортогонализации векторов градиента. В частности, , но тогда равноx i d i α i f ( x i + α i d i ) α i d i d i = - ∇ f ( x i ) d 0$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ минус проекция этого вектора на такая, что . Каждый последующий вектор градиента ортогонализируется со всеми предыдущими, что приводит к очень хорошим свойствам для приведенной выше квадратичной функции.$d^0$$(d^1)^Td^0 = 0$

Приведенная выше квадратичная функция (и связанные с ней формулировки) также является источником обсуждения решения с использованием метода сопряженных градиентов, поскольку минимум этого достигается в точке где .f ( x ) x A x = $Ax = b$$f(x)$$x$$Ax = b$

В этом контексте оба метода могут рассматриваться как проблемы минимизации функции: Когда симметричен, то минимизируется, когда .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

Градиентный спуск - это метод, который итеративно ищет минимизатор, смотря в направлении градиента. Сопряженный градиент похож, но направления поиска также должны быть ортогональны друг другу в том смысле, что .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$