Итеративный «решатель» для

Я не могу себе представить, что я первый думаю о следующей проблеме, поэтому я буду удовлетворен ссылкой (но всегда приветствуется полный, подробный ответ):

Скажем, у вас есть симметричная положительно определенная . считается очень большим, поэтому удержание в памяти невозможно. Однако вы можете оценить для любого . Учитывая, что , вы хотели бы найти . $\Sigma \in \mathbb{R}^{n \times n}$ $n$ $\Sigma$ $\Sigma x$ $x \in \mathbb{R}^{n}$ $x \in \mathbb{R}^{n}$ $x^t\Sigma^{-1}x$

Первое решение, которое приходит на ум, - это найти используя, скажем, сопряженные градиенты. Однако это кажется несколько расточительным - вы ищете скаляр, и в процессе вы обнаруживаете гигантский вектор в . Кажется, имеет больше смысла придумать метод вычисления скаляра напрямую (т.е. без прохождения ). Я ищу такой метод. $\Sigma^{-1}x$ $\mathbb{R}^{n}$ $\Sigma^{-1}x$

linear-algebra numerical-analysis iterative-method

— Яир Даон
источник

Ваша матрица возникает из для некоторого "короткого и широкого" прямоугольника ?

Σ = A^{T} A

$\Sigma = A^TA$

A

$A$

— GeoMatt22

@ GeoMatt22 к сожалению нет. Но скажем так: что бы вы предложили в этом случае?

— Яир Даон

Я просто подумал, есть ли какая-нибудь матрица меньшего размера для работы ... не уверен, что она все равно поможет. Вы пробовали прибегать к помощи "матрицы без расстояния махаланобисов" или подобного? Извините, что не могу помочь!

— GeoMatt22

Спасибо @ GeoMatt22, я не смог ничего найти в Интернете.

— Яир Даон

Я не думаю, что слышал о каком-либо методе, который делает то, что вы хотите, без фактического решения . $y=\Sigma^{-1}x$

Единственная альтернатива, которую я могу предложить, - это если вы знали что-то о собственных векторах и -значениях . Скажем, вы знали, что они , тогда вы можете представить где столбцы - это , а - диагональная матрица с собственными значениями на диагонали. Следовательно, у вас есть это и вы получаете это Это, конечно , может потребовать от вас , чтобы сохранить все собственные значения, то есть, полный матрицу . Но, если вам случится знать, что только некоторые из собственных значений $\Sigma$ $\lambda_i,v_i$ $\Sigma=V^T L V$ $V$ $v_i$ $L$ $\Sigma^{-1}=V^T L^{-1} V$

x^{T} Σ^{- 1} x = x^{T} V^{T} L^{- 1} V x = \sum_{i} λ_{i}^{- 1} (v_{i}^{T} x)^{2} .

$x^T \Sigma^{-1} x = x^T V^T L^{-1} V x = \sum_i \lambda_i^{-1} (v_i^T x)^2.$

V

$V$

Σ

$\Sigma$ маленькие, скажем, первые , а остальные настолько велики, что вы можете пренебречь всеми терминами с помощью для , тогда вы можете приблизить Это требует только от вас сохранения векторов вместо всех собственных векторов.

m

$m$

λ_{i}^{- 1}

$\lambda^{-1}_i$

i > m

$i>m$

x^{T} Σ^{- 1} x = \sum_{i = 1}^{n} λ_{i}^{- 1} (v_{i}^{T} x)^{2} \approx \sum_{i = 1}^{m} λ_{i}^{- 1} (v_{i}^{T} x)^{2} .

$x^T \Sigma^{-1} x = \sum_{i=1}^n \lambda_i^{-1} (v_i^T x)^2 \approx \sum_{i=1}^m \lambda_i^{-1} (v_i^T x)^2.$

m

$m$

n

$n$

Конечно, на практике часто одинаково или более сложно вычислить собственные значения и собственные векторы по сравнению с простым решением несколько раз. $y=\Sigma^{-1}x$

— Вольфганг Бангерт
источник

Но тогда у вас остается задача найти наименьших собственных значений матрицы, что является непростой задачей ...

m

$m$

— Яир Даон

Правильный. Но, возможно, оно того стоит, если вам нужно много раз оценить .

x^{T} Σ^{- 1} x

$x^T\Sigma^{-1}x$

— Вольфганг Бангерт

Можете ли вы предложить метод тогда?

— Яир Даон

Есть много или разреженные решатели собственных значений вокруг. ARPACK и SLEPc на основе PETSc, вероятно, являются наиболее широко используемыми.

— Вольфганг Бангерт

Bangreth Спасибо за ссылку. Я проверил SLEPc (хотя и не очень тщательно), и кажется, что способ поиска собственных пар - это (возможно, модифицированная) итерация Ланцоша. Если один ищет малейшие собственных пар, один должен найти и хранить все в памяти собственных пар. Это обычно невозможно для задач без матрицы - для этого требуется столько же памяти, сколько для хранения матрицы . Если кто-то хочет использовать обратную итерацию - не гарантируется порядок найденной собственной пары. Я что-то пропустил?

m

$m$

n \times n

$n \times n$

— Яир Даон