Können diagonale und feste symmetrische lineare Systeme nach der Vorberechnung in quadratischer Zeit gelöst werden?

21

Gibt es eine $O(n^3+n^2 k)$ -Methode, um $k$ lineare Systeme der Form zu lösen, $(D_i + A) x_i = b_i$ wobei $A$ eine feste SPD-Matrix ist und $D_i$ positive Diagonalmatrizen sind?

Wenn beispielsweise jedes $D_i$ Skalar ist, genügt es , den SVD zu berechnen $A$ . Dies bricht jedoch für General $D$ aufgrund mangelnder Kommutativität zusammen.

Update : Die bisherigen Antworten lauten "nein". Hat jemand eine interessante Ahnung, warum? Eine Nein-Antwort bedeutet, dass es keine nicht einfache Möglichkeit gibt, die Informationen zwischen zwei nicht pendelnden Operatoren zu komprimieren. Es ist nicht sonderlich überraschend, aber es wäre toll, es besser zu verstehen.

linear-algebra algorithms performance complexity Geoffrey Irving
quelle

SPD = halbpositiv bestimmt?

rcollyer

Ja, obwohl das Problem ohne SPD im Wesentlichen dasselbe ist. Ich habe diese Einschränkung nur hinzugefügt, um sicherzustellen, dass die Systeme niemals singulär sind.

Geoffrey Irving

19

Die positivsten Antworten auf Ihre Frage, die ich finden konnte, sind für spärliche diagonale Störungen (siehe unten).

Trotzdem kenne ich keine Algorithmen für den allgemeinen Fall, obwohl es eine Verallgemeinerung der Technik gibt, die Sie für Skalarverschiebungen von SPD-Matrizen zu allen Quadratmatrizen erwähnt haben:

Für jede quadratische Matrix existiert eine Schur-Zerlegung , wobei einheitlich und oberes Dreieck ist und eine Schur-Zerlegung von liefert . Somit erstreckt sich Ihre Vorberechnungsidee über den Algorithmus auf alle Quadratmatrizen: $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ $A + \sigma I$

Berechnen Sie in höchstens Arbeit. $[U,T]=\mathrm{schur}(A)$ $\mathcal{O}(n^3)$
Löse jedes über in (die mittlere Inversion ist einfach eine Rücksubstitution). $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ $\mathcal{O}(n^2)$

Diese Argumentation reduziert sich auf den Ansatz, den Sie erwähnt haben, wenn SPD ist, da sich die Schur-Zerlegung für normale Matrizen auf eine EVD reduziert und die EVD mit der SVD für positiv-definierte Hermitian-Matrizen übereinstimmt. $A$

Antwort auf die Aktualisierung: Bis ich einen Beweis habe, den ich nicht habe, lehne ich es ab, zu behaupten, die Antwort sei "nein". Ich kann jedoch einige Einblicke geben, warum es schwierig ist, sowie einen weiteren Teilfall, in dem die Antwort Ja lautet.

Die wesentliche Schwierigkeit besteht darin, dass das Update zwar diagonal ist, aber im Allgemeinen immer noch den vollen Rang hat. Daher scheint das primäre Tool zum Aktualisieren einer Inversen, die Sherman-Morrison-Woodbury-Formel , nicht zu helfen. Obwohl der Skalarverschiebungsfall auch den vollen Rang hat, ist er ein äußerst spezieller Fall, da er mit jeder Matrix pendelt, wie Sie erwähnt haben.

$D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

$e_j$ $j$

$A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

Jack Poulson
quelle

12

$(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

$(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

$A^{-1}$

Antwort auf die Aktualisierung : @JackPaulson ist vom Standpunkt der numerischen linearen Algebra und der Algorithmen aus ein hervorragender Punkt. Ich werde mich stattdessen auf Argumente zur Komplexität von Berechnungen konzentrieren.

$n$

$\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

Geoff Oxberry
quelle

3

Ich habe noch keine konkrete Aussage darüber getroffen, wo die Frequenzweiche liegen könnte, aber mehrere seriöse Quellen haben festgestellt, dass Coppersmith-Winograd (abgesehen von Implementierungsproblemen) Standardmethoden für Matrixgrößen nicht schlagen kann, die in naher Zukunft in den Speicher passen werden (einige Jahrzehnte). Angesichts der Tatsache, dass der Linpack-Benchmark mehr als einen Tag benötigt, um auf den aktuellen Top-Maschinen ausgeführt zu werden, ist es unwahrscheinlich, dass Coppersmith-Winograd jemals in der Praxis eingesetzt wird. Strassen ist eigentlich praktisch für große Probleme, obwohl es etwas weniger numerisch stabil ist.

Jed Brown

Das wundert mich nicht. +1 für die Implementierungsdetails.

Geoff Oxberry

6

$A+D$ $A$

\begin{aligned} A^{- 1} & = (A + D - D)^{- 1} (A + D) (A + D)^{- 1} \\ = [(A + D)^{- 1} (A + D - D)]^{- 1} (A + D)^{- 1} \\ = [I - (A + D)^{- 1} D]^{- 1} (A + D)^{- 1} \\ \approx [I + (A + D)^{- 1} D] (A + D)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

$A+D$

$D\gtrsim 0$ $D \lesssim \min \sigma(A)$

Wenn die Verschiebung im Vorkonditionierer viel größer ist als im Bediener, erzeugt diese Methode in der Regel eine Bedingungszahl, die etwa halb so groß ist wie die des verzögerten Bedieners (in den von mir durchgeführten Zufallstests könnte sie für eine bestimmte Klasse von Personen besser oder schlechter sein) Matrizen). Dieser Faktor von 2 in der Bedingungsnummer ergibt einen Faktor von in der Iterationszahl. Wenn die Iterationskosten von den Lösungen mit dominiert werden , ist dies kein ausreichender Faktor, um die Taylor-Expansion erster Ordnung zu rechtfertigen. Wenn die Matrixanwendung verhältnismäßig teuer ist (z. B. Sie haben nur einen kostengünstigen Vorkonditionierer für ), ist diese Methode erster Ordnung möglicherweise sinnvoll. $\sqrt 2$ $A+D$ $A+D$

Jed Brown
quelle

Können diagonale und feste symmetrische lineare Systeme nach der Vorberechnung in quadratischer Zeit gelöst werden?

Antworten: