Richtigkeit
Trefethen und Schreiber haben eine exzellente Arbeit geschrieben, Average-Case Stability of Gaussian Elimination , in der die Genauigkeitsseite Ihrer Frage erörtert wird. Hier sind einige seiner Schlussfolgerungen:
„Für QR - Faktorisierung mit oder ohne Säule schwenkbar, das durchschnittliche maximale Element der Restmatrix ist O ( n1 / 2) , während für Gaußsche Eliminations ist O(n) . Dieser Vergleich zeigt , dass die Gaußsche Eliminations leicht instabil ist, aber die Instabilität kann nur bei sehr großen Matrixproblemen festgestellt werden, die mit geringer Genauigkeit gelöst werden. Bei den meisten praktischen Problemen ist die Gaußsche Elimination im Durchschnitt sehr stabil. "(Schwerpunkt Mine)
"Nach den ersten Schritten der Gaußschen Eliminierung sind die verbleibenden Matrixelemente ungefähr normal verteilt, unabhängig davon, ob sie auf diese Weise begonnen haben."
Es gibt viel mehr in dem Artikel, das ich hier nicht erfassen kann, einschließlich der Diskussion der Worst-Case-Matrix, die Sie erwähnt haben. Ich empfehle Ihnen daher nachdrücklich, sie zu lesen.
Performance
Für quadratische reelle Matrizen erfordert LU mit teilweisem Schwenken ungefähr Flops, während Householder-basierte QR grob erfordert 4 / 3 n 3 - Flop. Für einigermaßen große Quadratmatrizen ist die QR-Faktorisierung daher nur etwa doppelt so teuer wie die LU-Faktorisierung.2/3n34/3n3
Für - Matrizen, wobei m ≥ n , LU mit teilweisem Verschwenkung erfordert m n 2 - n 3 / 3 - Flop, im Vergleich zu der QR 2 m n 2 - 2 n 3 / 3 (das immer noch doppelt so groß ist , dass die LU - Faktorisierung). Allerdings ist es überraschend häufig für Anwendungen sehr hohe dünne Matrizen (zur Herstellung von m » n ) und Demmel et al. Ich habe ein nettes Referat, Kommunikationsvermeidende parallele und sequentielle QR-Faktorisierungm × nm ≥ nm n2- n3/ 32 m n2- 2 n3/ 3m≫n, in dem (in Abschnitt 4) ein cleverer Algorithmus erörtert wird, der nur das Senden von Nachrichten erfordert , wenn p Prozessoren verwendet werden, im Vergleich zu den n Protokoll- p- Nachrichten herkömmlicher Ansätze. Der Aufwand besteht darin, dass O ( n 3 log p ) zusätzliche Flops durchgeführt werden, aber für sehr kleine n wird dies oft den Latenzkosten für das Senden von mehr Nachrichten vorgezogen (zumindest wenn nur eine einzige QR-Faktorisierung durchgeführt werden muss).logppnlogpO(n3logp)n
Wie messen Sie die Leistung? Geschwindigkeit? Richtigkeit? Stabilität? Ein schneller Test in Matlab ergibt Folgendes:
Das Lösen eines einzelnen Systems mit einer LU-Zerlegung ist also etwa dreimal so schnell wie das Lösen mit einer QR-Zerlegung, und kostet eine halbe Dezimalstelle Genauigkeit (in diesem Beispiel!).
quelle
Der Artikel, den Sie zitieren, verteidigt die Gaußsche Eliminierung, indem er sagt, dass, obwohl es numerisch instabil ist, es bei Zufallsmatrizen gut abschneidet, und da die meisten Matrizen, die man sich vorstellen kann, wie Zufallsmatrizen sind, sollten wir in Ordnung sein. Dieselbe Aussage kann für viele numerisch instabile Methoden getroffen werden.
Betrachten Sie den Raum aller Matrizen. Diese Methoden funktionieren fast überall. Das sind 99,999 ...% aller Matrizen, die man erstellen kann, haben keine Probleme mit instabilen Methoden. Es gibt nur einen sehr kleinen Bruchteil von Matrizen, für die GE und andere Schwierigkeiten haben werden.
Die Probleme, die den Forschern am Herzen liegen, liegen in der Regel in dieser kleinen Fraktion.
Wir konstruieren Matrizen nicht zufällig. Wir konstruieren Matrizen mit ganz besonderen Eigenschaften, die ganz besonderen, nicht zufälligen Systemen entsprechen. Diese Matrizen sind oft schlecht konditioniert.
Geometrisch können Sie den linearen Raum aller Matrizen berücksichtigen. Es gibt einen Subraum mit einem Volumen / Maß von Null von singulären Matrizen, die diesen Raum durchschneiden. Viele Probleme, die wir konstruieren, konzentrieren sich auf diesen Unterraum. Sie werden nicht zufällig verteilt.
Betrachten Sie als Beispiel die Wärmegleichung oder -dispersion. Diese Systeme neigen dazu, Informationen aus dem System zu entfernen (alle Anfangszustände tendieren zu einem einzigen Endzustand), und als Ergebnis sind Matrizen, die diese Gleichungen beschreiben, enorm singulär. Dieser Prozess ist in einer zufälligen Situation sehr unwahrscheinlich und in physischen Systemen allgegenwärtig.
quelle