Berechnungsaufwand von Algorithmen

Betrachten Sie das streng konvexe uneingeschränkte OptimierungsproblemLassen Sie x_ \ text {opt} seine einzigartige Minima bezeichnen und X_0 eine gegebene erste Annäherung sein x_ \ text {opt}. Wir werden einen Vektor x eine \ epsilon- nahe Lösung von \ mathcal {O} nennen, wenn \ begin {Gleichung} \ frac {|| x - x _ {\ text {opt}} || _2} {|| x_0 - x_ \ text {opt} || _2} \ leq \ epsilon. \ end {Gleichung}$\mathcal{O} := \min_{x \in \mathbb{R}^n} f(x).$x 0 x opt . x ϵ - O | | x - x opt | | $x_\text{opt}$$x_0$$x_\text{opt}.$$x$$\epsilon-$$\mathcal{O}$

Angenommen, es gibt zwei iterative Algorithmen $\mathcal{A}_1$ und $\mathcal{A}_2$ , um eine $\epsilon-$ nahe Lösung von $\mathcal{O}$ mit den folgenden Eigenschaften zu finden:

1. Für jedes $\epsilon > 0,$ der gesamte Rechenaufwand, dh der Aufwand, der pro Iteration $\times$ Gesamtzahl der Iterationen erforderlich ist, um eine $\epsilon-$ nahe Lösung zu finden, für beide Algorithmen gleich.
2. Die pro Iteration Aufwand für $\mathcal{A}_1$ ist $O(n),$ sagen wir, während die von $\mathcal{A}_2$ ist $O(n^2).$

Gibt es Situationen, in denen man einen Algorithmus dem anderen vorziehen würde? Warum?

Es ist normalerweise sehr schwierig, wenn nicht unmöglich, eine parallele Version eines iterativen Algorithmus zu implementieren, der über Iterationen hinweg parallelisiert. Der Abschluss einer Iteration ist ein natürlicher Sequenzpunkt. Wenn ein Algorithmus weniger Iterationen, aber mehr Arbeit pro Iteration erfordert, ist es wahrscheinlicher, dass dieser Algorithmus effektiv parallel implementiert werden kann.

Ein Beispiel hierfür ist die lineare Programmierung, bei der die Methode der primär-dualen Barriere (innerer Punkt) selbst bei sehr großen Problemen normalerweise nur einige Dutzend Iterationen verwendet, die Arbeit pro Iteration jedoch recht umfangreich ist. Im Vergleich dazu erfordern verschiedene Versionen der Simplex-Methode normalerweise viel mehr Iterationen, aber die Arbeit pro Iteration ist geringer. In der Praxis haben parallele Implementierungen von Innenpunktverfahren eine weitaus bessere parallele Effizienz gezeigt als parallele Implementierungen des Simplex-Verfahrens.

Ich kann mir einige Möglichkeiten vorstellen:

Wenn beide Algorithmen den Fehler bei jeder Iteration monoton reduzieren, ist es möglicherweise einigen vorzuziehen, mehr und billigere Iterationen zu verwenden, da Sie mehr Auswahlmöglichkeiten haben, wann die Iteration beendet werden soll.

Wenn ist Arbeit und Zeit , sondern Speicher, könnten es vorziehen , Sie wenn groß ist. möglicherweise sogar groß genug, um auszuwählen, da die Speichernutzung Sie hier eher einschränkt.$\mathcal{A}_1$$O(n)$$O(n^k)$$\mathcal{A}_2$$k$$k=2$$\mathcal{A}_2$

Dies gilt wahrscheinlich unabhängig davon, ob es sich um eine Optimierung oder eine andere Klasse von iterativen Problemen handelt.