Wann beschleunigt die Randomisierung Algorithmen und wann sollte sie nicht?

Adleman Beweis , daß in enthalten ist , P / p o l y zeigt , dass wenn es ein randomisierten Algorithmus für ein Problem , das ausgeführt wird in der Zeit t ( n ) an den Eingängen der Größe n , dann gibt es auch einen deterministischen Algorithmus für das Problem ist , das läuft in der Zeit Θ ( t ( n ) ⋅ n ) auf Eingaben der Größe n [der Algorithmus läuft den randomisierten Algorithmus auf Θ ( n $BPP$$P/poly$$t(n)$$n$$\Theta(t(n)\cdot n)$$n$$\Theta(n)$unabhängige Zufallsketten. Es muss eine Zufälligkeit für den wiederholten Algorithmus geben, die für alle möglichen Eingaben gilt. Der deterministische Algorithmus ist nicht einheitlich - er kann sich für verschiedene Eingabegrößen unterschiedlich verhalten. So zeigt Adlemans Argument, dass - wenn man sich nicht um Homogenität kümmert - die Randomisierung Algorithmen nur um einen Faktor beschleunigen kann, der in der Eingabegröße linear ist.$2^n$

Was sind einige konkrete Beispiele, bei denen die Randomisierung die Berechnung beschleunigt (nach unserem besten Wissen)?

Ein Beispiel ist das Testen der Identität von Polynomen. Hier ist die Eingabe eine arithmetische Schaltung der Größe n, die ein m-variables Polynom über ein Feld berechnet, und die Aufgabe besteht darin, herauszufinden, ob das Polynom identisch Null ist. Ein randomisierter Algorithmus kann das Polynom an einem zufälligen Punkt auswerten, während der beste deterministische Algorithmus, den wir kennen (und möglicherweise der beste, der existiert), das Polynom an vielen Punkten auswertet.

Ein weiteres Beispiel ist der Minimum Spanning Tree, bei dem der beste randomisierte Algorithmus von Karger-Klein-Tarjan die lineare Zeit ist (und die Fehlerwahrscheinlichkeit exponentiell klein ist!), Während der beste deterministische Algorithmus von Chazelle in der Zeit abläuft ) ) ( α ist die inverse Ackermann-Funktion, daher ist die Zufallsbeschleunigung sehr gering). Interessanterweise wurde von Pettie und Ramachandran bewiesen, dass es auch einen einheitlichen deterministischen linearen Zeitalgorithmus gibt, wenn es einen nicht einheitlichen deterministischen linearen Zeitalgorithmus für den minimalen Spannbaum gibt.$O(m\alpha(m,n))$$\alpha$

Was sind einige andere Beispiele? Welche Beispiele kennen Sie, wenn die Randomisierungsgeschwindigkeit hoch ist, aber möglicherweise nur, weil wir noch keine ausreichend effizienten deterministischen Algorithmen gefunden haben?

$\tilde O(n^2)$$\tilde O(n^4)$$\tilde O(n^6)$

$1+\epsilon$

Das erste Beispiel für eine solche randomisierte Strategie war von Dyer, Frieze und Kannan, und das Härteergebnis für deterministische Algorithmen stammt von Bárány und Füredi. Alistair Sinclair hat dazu nette Vorlesungsunterlagen .

Ich bin mir nicht sicher, ob ich den Teil der Frage "und es sollte nicht" vollständig verstehe, daher bin ich mir nicht sicher, ob dies der Rechnung entspricht.

Ich weiß nicht, ob dies Ihre Frage beantwortet (oder zumindest einen Teil davon). Beispiele aus der Praxis, bei denen die Randomisierung zu einer Beschleunigung führen kann, sind Optimierungsprobleme und die Beziehung zum No-Free-Lunch- Theorem ( NFL ) .

Es gibt eine Arbeit "Vielleicht kein kostenloses Mittagessen, aber zumindest eine kostenlose Vorspeise", in der gezeigt wird, dass die Verwendung von Zufalls- (Optimierungs-) Algorithmen eine bessere Leistung erzielen kann.

Abstrakt:

$f : X \rightarrow Y$$X$$Y$sind endliche Mengen. Dieses Ergebnis heißt [the] No Free Lunch Theorem. Hier werden verschiedene Optimierungsszenarien vorgestellt. Es wird argumentiert, warum das Szenario, auf dem das No-Free-Lunch-Theorem basiert, keine Optimierung des realen Lebens modelliert. Für realistischere Szenarien wird argumentiert, warum sich Optimierungstechniken in ihrer Effizienz unterscheiden. An einem kleinen Beispiel wird diese Behauptung bewiesen.

Verweise:

1. No Free Lunch Theorems for Optimization (ursprünglicher NFL- Satz zur Optimierung)
2. Vielleicht kein kostenloses Mittagessen, aber wenigstens eine kostenlose Vorspeise
3. $F$$F$
4. Für Funktionsklassen, für die No Free Lunch-Ergebnisse gelten (Es ist bewiesen, dass der Anteil der Teilmengen, die cup sind, vernachlässigbar klein ist)
5. Zwei umfassende Funktionsklassen, für die kein Ergebnis für ein freies Mittagessen gilt (zeigt, dass ein NFL- Ergebnis nicht für eine Reihe von Funktionen gilt, wenn die Beschreibungslänge der Funktionen ausreichend begrenzt ist)
6. Kontinuierliches Mittagessen ist kostenlos und es werden optimale Optimierungsalgorithmen entworfen (dies zeigt, dass für kontinuierliche Domänen die NFL nicht gilt. Dieses Theorem für kostenloses Mittagessen basiert auf der Formalisierung des Konzepts der zufälligen Fitnessfunktionen mithilfe zufälliger Felder )
7. Jenseits von No Free Lunch: Realistische Algorithmen für beliebige Problemklassen (zeigt, dass "alle Verstöße gegen die Theoreme von No Free Lunch als nicht blockeinheitliche Verteilungen über Problemuntermengen ausgedrückt werden können, die cup sind ")
8. Schwarmbasierte metaheuristische Algorithmen und No-Free-Lunch-Theoreme ("[..t]): Ergebnisse für zeitlich geordnete Iterationen, die nicht wiederholt werden, gelten möglicherweise nicht für Fälle, in denen wiederholt wird, da die wiederholten Iterationen eine wichtige Annahme von brechen Pokal zum Nachweis der NFL-Theoreme erforderlich (Marshall und Hinton, 2010) ")
9. Kein kostenloses Mittagessen und algorithmische Zufälligkeit
10. No Free Lunch und Benchmarks (eine mengentheoretische Ansatz es Kriterien verallgemeinert nicht spezifisch Tasse , aber immer noch fest , dass (nicht-triviale) Algorithmen randomisierten können deterministische Algorithmen im Durchschnitt übertreffen, „[..] Es wurde gezeigt, dass Wahrscheinlichkeit ist unzureichend, um nicht eingeschränkte NFL- Ergebnisse im allgemeinen Fall zu bestätigen. [..] In diesem Artikel wird die Wahrscheinlichkeit aufgegeben, und es wird ein satztheoretischer Rahmen bevorzugt, der die messungstheoretischen Einschränkungen umgeht, indem auf die Wahrscheinlichkeit insgesamt verzichtet wird. ")

Zusammenfassung zu No-Free-Lunches (und Free-Lunches) von David H. Wolpert, Was kostet das Abendessen? ( Beachten Sie, dass NFL- Sätze aufgrund ihrer Beweisart niemals einen tatsächlichen " Preis " angeben. )

Spezifisch für die verallgemeinerte Optimierung (GO):

1. $X$$Z$$X$$Z$

2. $f: X \to Z$

3. $m$$f$

   $$d_m = \{d_m(1), d_m(2), ..., d_m(m)\}$$ $\forall t$ $$d_m(t) =\{d^X_m(t),d^Z_m(t)\}$$ $d^Z_m(t)$$f[d^X_m(t)]$

4. $a = \{d_t \to d^X_m(t) : t=0..m\}$

5. $C(f, d_m)$

6. $C(., .)$

$C$$f$$C$$f$$C$$(f, d_m)$$f = f^*$

Schließlich eine einfache (und eine nicht so einfache) Bemerkung, warum Randomisierung (in der einen oder anderen Form) gegenüber streng deterministischen Algorithmen eine überlegene Leistung liefern kann.

1. Im Rahmen der Optimierung (wenn auch nicht darauf beschränkt) kann ein randomisiertes Suchverfahren im Durchschnitt lokalen Extrema besser entkommen als einer deterministischen Suche und globale Extrema erreichen.
2. $2^A$$A$$A$$A$$A$

Das beste Beispiel ist der Bereich, der derzeit als die besten Kandidaten für OWFs betrachtet wird, in dem es den Anschein hat, dass jeder beliebte OWF, der überraschenderweise zubereitet wird, einen randomisierten subexponentiellen Algorithmus hat, während es keinen deterministischen subexponentiellen Algorithmus gibt (zum Beispiel Ganzzahlfaktorisierung). In der Tat gibt es in vielen Fällen wahrscheinlich einen effizienten Algorithmus, dem einige Ratschläge gegeben wurden (Kryptoanalyse).

Wenn Sie einen Algorithmus mit Randomisierung haben, können Sie ihn jederzeit durch einen deterministischen Algorithmus mit Pseudozufallszahlen ersetzen: Nehmen Sie die Beschreibung des Problems, berechnen Sie einen Hash-Code und verwenden Sie diesen Hash-Code als Ausgangswert für einen guten Pseudozufallszahlengenerator . In der Praxis ist dies wahrscheinlich, wenn jemand einen Algorithmus mithilfe der Randomisierung implementiert.

Wenn wir den Hash-Code weglassen, besteht der Unterschied zwischen diesem Algorithmus und einem Algorithmus mit echter Randomisierung darin, dass ich die Folge der generierten Zufallszahlen vorhersagen kann und ein Problem erzeugen kann, bei dem die auf mein Problem angewendete vorhergesagte Zufallszahl immer auftritt die schlimmste Entscheidung treffen. Zum Beispiel könnte ich für Quicksort mit einem Pseudozufalls-Pivot ein Eingabearray erstellen, in dem der Pseudozufalls-Pivot immer den größtmöglichen Wert im Array findet. Mit wahrer Zufälligkeit ist das nicht möglich.

Mit dem Hash-Code wäre es für mich sehr schwierig , ein Problem zu konstruieren, bei dem die Pseudozufallszahlen die schlechtesten Ergebnisse liefern. Ich kann die Zufallszahlen immer noch vorhersagen, aber wenn ich das Problem ändere, ändert sich die Reihenfolge der Pseudozufallszahlen vollständig. Dennoch wäre es für Sie nahezu unmöglich zu beweisen, dass ich ein solches Problem nicht konstruieren kann.