Wie analysiere ich einen randomisierten rekursiven Algorithmus?

Betrachten Sie den folgenden Algorithmus, wobei $c$ eine feste Konstante ist.

void partition(A[1..m], B[1..n])
{
   if m=1 or n=1
      return

   k = random(min(c,m,n));
   partition A into k sublists Asub[1..k] at k-1 distinct random indices
   partition B into k sublists Bsub[1..k] at k-1 distinct random indices

   for i = 1 to k
     for j = 1 to k
        partition(Asub[i], Bsub[j])

   Do something that takes O(n+m) time.
}

Was ist die erwartete Laufzeit dieses Algorithmus? Die Laufzeit scheint $O(mn)$ , aber ich kann den Beweis dafür nicht finden.

Wenn wir stattdessen die Eingabelisten in $k$ verschiedene Teile gleicher Länge aufteilen würden, hätten wir die Wiederholung $T(n,m) = k^2\,T(n/k,m/k) + O(n+m)$ mit Basisfall $T(1,n) = T(m,1) = O(1)$ ; es ist nicht schwer zu beweisen, dass $T(n,m) = O(mn)$ . Der Algorithmus partitioniert die Eingabe jedoch in einen Zufall zufällige Anzahl von Teilen mitGrößen. (Wie üblich ist "zufällig" die Abkürzung für "gleichmäßig zufällig".) Wie analysiert man einen solchen Algorithmus?

cc.complexity-theory ds.algorithms randomness randomized-algorithms recursive Saeed
quelle

Ihr Algorithmus namens Partition ist vom Typ

^{'} a

$'a$ Liste ->

Liste -> nichtig, aber es scheint mir, dass es in Ihrem letzten Aufruf des Algorithmus Typ hat

^{'} a

$'a$

^{'} a

$'a$

-> nichtig? Verstehe ich etwas falsch?

^{'} a

$'a$

Gopi

Die Frage ist schlecht geschrieben, aber darunter befindet sich eine echte Frage zur Analyse randomisierter Rezidive.

Suresh Venkat

Hauptbearbeitung. Hoffentlich habe ich den Sinn der Frage bewahrt.

Jeffs

@ Jɛ ﬀ E jetzt solltest du es beantworten :)

Suresh Venkat

Haben Sie sich das Chaudhuri-Dubhashi-Papier über probabilistische Rezidive angesehen (dies entwickelt Karps ursprüngliche Arbeit zu diesem Problem weiter): sciencedirect.com/science/article/pii/S0304397596002617

Suresh Venkat

Antworten:

Hier ist ein Beweis dafür, dass dieser Algorithmus in Zeit in Erwartung und mit hoher Wahrscheinlichkeit. $O(n\,m)$

Betrachten Sie zunächst den Algorithmus, der so modifiziert wurde, dass in statt zufällig in . $k$ $\{2,3,..,\min(c,n)\}$ $\{1,2,...,\min(c,n)\}$

Lemma 1. Für diesen modifizierten Algorithmus ist die Zeit unabhängig von der zufälligen Auswahl des Algorithmus immer . $O(n\,m)$

Beweis. Fixieren Sie einen Eingang und und fixieren Sie die zufälligen Auswahlmöglichkeiten des Algorithmus beliebig. Bei jedem (möglicherweise rekursiven) Aufruf von partition () entsprechen die beiden Argumente jeweils zwei Subarrays: einem Subarray von und einem Subarray von . Identifizieren Sie einen solchen Anruf mit dem Rechteck $A[1..n]$ $B[1..m]$ $A[i_1..i_2]$ $A$ $B[j_1..j_2]$ $B$ . Somit ist der Aufruf der obersten Ebene , und jeder rekursive Aufruf entspricht einem Unterrechteck innerhalb dieses Rechtecks. Diese Rechtecke bilden einen Baum, in dem das einem Anruf entsprechende Rechteck als Kinder die Rechtecke enthält, die den direkt von diesem Anruf getätigten Anrufen entsprechen. Jedes übergeordnete Rechteck wird durch seine untergeordneten Rechtecke unterteilt, die ein $[i_1-1,i_2] \times [j_1-1,j_2]$ $[0,n]\times[0,m]$ $n\times m$ $k\times k$ Gitter (von ungleichmäßigen Rechtecken) mit mindestens 2. Natürlich haben die Ecken jedes Rechtecks nur ganzzahlige Koordinaten. $k$

Die Laufzeit des Algorithmus ist durch eine Konstante multipliziert mit der Summe der Perimeter aller dieser Rechtecke über den Rechtecken begrenzt. (Dies liegt daran, dass die Zeit innerhalb jedes Aufrufs O (n + m) beträgt und der Umfang des entsprechenden Rechtecks beträgt .) $2(n+m)$

Ich behaupte, dass in jedem Satz von Rechtecken, wie oben beschrieben, die Summe der Perimeter höchstens beträgt . Wenn dies zutrifft, ist dies das Lemma. $12 n\,m$

Um die Behauptung zu beweisen, beachten Sie zunächst, dass der Umfang des Elternteils für jedes Elternrechteck höchstens das 2/3-fache des Gesamtumfangs der Kinder beträgt , da ist. (Der Umfang des Elternteils beträgt . Der Gesamtumfang der Kinder beträgt und ) $k \ge 2$ $2(n+m)$ $(1+k)(n+m)$ $k >= 2$

Daraus folgt , durch ein Standard - Lade Argument , dass der Gesamt perimiter aller Rechtecken höchstens - facht den perimiter von nur die Blattrechtecke. (Die Beobachtung impliziert , dass , wobei ist der Gesamtumfang der Nicht-Blatt - Rechtecke und ist der Gesamtumfang aller Rechtecken. Dies bedeutet $(1 + 2/3 + (2/3)^2 + \ldots ) = 3$ $P_N \le (2/3) P_T$ $P_N$ $P_T$ ist der Gesamtumfang der Blattrechtecke.) und $P_T \le 3(P_T-P_N)$ $P_T-P_N$

Beachten Sie als nächstes, dass die Blattrechtecke das ursprüngliche Rechteck unterteilen. Der maximal mögliche Umfang der Blätter wird erhalten, wenn die Blätter den Einheitsquadraten mit ganzzahligen Endpunkten entsprechen. In diesem Fall beträgt der Gesamtumfang der Blätter $n\times m$ . Somit beträgt die Summe der Perimeter höchstens $4\,n\,m$ , das heißt höchstens $3\cdot 4\,n\,m$ $12 n\,m$ .

Dies beweist Lemma 1.

Folgerung: Der ursprüngliche Algorithmus läuft in Zeit in Erwartung. $O(n\,m)$

Beweis. Wenn die Partition wählt , wird nur das Rechteck dupliziert. Da , beträgt die Wahrscheinlichkeit, dass ist, höchstens 1/2. Somit beträgt die erwartete Häufigkeit, mit der jedes Rechteck dupliziert wird, höchstens 1 (und die erwartete Anzahl von Kopien jedes Rechtecks beträgt höchstens 2). Somit ist für den ursprünglichen Algorithmus die erwartete Summe der Perimiter aller Rechtecke höchstens doppelt so groß wie die des modifizierten Algorithmus, dh höchstens $k=1$ $n>1$ $k=1$ . Genau wie bei der Analyse dieses Algorithmus ist die Laufzeit proportional zu dieser Summe, ebenso wie $24 n\,m$ . QED $O(n\,m)$

Logische Folge. Die Grenze gilt auch mit hoher Wahrscheinlichkeit (vorausgesetzt, sowohl als auch tendieren zur Unendlichkeit). $n$ $m$

Beweisskizze. Wenn jede zufällige Auswahl mit Ausnahme der Anzahl der Duplikate jedes Rechtecks festgelegt wird, ist die Zeit proportional zu wobei die Menge der erzeugten Rechtecke ist, die ist, mit der dupliziert wird (dh Zeiten, in denen für dieses Rechteck ist), und ist der Umfang von

\sum_{r \in R} (1 + X_{r}) | r |

$\sum_{r\in R} (1+X_r) |r|$

R

$R$

X_{r}

$X_r$

r

$r$

k = 1

$k=1$

| r |

$|r|$

r

$r$ .

Die Variablen sind unabhängig und jeweils ist , so dass nach einer Standard-Chernoff-Grenze die Wahrscheinlichkeit, dass die Summe das Doppelte ihrer Erwartung überschreitet, . (Genauer gesagt, nimm $\{X_r : r \in R\}$ $|r|$ $O(n+m) = o(n m)$ $o(1)$ , dann wende Chernoff auf die Summe der .) QED $Y_r = (1+X_r) |r|/2(n+m)$ $Y_{r}$

Nebenbei: Wenn der Algorithmus zufällig bis zu wählen würde $k$ anstelle vonund dann in jedem Aufruf arbeiten würde (anstelle von ) würde die Gesamtzeiterwartungsgemäßimmer noch betragen. $\min(n,m)$ $\min(c,n)$ $O(m n)$ $O(m+n)$ $O(mn)$

Beweis.Beachten Sie zunächst, dass die Gesamtzeit proportional zur Summe der Flächen aller Rechtecke wäre. Diese Summe entspricht der Summe der Anzahl der Rechtecke, in denen vorkommt , über die ganzzahligen Koordinaten . Dies ist in Erwartung, weil in Erwartung jedes gegebene im ursprünglichen Rechteck tritt in Rechtecken auf. $(i,j)$ $(i,j)$ $O(nm)$ $(i,j)$ $O(1)$

Um dies zu sehen, nehmen wir an, dass in einem Rechteck , und betrachten Sie den Aufruf zur Partitionierung auf . Sei . Unter dieser Bedingung ist $(i,j)$ $r$ $r$ . Sei das Rechteck, das das Kind (mit ) von . MitWahrscheinlichkeit von mindestens , mindestens so gewählt $q(r) = \min(n_r,m_r)$ $r'$ $(i,j)$ $r$ $1/3$ $k$ $(2/3)q(r)$ , also mitkonstanten Wahrscheinlichkeit ist höchstens 1. Wenn das passiert, dann ist ein Blatt (keine Kinder). Daraus folgt, dass die erwartete Anzahl von Rechtecken, in denen sich befindet, . QED $E[q(r')] \le 3/2$ $q(r')$ $r'$ $(i,j)$ $O(1)$

(Ob die -Bindung mit hoher Wahrscheinlichkeit gelten würde, ist eine interessante Frage. Ich denke, das würde es. Sicherlich würde whp halten.) $O(nm)$ $O(nm\log(nm))$

Neal Young
quelle

Vielen Dank, das ist wirklich eine interessante und clevere Idee. Nur als Randnotiz können wir Ihre Idee zum Partitionieren von d-dimensionalen Arrays verwenden. Genau in dem Teil, von dem Sie sagten, dass Kinder ein

Gitter erstellen, teilen sie die Eltern tatsächlich in ein

K \times K

$K\times K$

-Teile von Rechtecken, nicht notwendige Teile gleicher Größe, sodass sie kein Raster erstellen, aber Ihr

Argument gilt immer noch für den Umfang von Eltern über insgesamt Kinder. Ich konnte auch nicht verstehen, wie wir

durch

als zusätzliche Kosten für jeden Laufersetzen, trotzdem haben wir

K^{2}

$K^2$

2 / 3

$2/3$

O (m + n)

$O(m+n)$

O (m n)

$O(mn)$

Gesamtlaufzeit. Nochmals vielen Dank für die sehr clevere Idee.

O (m n)

$O(mn)$

Saeed

Bitte! Ich werde den Beweis bearbeiten, um die Punkte zu klären, die Sie ansprechen.

Neal Young

Schöne Klarstellung und gute Frage am Ende, vielen Dank.

Saeed

Der typische Ansatz besteht darin, den erwarteten Wert der Laufzeiten des Algorithmus zu analysieren. In diesem Fall ist der erwartete Wert der Laufzeit bei jedem Problem mit , ist so etwas wie mal die erwartete Laufzeit der Subprobleme partition [ ]. Für jedes die Größe des Teilproblems eine Zufallsvariable. $m,n$ $k^2$ $A_i,B_j$ $i,j$

Die Länge der Liste ist die Differenz zwischen der ten und der ten Ordnungsstatistik, wenn Elemente aus . Dies ist im Wesentlichen (dh ist mal ein Zug aus einer Zufallsvariablen). Daher haben wir $A_i$ $i$ $i+1$ $k$ $\{1, ..., m \}$ $m \beta(k,m+k+1)$ $m$ $\beta(1,m+k+1)$

T [m, n | k]] = C. (m + n) + k^{2} \int_{x, y} T. (m x, n y) \frac{x^{k - - 1} y^{k - - 1} (1 - - x)^{m + k - - 1} (1 - - y)^{n + k - - 1}}{β (k, n + k + 1) β (k, m + k + 1)} d x d y

$T[m,n | k] = C (m + n) + k^2 \int_{x,y} T(m x, n y) \frac{x^{k-1} y^{k-1} (1-x)^{m+k-1} (1-y)^{n+k-1}}{\beta(k,n+k+1) \beta(k,m+k+1)} dx dy$

Hier gibt es einen Rundungsfehler, da wir wirklich im Integranden haben sollten. $T(\lceil mx \rceil, \lceil ny \rceil)$

Leider ist eine Zufallsvariable, daher muss man auch darüber integrieren. Ich glaube nicht, dass es sinnvoll ist, , als ob Sie die Daten einfach in Unterlisten aufteilen würden, die möglicherweise leer sind. Sagen wir also, wird gleichmäßig zufällig aus . Dann erhalten Sie $k$ $k \leq n$ $k \geq n$ $k$ $1,\dots, c$

T [m, n] = C (m + n) + \sum_{k = 1}^{c} \frac{k^{2}}{c} \int_{x, y} T (m x, n y) \frac{x^{k - 1} y^{k - 1} (1 - x)^{m + k - 1} (1 - y)^{n + k - 1}}{β (k, n + k + 1) β (k, m + k + 1)} d x d y

$T[m,n] = C (m + n) + \sum_{k=1}^c \frac{k^2}{c} \int_{x,y} T(m x, n y) \frac{x^{k-1} y^{k-1} (1-x)^{m+k-1} (1-y)^{n+k-1}}{\beta(k,n+k+1) \beta(k,m+k+1)} dx dy$

Diese Wiederholung ist ziemlich schrecklich, aber wenn Sie eine Vermutung für eine Grenze für (ich nehme an, $T[m,n]$ ), können Sie Stecken Sie es ein und überprüfen Sie es. $T(m,n) = O( (\log m + \log n) (m+n) )$

David Harris
quelle