In der Informatik müssen wir häufig wiederkehrende Beziehungen lösen, dh eine geschlossene Form für eine rekursiv definierte Folge von Zahlen finden. Bei der Betrachtung von Laufzeiten interessiert uns oft vor allem das asymptotische Wachstum der Sequenz .

Beispiele sind

1. Die Laufzeit einer schwanzrekursiven Funktion, die von deren Körper Zeit auf abwärts geht :$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. Die Fibonacci-Sequenz :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. Die Anzahl der Dyck-Wörter mit Klammerpaaren:$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. Die Wiederholung der Mergesort-Laufzeit auf Listen der Länge :$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

Was sind Methoden, um Wiederholungsrelationen zu lösen? Wir suchen

• allgemeine Methoden und
• Methoden für eine signifikante Unterklasse

ebenso gut wie

• Methoden, die präzise Lösungen ergeben und
• Methoden, die asymptotisches Wachstum ermöglichen.

^{Dies soll eine Referenzfrage werden. Bitte senden Sie eine Antwort pro Methode und geben Sie eine allgemeine Beschreibung sowie ein veranschaulichendes Beispiel an.}

Konvertieren des vollständigen Verlaufs in einen eingeschränkten Verlauf

Dies ist ein erster Schritt beim Lösen von Wiederholungen, bei denen der Wert einer Ganzzahl von den Werten aller kleineren Ganzzahlen abhängt . Man betrachte zum Beispiel die Wiederholung die auftritt bei der Analyse von randomisierten Quicksort . (Hier ist der Rang des zufällig gewählten Pivots.) Für jede ganze Zahl hängt der Wert von von allen mit . Wiederholungen dieser Form werden als vollständige Verlaufswiederholungen bezeichnet .knT(n)T(k)k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Um diese Wiederholung zu lösen, können wir sie in eine begrenzte Wiederholung im Verlauf umwandeln , wobei nur von einer konstanten Anzahl vorheriger Werte abhängt. Aber zuerst hilft es, die Wiederholung ein wenig zu vereinfachen, gemeinsame Begriffe zu sammeln und lästige Brüche zu eliminieren. Nun erfolgt die Konvertierung in eine Wiederholung mit begrenztem Verlauf , schreiben wir die Wiederholung für , subtrahieren und regather Begriffe: n T ( n $T(n)$ T(n-1) ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Wenn wir nun und den Bruch durch die einfachere asymptotische Form ersetzen erhalten wir die viel einfachere Wiederholung Das Erweitern dieser Wiederholung zu einer Summation ergibt sofort , wobei die te Harmonische ist . Wir schließen daraus, dass .2 n - $t(n) = T(n)/(n+1)$ ≤(1/n)t(n)=≤(1/n)+t(n-1). t(n)=Θ(Hn)=Θ(logn)Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Funktionen$\newcommand{\nats}{\mathbb{N}}$

Jede Zahlenreihe entspricht einer Erzeugungsfunktion . Oft ist es bequem möglich, aus einer Wiederholung die Koeffizienten - die Elemente der Reihe - zu bestimmen.

Diese Antwort enthält den allgemeinen Anhang mit einem vollständigen Beispiel, eine Abkürzung für einen Sonderfall und einige Hinweise zur Verwendung dieser Methode, um Asymptoten zu erhalten (auch wenn das genaue Ergebnis nicht erhalten werden kann).

Die Methode

Sei eine Reihe von Zahlen. Dann die formale Potenzreihe$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

ist die gewöhnliche Erzeugungsfunktion ¹ von . Die Koeffizienten in der Reihenentwicklung von gleich der Folge, dh . Zum Beispiel kann die gewöhnliche erzeugende Funktion der berühmten katalanischen Zahlen ist A ( z ) [ z n ] A ( z ) = ein n C $(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

Die Definition von ist auch unser Ansatz zur Lösung einer Wiederholung. Dies funktioniert am besten für lineare Wiederholungen. Nehmen Sie der Einfachheit halber eine Wiederholung der Form an$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

für einige feste und eine von allen unabhängige Funktion . Jetzt fügen wir einfach beide Anker und den rekursiven Teil in den Satz ein, das heißt f ( n ) : N → N a $b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

Unter Verwendung der Mechanik der Summenmanipulation, der Eigenschaften formaler Potenzreihen und bekannter Identitäten ² muss die letzte rechte Seite in geschlossene Formen gebracht werden, typischerweise in Form von . Die resultierende Gleichung kann (oft) nach gelöst werden . Die Reihenausweitung des Ergebnisses (die leicht zu erhalten, bekannt oder auf andere Weise zugänglich sein kann) ist im Wesentlichen die Lösung.A ( z $A(z)$$A(z)$

Gute Einführungen finden sich in Wilfs Buch [3] und in GKP [4]. Fortgeschrittenes Material wurde von Flajolet und Sedgewick gesammelt [5].

Beispiel

Erwägen

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Wir berechnen:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Das löst sich auf

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Jetzt können wir endlich ablesen

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Sobald Sie sich daran gewöhnt haben , bemerken Sie, dass dies alles ziemlich mechanisch ist. In der Tat kann die Computeralgebra all diese Dinge in vielen Fällen für Sie erledigen. Das Gute ist, dass es (mehr oder weniger) dieser Mechaniker bleibt, auch wenn die Wiederholung komplexer ist. Sehen Sie hier ein komplizierteres, weniger mechanisches Beispiel.

Beachten Sie auch, dass die allgemeinen Techniken auch funktionieren, wenn die gesuchten Objekte komplexe Zahlen oder sogar Polynome sind.

Eine Abkuerzung

Für lineare und homogene Rezidive, also solche der Form

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

Dies geschieht jedes Mal auf die gleiche Weise. Wenn wir die obige Berechnung symbolisch durchführen, finden wir das folgende Lemma . Lassen

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

sei das charakteristische Polynom (der Wiederholung). Es sei weiterhin die (paarweise getrennten) Nullen des Polynoms mit der Multiplizität . Dann ist der gewünschte Koeffizient gegeben durchr $\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

mit unbekanntem . Da das charakteristische Polynom den Grad , gibt es genau (komplexe) Nullen, dh die Summe zu . Daher können die fehlenden Koeffizienten durch Lösen des linearen Gleichungssystems mit Gleichungen bestimmt werden, die durch Gleichsetzen der obigen Formel mit einem beliebigen des (z. B. der Anker) erhalten werden. k k r i k k k a $b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

Asymptotika

Zu einem geschlossenen Formular für ist normalerweise der einfache Teil. Es wird jedoch schnell schwierig, es in der Erzeugung von Funktionen auszudrücken, von denen wir die Koeffizienten kennen (wie wir es im Beispiel getan haben). Beispiele sind von oben und das für die Anzahl der in der Frage erwähnten Dyck-Wörter.C ( z $A(z)$$C(z)$

Man kann komplexe Analysemaschinen einsetzen, insbesondere die Singularitätsanalyse, um Asymptoten für die Koeffizienten zu erhalten; Schlagworte sind die Darboux-Methode und die Sattelpunktmethode. Diese basieren auf dem Residuensatz und der Cauchyschen Integralformel . Siehe [6] für Details.

---

1. Ähnliches können Sie mit Exponential- , Dirichlet- und einigen anderen Erzeugungsfunktionen tun . Was am besten funktioniert, hängt von der jeweiligen Reihenfolge ab und insbesondere davon, ob Sie die erforderlichen geschlossenen Formulare finden.
2. Zum Beispiel aus dem TCS Cheat Sheet oder [3].
3. generatedfunctionology von H. Wilf (1994, 2. Aufl.) - steht zum kostenlosen Download zur Verfügung
4. Konkrete Mathematik von RL Graham, DE Knuth und O. Patashnik (1994, 2. Aufl.)
5. Einführung in die Analyse von Algorithmen von R. Sedgewick und P. Flajolet (2. Auflage, 2013) - zum kostenlosen Download
6. Analytic Combinatorics von P. Flajolet und R. Sedgewick (2009) - zum kostenlosen Download verfügbar

Hauptsatz

Das Master-Theorem gibt Asymptotik für die Lösungen sogenannter Divide & Conquer- Wiederholungen an, dh für die Aufteilung ihrer Parameter in proportionale Teile (anstatt Konstanten wegzuschneiden). Sie treten normalerweise bei der Analyse von (rekursiven) Divisions- und Eroberungsalgorithmen auf, daher der Name. Das Theorem ist beliebt, weil es oft unglaublich einfach anzuwenden ist. Andererseits kann es nur auf Wiederholungen der folgenden Form angewendet werden:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

mit . Es gibt drei Fälle$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   für einige ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   für einige ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   für einige und$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   für einige und .n → $c < 1$$n \to \infty$

die die Asymptoten implizieren

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ und
3. $T \in \Theta \left(f \right)$ ,

beziehungsweise. Beachten Sie, dass die Basisfälle hier nicht angegeben oder verwendet werden. das ist sinnvoll, wenn man bedenkt, dass wir nur asymptotisches Verhalten untersuchen. Wir nehmen stillschweigend an, dass es sich um einige Konstanten handelt (was können sie sonst sein ? Welche Konstanten wir nicht sehen, ist irrelevant. Sie verschwinden alle im .$\Theta$

Beispiele

1. Betrachten Sie die Wiederholung

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   Mit und - beachten Sie, dass gilt, wenn . Daher ist .b = 3 log b a ≈ 1,26 ε = 0,25 T ∈ Θ ( n log 3 4 ) = Θ ( n 1.261 ...$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Betrachten Sie die Wiederholung

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   Mit und - beachten Sie, dass gilt, wenn . Daher ist .b = 2 log b a = 1 k = 0 T ∈ & THgr; ( n log n $f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Betrachten Sie die Wiederholung

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   Mit und - beachten Sie, dass Wir sehen, dass Fall drei mit und . Daher ist .b = 4 log b a ≈ 0,79 ε = 0,2 c = 1 T ∈ & THgr; ( n $f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Betrachten Sie die Wiederholung

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Hier haben wir , und- Viele Standardbeispiele haben das Polynom , dies ist jedoch keine Regel. Wir haben und Fall drei gilt wieder. In diesem Fall können wir jedoch ein beliebiges und als wählen für alle . Daher .b = 4 f ( n ) = n ! f log b a = 2 ε c > 0 n ! & Egr ; & OHgr; ( n k ) k T & egr ; & THgr; ( n ! $a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

Weitere Lektüre

• Es ist gut möglich, dass keiner der Fälle des Hauptsatzes zutrifft. Beispielsweise haben die Teilprobleme möglicherweise nicht die gleiche Größe oder eine komplexere Form. Es gibt einige Erweiterungen des Master-Theorems, zum Beispiel Akra-Bazzi [1] oder Roura [2]. Es gibt sogar eine Version, die für diskrete Wiederholungen funktioniert (dh Böden und Decken werden für die rekursiven Parameter verwendet) und schärfere Ergebnisse liefert [3].

• Normalerweise müssen Sie die tatsächliche Wiederholungsbeziehung, die Sie haben, in Form bringen, bevor Sie den Hauptsatz anwenden können. Gängige Transformationen, die Asymptotika bewahren, umfassen das Fallenlassen von Böden und Decken sowie die Annahme von . Achten Sie darauf, dass Sie hier nichts kaputt machen. Einzelheiten finden Sie in [4] Abschnitt 4.6 und in dieser Frage.$n=b^k$

---

1. Zur Lösung linearer Rekursionsgleichungen von M. Akra und L. Bazzi (1998)
2. Ein verbesserter Hauptsatz für Divide-and-Conquer-Wiederholungen von S. Roura (1997)
   ^{Verweist auf andere verbesserte Hauptsätze.}
3. Ein Master-Theorem für diskrete Divisions- und Eroberungsrezidive von M. Drmota und W. Szpankowski (2011)
4. Einführung in Algorithmen von Cormen et al. (2009, 3. Auflage)

Rate & beweise

Oder wie ich es gerne nenne, die " Technik". Es kann auf alle Arten von Identitäten angewendet werden. Die Idee ist einfach:$\dots$

Errate die Lösung und beweise ihre Richtigkeit.

Dies ist eine beliebte Methode, wohl weil es normalerweise etwas Kreativität und / oder Erfahrung erfordert (gut zum Vorführen), aber wenig Mechanik (sieht elegant aus). Die Kunst hier besteht darin, gute, fundierte Vermutungen anzustellen. der Beweis ist (in unserem Fall) in der Regel eine mehr oder weniger einfache Induktion.

Bei der Anwendung auf Wiederholungen erfolgt das "Erraten" normalerweise durch

• Erweiterung um die Wiederholung ein paar Mal,
• den Anker herausfinden und
• Erraten Sie das Muster für die Zwischenstufe (die ).$\dots$

Einfaches Beispiel

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

Lassen Sie uns die Definition von ein paar Mal erweitern:$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Hier ist das Muster leicht zu erkennen und führt uns zum Claim:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Nun beweisen wir die Identität durch Induktion. Für können wir die Richtigkeit durch Einstecken des jeweiligen Wertes feststellen. Unter der Annahme, dass die Identität für alle für ein beliebiges, aber festes , berechnen wirn ' ≤ n n ≥ $n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

das beweist die Identität durch die Kraft der Induktion.

Wenn Sie versuchen , diese beteiligen Rezidive auf , mehr zu verwenden, stoßen Sie schnell den vorrangigen Nachteil dieser Methode: Es kann schwierig sein , zu sehen , das Muster, oder es zu einer schönen geschlossenen Form kondensiert.

Asymptotika

Diese Methode kann auch bei Asymptoten angewendet werden. Beachten Sie jedoch , dass Sie die Konstanten für die Landau-Symbole erraten müssen, da es eine Konstante geben muss, die die Schranke für alle festlegt , dh der Konstantenfaktor kann sich während der Induktion nicht ändern.$n$

Betrachten Sie zum Beispiel die Mergesort-Laufzeitwiederholung, vereinfacht für den Fall von ¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

Wir vermuten, dass mit der Konstante , das ist . Wir beweisen dies durch Induktion über ; die induktive stufe sieht so aus:c = 1 T ( n ) ≤ n log n $T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Bei nicht abnehmenden Sequenzen von Naturtönen hat jede unendliche Untersequenz das gleiche asymptotische Wachstum wie die ursprüngliche Sequenz.

Die Akra-Bazzi-Methode

Die Akra-Bazzi-Methode liefert Asymptoten für Wiederholungen der Form: Dies umfasst die üblichen Divide-and-Conquer-Wiederholungen, aber auch Fälle, in denen die Division ungleich ist. Die "Fudge-Terme" können beispielsweise Divisionen berücksichtigen, die nicht exakt herauskommen. Die Bedingungen für die Anwendbarkeit sind: h i ( x

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Es gibt genügend Basisfälle, um die Wiederholung in Gang zu bringen
• Die und sind alle Konstantenb $a_i$$b_i$
• Für alle ista i > $i$$a_i > 0$
• Für alle ist0 < b i < $i$$0 < b_i < 1$
• c x → $\lvert g(x) \rvert = O(x^c)$ für eine Konstante als$c$$x \rightarrow \infty$
• Für alle gilt| h i ( x ) | = O ( x / ( log x ) 2$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ ist eine Konstante

Beachten Sie, dass und als Sägezahnfunktion immer zwischen 0 und 1 liegt und (oder je nach ) erfüllt die Bedingungen für .{ u } = u - ⌊ u ⌋ ⌊ b i x ⌋ ⌈ b i x ⌉ h $\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Finde so, dass: Dann ist das asymptotische Verhalten von als gegeben durch: mit "groß genug", dh es gibt so dass für alle .Σ 1 ≤ i ≤ k ein i b p i = 1 T ( x ) x → ∞ T ( x ) = Θ ( x p ( 1 + ∫ x x 1 g ( u $p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$x1k1>0g(x/2)≥k1g(x)x>x $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Beispiel A

Nehmen Sie als Beispiel die Rekursion für , wobei : Die Bedingungen sind erfüllt, wir brauchen : Wie es der Zufall wollte, ist . Wir haben also: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

da mit wir für alle erfüllen . Da das Integral konvergiert, auch wenn wir andere Konstanten wie als Untergrenze verwenden, ist es zulässig, diese ebenfalls zu verwenden. der Unterschied verschwindet in .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Beispiel B

Ein anderes Beispiel ist das folgende für : Wir haben überprüfen. Wir haben, dass es eine einzelne , , die auscheckt. Angenommen, das ist wirklich und / oder , dann auch das implizierte aus. Wir brauchen also: Also und: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Wir wenden einen ähnlichen Trick wie oben an die untere Grenze des Integrals, nur dass wir weil das Integral nicht für konvergiert .$2$$1$

(Die Hilfe von Maxima mit der Algebra wird dankbar gewürdigt)

Summationen

Oft stößt man auf eine Wiederholung der Form wobei monoton ist. In diesem Fall können wir und so einen Startwert vorgeben, um zu schätzen wir die Summe schätzen .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

Nicht abnehmendes$f(n)$

Wenn monoton ist und nicht abnimmt, haben wir die offensichtlichen Grenzen Diese Schranken sind in dem Sinne bestmöglich, dass sie für einige Funktionen eng sind: die obere Schranke für konstante Funktionen und die untere Schranke für Stufenfunktionen ( für und für ). In vielen Fällen sind diese Schätzungen jedoch nicht sehr hilfreich. Wenn zum Beispiel , ist die untere Grenze und die obere Grenze ist , so dass sie ziemlich weit voneinander entfernt sind.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

Integration

Eine bessere Schätzung ergibt sich durch Integration: Für ergibt dies den korrekten Wert der Summe zu Begriffen niedrigerer Ordnung: Wenn , können wir die Summe explizit berechnen, aber in vielen Fällen ist eine explizite Berechnung schwierig. Zum Beispiel, wenn die Stammfunktion von ist , und so

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

Die Euler-Maclaurin-Formel liefert bessere Schätzungen. Diese Formel kann zum Beispiel verwendet werden, um starke Formen der Stirlingschen Formel zu beweisen, indem die Summe .$\log n! = \sum_{m=1}^n \log m$

Nicht zunehmendes$f(n)$

In einigen Fällen ist monoton und nimmt nicht zu. Die trivialen Schätzungen werden zu und die integralen Schätzungen Als Beispiel erhalten wir für unter Verwendung von$f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick und Flajolet haben umfangreiche Arbeiten in der analytischen Kombinatorik durchgeführt , mit deren Hilfe Rezidive mithilfe einer Kombination aus generierenden Funktionen und komplexer Analyse asymptotisch gelöst werden können. Ihre Arbeit ermöglicht die automatische Lösung vieler Wiederholungen und wurde in einigen Computeralgebrasystemen implementiert.

Dieses Lehrbuch zu diesem Thema wurde von Flajolet und Sedgewick verfasst und ist eine hervorragende Referenz. Eine etwas einfachere Darstellung, die sich an Anwendungen zur Algorithmusanalyse orientiert, ist dieser Text von Sedgewick und Flajolet.

Hoffe das hilft!

Es kann vorkommen, dass Sie auf eine seltsame Wiederholung wie diese stoßen: Wenn Sie wie ich sind, werden Sie feststellen, dass Sie den Hauptsatz nicht anwenden können und dann denken Sie vielleicht: " hmmm ... vielleicht könnte eine wiederkehrende Baumanalyse funktionieren. " Dann merkt man, dass der Baum sehr schnell brutto wird. Nach einigem Suchen im Internet sehen Sie, dass die Akra-Bazzi-Methode funktioniert! Dann fängst du tatsächlich an, dich damit zu befassen und realisierst, dass du nicht wirklich die ganze Mathematik machen willst. Wenn Sie bis jetzt so wie ich waren, werden Sie gespannt sein, dass es einen einfacheren Weg gibt.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

The Uneven Split Theorem Teil 1

Sei und positive Konstanten.$c$$k$

Dann sei eine positive Konstante, so dass .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

Wir müssen auch eine Wiederholung der Form haben (wie in unserem obigen Beispiel):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Anspruch

Dann behaupte ich wobei eine Konstante ist (zB asymptotisch linear) und:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Beweis durch Induktion

Basis :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Induktion : Nehmen Sie an, dass für jedes , das wir haben, wahr ist$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Dann haben wir .$T(n) \leq bn \implies T(n) = O(n)$

Beispiel

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Wir überprüfen zuerst die Koeffizienten in der Summe der rekursiven Aufrufe auf weniger als eins: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Als nächstes verifizieren wir, dass der Basisfall kleiner als das Maximum der Inversen der Koeffizienten ist:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

Wenn diese Bedingungen erfüllt sind, kennen wir wobei eine Konstante ist, die gleich: Deshalb haben wir: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

The Uneven Split Theorem Teil 2

Ebenso können wir eine Schranke beweisen, wenn . Der Proof folgt weitgehend demselben Format:$\sum_1^k = 1$

Lassen und seine positive Konstanten , so dass .$c$$k$$k > 1$

Dann sei eine positive Konstante mit .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

Wir müssen auch eine Wiederholung der Form haben (wie in unserem obigen Beispiel):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Anspruch

Dann behaupte ich (wir wählen base weil der Verzweigungsfaktor des Rekursionsbaums ist), wobei und Konstanten sind (z. B. asymptotisch linearithmisch) ) so dass:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ und $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Beweis durch Induktion

Basis :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Induktion : Nehmen Sie an, dass für jedes , das wir haben, wahr ist$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Dann haben wir .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

Beispiel

Lassen Sie uns das vorherige Beispiel ändern, das wir nur für ein winziges Bit verwendet haben:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Wir überprüfen zunächst die Koeffizienten innerhalb der rekursiven Aufrufe auf eins:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Als nächstes verifizieren wir, dass der Basisfall kleiner als das Maximum der Inversen der Koeffizienten ist:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

Wenn diese Bedingungen erfüllt sind, wissen wir, dass wobei und eine Konstante ist, die gleich: Deshalb haben wir: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

Nachdem ich diesen Beitrag noch einmal überprüft habe, bin ich überrascht, dass er hier noch nicht aktiviert ist.

Domänenumwandlung / Änderung von Variablen

Bei Wiederholungen ist es manchmal hilfreich, die Domain zu ändern, wenn nicht klar ist, wie tief der Rekursionsstapel reichen wird.

Nehmen Sie zum Beispiel die folgende Wiederholung:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

Wie könnten wir das jemals lösen? Wir könnten die Serie ausweiten, aber ich verspreche, dass dies sehr schnell schlimm wird. Betrachten wir stattdessen, wie sich unsere Eingabe bei jedem Aufruf ändert.

Wir haben zuerst:

1. $n$ dann
2. $2^{2^{\sqrt{\log \log n}}}$ , dann
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ usw.

Das Ziel einer Domänenumwandlung besteht nun darin, unsere Wiederholung in ein äquivalentes zu ändern, sodass wir anstelle der obigen Übergänge einfach .$S(k)$$k, k-1, k-2, \ldots$

Wenn wir beispielsweise , erhalten wir für die obige Wiederholung Folgendes: Dann können wir es einfach umschreiben als: Dann müssen Sie nur noch zurück in konvertieren, um zu erhalten: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

Mit diesem Beispiel können wir jetzt unser Ziel sehen.

Angenommen, Für eine Konstante und Funktionen und .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Wir versuchen nun, eine Funktion und so dass $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

Im Allgemeinen wollen wir wobei die wiederholte Anwendung von auf , mal ist. (zB ). Dadurch kann als "iterierende" Funktion fungieren. Wo in der Tiefe der Rekursion die geleistete Arbeit einfach .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Dann können wir dies leicht in umwandeln, so dass Dann müssen wir uns nur darum kümmern Summieren von für alle bis zu einem gegebenen Basisfall. Das heißt, $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Wenn wir für eine geschlossene Form Funktion bestimmen können, können wir als bestimmen.$S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Dann verwenden wir dies, um eine Bindung an über eine der anderen oben genannten Methoden zu erhalten. Sie könnten diese Methode natürlich ein wenig an Ihre Spezifikation anpassen, aber im Allgemeinen versuchen Sie, eine iterierende Funktion zu finden, um in eine einfache Rekursion zu verwandeln .$T(n)$$g(k)$$T(n)$

Ich kenne noch keinen genauen Weg, um zu bestimmen , aber ich werde weiter darüber nachdenken und aktualisieren, wenn es klarer wird (oder wenn ein Kommentator einige Tipps hat!). Ich habe meine -Funktionen in der Vergangenheit meistens durch Ausprobieren gefunden (siehe hier , hier , hier und hier für Beispiele).$g(k)$$g(k)$

Es gibt noch einen Ansatz für einfache Wiederholungsbeziehungen: Bitten Sie Wolfram Alpha , die Wiederholung für Sie zu lösen.

Versuchen Sie beispielsweise, f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)Wolfram Alpha einzugeben. Sie erhalten eine Lösung mit einem Link zu den Fibonacci-Zahlen. Oder versuchen Sie f(1)=1, f(n)=f(n-1)+noder f(1)=1, f(n)=2*f(n-1)+3*noder f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3für andere Beispiele. Seien Sie jedoch gewarnt: Wolfram Alpha kann einige sehr einfache Wiederholungen lösen, fällt jedoch für komplexere auseinander.

Dieser Ansatz vermeidet die Notwendigkeit von Überlegungen, die entweder als Fehler oder als Merkmal angesehen werden können.

Fall 2 des Hauptsatzes behandelt, wie gewöhnlich angegeben, nur Wiederholungen der Form in der für . Der folgende Satz, entnommen aus einem Handout von Jeffrey Leon, gibt die Antwort für negatives :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Betrachten Sie die Wiederholung mit einem geeigneten Basisfall.$T(n) = a T(n/b) + f(n)$

1. Wenn für dann ist .$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Wenn für dann ist .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Wenn für dann ist ).$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

Der Beweis verwendet die Methode der wiederholten Substitution, wie wir jetzt skizzieren. Angenommen, und . Dann gilt für eine Potenz von , Betrachten wir nun die Fälle nacheinander. Wenn , konvergiert die Reihe , und so ist . Wenn , ist die Summe die harmonische Summe und so$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Wenn , können wir die Summe mit einem Integral approximieren: und so ist .$c > 0$T(n)=Θ(nlogbalogcn $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$