Sortierfunktionen nach asymptotischem Wachstum

Angenommen, ich habe zum Beispiel eine Liste von Funktionen

$\qquad n^{\log \log(n)}, 2^n, n!, n^3, n \ln n, \dots$

Wie sortiere ich sie asymptotisch, dh nach der durch definierten Beziehung?

$\qquad f \leq_O g \iff f \in O(g)$ ,

unter der Annahme, dass sie tatsächlich paarweise vergleichbar sind (siehe auch hier )? Die Definition von erscheint umständlich und es ist oft schwierig, die Existenz geeigneter Konstanten und zu beweisen .$O$$c$$n_0$

Da es sich um Maßeinheiten für die Komplexität handelt, sind wir an asymptotischem Verhalten wie interessiert , und wir gehen davon aus, dass alle Funktionen nur nicht negative Werte annehmen ( ).$n \to +\infty$$\forall n, f(n) \ge 0$

Wenn Sie strenge Beweise wollen, ist das folgende Lemma oft nützlich bzw. hilfreich. handlicher als die Definitionen.

$c = \lim_{n\to\infty} \frac{f(n)}{g(n)}$

• $c=0 \qquad \ \,\iff f \in o(g)$ ,
• $c \in (0,\infty) \iff f \in \Theta(g)$ und
• $c=\infty \quad \ \ \ \iff f \in \omega(g)$ .

Damit sollten Sie in der Lage sein, die meisten Funktionen der Algorithmusanalyse zu ordnen¹. Als Übung beweisen Sie es!

Natürlich muss man die Limits entsprechend berechnen können. Einige nützliche Tricks, um komplizierte Funktionen in grundlegende zu zerlegen, sind:

• Drücken Sie beide Funktionen als und vergleichen Sie die Exponenten. Wenn ihr Verhältnis zu oder tendiert , tut dies auch der ursprüngliche Quotient.$e^{\dots}$$0$$\infty$

• Allgemeiner: Wenn Sie eine konvexe, stetig differenzierbare und streng zunehmende Funktion so dass Sie Ihren Quotienten als umschreiben können$h$

  $\qquad \displaystyle \frac{f(n)}{g(n)} = \frac{h(f^*(n))}{h(g^*(n))}$ ,

  mit und$g^* \in \Omega(1)$

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f^*(n)}{g^*(n)} = \infty$ ,

  dann

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f(n)}{g(n)} = \infty$ .

  ^{Sehen Sie hier für einen strengen Beweis dieser Regel (in deutscher Sprache).}

• Betrachten Sie die Fortsetzung Ihrer Funktionen über den Real. Sie können jetzt die L'Hôpital-Regel anwenden. Achten Sie auf die Bedingungen²!

• Schauen Sie sich das diskrete Äquivalent Stolz – Cesàro an .

• Wenn Fakultäten auftauchen, verwenden Sie die Stirling-Formel :

  $\qquad \displaystyle n! \sim \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n$

Es ist auch nützlich, einen Pool grundlegender Beziehungen zu führen, die Sie einmal nachweisen und häufig verwenden, wie z.

• Logarithmen wachsen langsamer als Polynome, dh

  $\qquad\displaystyle (\log n)^\alpha \in o(n^\beta)$ für alle .$\alpha, \beta > 0$

• Reihenfolge der Polynome:

  $\qquad\displaystyle n^\alpha \in o(n^\beta)$ für alle .$\alpha < \beta$

• Polynome wachsen langsamer als Exponentiale:

  $\qquad\displaystyle n^\alpha \in o(c^n)$ für alle und .$\alpha$$c > 1$

---

Es kann vorkommen, dass das obige Lemma nicht anwendbar ist, da das Limit nicht existiert (z. B. wenn Funktionen oszillieren). Betrachten Sie in diesem Fall die folgende Charakterisierung der Landau-Klassen mit Limes superior / inferior :

Mit wir$c_s := \limsup_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 \leq c_s < \infty \iff f \in O(g)$ und
• $c_s = 0 \iff f \in o(g)$ .

Mit wir$c_i := \liminf_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 < c_i \leq \infty \iff f \in \Omega(g)$ und
• $c_i = \infty \iff f \in \omega(g)$ .

Außerdem,

• $0 < c_i,c_s < \infty \iff f \in \Theta(g) \iff g \in \Theta(f)$ und
• $c_i = c_s = 1 \iff f \sim g$ .

---

Überprüfen Sie hier und hier, ob Sie durch meine Notation verwirrt sind.

---

¹ Hinweis: Mein Kollege hat eine Mathematica-Funktion geschrieben, die dies für viele Funktionen erfolgreich ausführt, sodass das Lemma die Aufgabe wirklich auf mechanische Berechnung reduziert.

² Siehe auch hier .

Ein weiterer Tipp: Manchmal macht das Anwenden einer monotonen Funktion (wie log oder exp) die Dinge klarer.

Skiena bietet eine sortierte Liste der Dominanzbeziehungen zwischen den häufigsten Funktionen in seinem Buch The Algorithm Design Manual:

$$n!\gg c^n \gg n^3 \gg n^2 \gg n^{1+\epsilon} \gg n \lg n \gg n \gg n^{1/2}$$ $$\gg \lg^2n \gg \lg n \gg \frac{\lg n}{\lg\lg n} \gg \lg\lg n \gg \alpha(n) \gg 1$$

Hier bezeichnet $\alpha(n)$ die inverse Ackermann-Funktion .

Tipp: Zeichnen Sie Diagramme dieser Funktionen mit Wolfram Alpha , um ein Gefühl dafür zu bekommen, wie sie wachsen. Beachten Sie, dass dies nicht sehr genau ist, aber wenn Sie es für ausreichend große Zahlen versuchen, sollten Sie die vergleichenden Wachstumsmuster sehen. Dies ist natürlich kein Ersatz für einen Beweis.

Versuchen Sie beispielsweise: Zeichnen Sie ein Protokoll (log (n)) von 1 bis 10000 , um ein einzelnes Diagramm oder ein Diagrammprotokoll (log (n)) und ein Diagrammprotokoll (n) von 1 bis 10000 anzuzeigen , um einen Vergleich zu erhalten.

$n^{\log\log n}$ and $2^n$, the first two functions of n, to get the list started.

We use the property that $n = 2^{\log n}$ to rewrite the first expression as $n^{\log\log n} = (2^{\log n})^{\log\log n} = 2^{\log n\log\log n}$. We could then proceed to use the definition to show that $n^{\log\log n} = 2^{\log n\log\log n} \in o(2^n)$, since for any constant $c > 0$, there is an $n_0$ such that for $n \geq n_0$, $c(n^{\log\log n}) = c(2^{\log n\log\log n}) < 2^n$.

Next, we try $3^n$. We compare it to $2^n$, the largest element we have placed so far. Since $3^n = (2^{\log 3})^n = 2^{n\log3}$, we similarly show that $2^n \in o(3^n) = o(2^{n \log 3})$.

Etc.

Here a list from Wikipedia, The lower in the table the bigger complexity class;

$$\begin{array}{|l|l|} \hline Name & \text{Running Time} \\ \hline \text{Constant time} & \mathcal{O}(1) \\ \text{Inverse Ackermann time} & \mathcal{O}(a(n)) \\ \text{Iterated logarithmic time} & \mathcal{O}(\log^*n) \\ \text{Log-logarithmic} & \mathcal{O}(n \log n) \\ \text{Logarithmic time} & \mathcal{O}(\log n) \\ \text{Polylogarithmic time} & poly(\log n) \\ \text{Fractional power} & \mathcal{O}(n^c) ,\text{where } 0<c<1 \\ \text{Linear time} & \mathcal{O}(n) \\ \text{"n log star n" time} & \mathcal{O}(n \log^* n) \\ \text{Quasilinear time} & \mathcal{O}(n \log n) \\ \text{Quadratic time} & \mathcal{O}(n^2) \\ \text{Cubic time} & \mathcal{O}(n^3) \\ \text{Polynomial time} & poly(n) = 2^{\mathcal{O}(\log n)} \\ \text{Quasi-polynomial time} & 2^{\mathcal{O}(poly(\log n))} \\ \text{Sub-exponential time (first definition)} & \mathcal{O}(2^{n^{\epsilon}}), \epsilon >0 \\ \text{Sub-exponential time (second definition)} & 2^{\mathcal{o}(n)}\\ \text{Exponential time(with linear exponent)} & 2^{\mathcal{O}(n)} \\ \text{Exponential time} & 2^{poly(n)} \\ \text{Factorial time} & \mathcal{O}(n!) \\\hline \end{array}$$

note : $poly(x) = x^{\mathcal{O}(1)}$