O (·) ist keine Funktion, wie kann also eine Funktion gleich dieser sein?

Ich verstehe vollkommen, was große Notation bedeutet. Mein Problem ist, wenn wir sagen , wobei die Laufzeit eines Algorithmus bei Eingabe der Größe .$O$$T(n)=O(f(n))$$T(n)$$n$

Ich verstehe die Semantik davon. Aber und sind zwei verschiedene Dinge.$T(n)$$O(f(n))$

$T(n)$O ( f ( n ) ) T ( n ) O ( f ( n ) ) O ( f ( n ) ) ist eine exakte Zahl, aber ist keine Funktion, die eine Zahl ausspuckt. Technisch können wir also nicht sagen, dass gleich , wenn man fragt Sie, was ist der Wert von , was wäre Ihre Antwort? Es gibt keine Antwort.$O(f(n))$$T(n)$ $O(f(n))$$O(f(n))$

Genau genommen ist eine Menge von Funktionen. Der Wert von ist also einfach die Menge aller Funktionen, die asymptotisch nicht schneller wachsen als . Die Notation ist nur ein herkömmlicher Weg, um zu schreiben .$O(f(n))$O ( f ( n ) ) f ( n ) T ( n ) = O ( f ( n ) ) T ( n ) ≤ O ( f ( n ) )$O(f(n))$$f(n)$$T(n) = O(f(n))$$T(n) \in O(f(n))$

Beachten Sie, dass dies auch einige Einschränkungen der Notation verdeutlicht . Zum Beispiel schreiben wir, dass , aber wir schreiben niemals, dass . Um Donald Knuth (Die Kunst der Computerprogrammierung, 1.2.11.1) zu zitieren:$O$$(1/2) n^2 + n = O(n^2)$$O(n^2)=(1/2)n^2 + n$

Die wichtigste Überlegung ist die Idee der Einweggleichheit . [...] Wenn es sich bei und um Formeln handelt, die die Notation enthalten, bedeutet die Notation , dass die Menge von Funktionen mit ist in der Menge enthalten, die mit .$\alpha(n)$$\beta(n)$$O$$\alpha(n)=\beta(n)$$\alpha(n)$β ( n )$\beta(n)$

$O$ ist eine Funktion

$$\begin{align} O : (\mathbb{N}\to \mathbb{R}) &\to \mathbf{P}(\mathbb{N}\to \mathbb{R}) \\ f &\mapsto O(f) \end{align}$$ dh es akzeptiert eine Funktionund liefert eine Menge von Funktionen, die die asymptotische Grenze von (höchstens)teilen. Genau genommen lautet die korrekte Schreibweise also oder kurzes aber es ist in Mathematik, Naturwissenschaften und CS üblich, nur zu verwenden Eine Variable irgendwo im Ausdruck, die angibt, dass SieFunktionen des Argumentsauf beiden Seitenberücksichtigen. Also istganz gut. $f$$f$ $$(n \mapsto T(n)) \in O(n\mapsto f(n))$$ $$T \in O(f)$$ $n$$T(n) \in O(f(n))$$T(n) = O(f(n))$ist aber ziemlich falsch, wie Sie vermutet haben. Es wird jedoch sehr häufig verwendet, denken Sie also unbedingt daran, was die Leute meinen, wenn sie dies schreiben.

Ich würde davon abraten, jemals schreiben , aber die Meinungen sind unterschiedlich .$T(n) = O(f(n))$

Formal ist eine Menge von Funktionen so dass für eine Konstante und alle groß genug  . Die pedantisch genaueste Schreibweise wäre also . Die Verwendung von anstelle von  ist jedoch völlig normal, und bedeutet nur . Dies ist im Grunde genommen nie mehrdeutig, da wir die Menge so gut wie nie manipulieren .$O(f(n))$$g$$g(n)\leq k\,f(n)$$k$$n$$T(n)\in O(f(n))$$=$$\in$$T(n)=O(f(n))$$T(n)\in O(f(n))$$O(f(n))$

In gewissem Sinne bedeutet die Verwendung von Gleichheit, dass "eine Funktion so dass für alle ausreichend großen  ", und dies bedeutet, dass Sie Dinge wie schreiben können . Man beachte, dass dies viel genauer ist als zB oder .$O(f(n))$$g$$g(n)\leq f\,g(n)$$n$$f(n) = 3n + O(\log n)$$f(n)=\Theta(n)$$f(n)=O(n+\log n)$

Prolog: Die Big- Notation ist ein klassisches Beispiel für die Kraft und Mehrdeutigkeit einiger Notationen als Teil der Sprache, die der menschliche Verstand liebt. Egal wie viel Verwirrung es verursacht hat, es bleibt die Wahl der Notation, um die Ideen zu vermitteln, die wir leicht identifizieren und effizient vereinbaren können.$O$

Ich verstehe vollkommen, was große Notation bedeutet. Mein Problem ist, wenn wir sagen , wobei die Laufzeit eines Algorithmus bei Eingabe der Größe .$O$$T(n)=O(f(n))$$T(n)$$n$

Entschuldigung, aber Sie haben kein Problem, wenn Sie die Bedeutung der Big- Notation verstehen .$O$

Ich verstehe die Semantik davon. Aber und sind zwei verschiedene Dinge. ist eine exakte Zahl, aber ist keine Funktion, die eine Zahl ausspuckt. Technisch können wir also nicht sagen, dass gleich , wenn man fragt Sie, was ist der Wert von , was wäre Ihre Antwort? Es gibt keine Antwort.$T(n)$$O(f(n))$$T(n)$$O(f(n))$$T(n)$ O ( f ( n ) ) O ( f ( n ) ) $O(f(n))$$O(f(n))$

Wichtig ist die Semantik . Was wichtig ist, ist, wie sich die Menschen leicht auf eine der genauen Interpretationen einigen können, die uns interessierendes asymptotisches Verhalten oder Zeit- oder Raumkomplexität beschreiben. Die vorgegebene genaue Interpretation / Definition von ist, wie aus Wikipedia übersetzt ,$T(n)=O(f(n))$

$T$ ist eine reelle oder komplexe Wertfunktion und ist eine reelle Wertfunktion, die beide auf einer unbegrenzten Teilmenge der reellen positiven Zahlen definiert sind, so dass für alle ausreichend großen Werte von streng positiv ist . Für alle ausreichend großen Werte von ist der Absolutwert von höchstens ein positives konstantes Vielfaches von . Das heißt, es gibt eine positive reelle Zahl und eine reelle Zahl so dass$f$$f(n)$$n$$n$$T(n)$$f(n)$$M$$n_0$

${\text{ for all }n\geq n_{0}, |T(n)|\leq \;Mf(n){\text{ for all }}n\geq n_{0}.}$

Bitte beachten Sie, dass diese Interpretation als Definition gilt . Alle anderen Interpretationen und Verstehen, die Ihnen auf verschiedene Weise sehr helfen können, sind zweitrangig und folgerichtig. Jeder (zumindest jeder hier) stimmt dieser Interpretation / Definition / Semantik zu. Solange Sie diese Interpretation anwenden können, sind Sie wahrscheinlich die meiste Zeit gut. Entspannen Sie sich und fühlen Sie sich wohl. Sie möchten nicht zu viel darüber nachdenken, genauso wenig wie Sie über einige der Unregelmäßigkeiten in Englisch, Französisch oder den meisten natürlichen Sprachen nachdenken. Verwenden Sie einfach die Notation nach dieser Definition.

$T(n)$O ( f ( n ) ) T ( n ) O ( f ( n ) ) O ( f ( n ) ) ist eine exakte Zahl, aber ist keine Funktion, die eine Zahl ausspuckt. Technisch können wir also nicht sagen, dass gleich , wenn man fragt Sie, was ist der Wert von , was wäre Ihre Antwort? Es gibt keine Antwort.$O(f(n))$$T(n)$ $O(f(n))$$O(f(n))$

In der Tat konnte es keine Antwort geben, da die Frage schlecht gestellt ist. bedeutet keine exakte Zahl. Es soll für eine Funktion stehen, deren Name und deren formaler Parameter (was in gewisser Weise an das in gebunden ist ). Genauso richtig und umso mehr, wenn wir schreiben . Wenn die Funktion ist, die auf abbildet , und die Funktion ist, die auf abbildet , ist es auch üblich, oder zu schreiben$T(n)$$T$$n$$n$$f(n)$$T=O(f)$$T$$n$$n^2$$f$$n$$n^3$$f(n)=O(n^3)$$n^2=O(n^3)$O. Bitte beachten Sie auch, dass die Definition nicht besagt, dass eine Funktion ist oder nicht. Es heißt nicht, dass die linke Seite der rechten Seite überhaupt gleich sein soll! Sie haben zu Recht den Verdacht, dass Gleichheitszeichen keine Gleichheit im eigentlichen Sinne bedeuten , bei der Sie beide Seiten der Gleichheit vertauschen können und die durch ein gleichwertiges Verhältnis gesichert sein sollte. (Ein weiteres, noch berühmteres Beispiel für den Missbrauch des Gleichheitszeichens ist die Verwendung des Gleichheitszeichens, um die Zuweisung in den meisten Programmiersprachen zu bedeuten, anstatt in einigen Sprachen umständlicher zu sein.)$O$:=

Wenn wir uns nur um diese eine Gleichheit kümmern (ich fange an, auch die Sprache zu missbrauchen. Es ist keine Gleichheit , es ist jedoch eine Gleichheit, da die Notation ein Gleichheitszeichen enthält oder sie als eine Art Gleichheit ausgelegt werden könnte ), ist diese Antwort erledigt.$T(n)=O(f(n))$

Die Frage geht jedoch tatsächlich weiter. Was bedeutet das zum Beispiel ? Diese Gleichheit wird von der obigen Definition nicht erfasst. Wir möchten eine andere Konvention einführen, die Platzhalter-Konvention . Hier ist die vollständige Erklärung der Platzhalterkonvention, wie in Wikipedia angegeben .$f(n)=3n+O(\log n)$

Bei komplizierterer Verwendung kann an verschiedenen Stellen in einer Gleichung auftreten, sogar mehrmals auf jeder Seite. Zum Beispiel gilt Folgendes für .$O(\cdots)$$n\to \infty$

$(n+1)^{2}=n^{2}+O(n)$
$(n+O(n^{1/2}))(n+O(\log n))^{2}=n^{3}+O(n^{5/2})$
$n^{O(1)}=O(e^{n})$

Die Bedeutung solcher Anweisungen ist wie folgt: Für alle Funktionen, die jedes auf der linken Seite erfüllen, gibt es einige Funktionen, die jedes auf der rechten Seite erfüllen , so dass alle diese Funktionen in die Gleichung eingesetzt werden macht die beiden Seiten gleich. Zum Beispiel bedeutet die obige dritte Gleichung: "Für jede Funktion gibt es eine Funktion so dass . "$O(\cdots)$$O(\cdots)$$f(n) = O(1)$$g(n) = O(e^n)$$n^{f(n)} = g(n)$

Möglicherweise möchten Sie hier ein weiteres Beispiel für die Platzhalterkonvention in Aktion suchen.

Sie haben vielleicht bemerkt, dass ich die satztheoretische Erklärung der großen Anmerkung nicht verwendet habe. Alles, was ich getan habe, ist, auch ohne diese satztheoretische Erklärung wie " ist ein Satz von Funktionen" zu zeigen, dass wir die große Anmerkung immer noch vollständig und perfekt verstehen können . Wenn Sie diese satztheoretische Erklärung nützlich finden, fahren Sie trotzdem fort.$O$$O(f(n))$$O$

Sie können den Abschnitt in „asymptotischer Notation“ überprüfen von CLRS für ein detailliertere Analyse und Nutzungsmuster für die Familie von Notationen für asymptotisches Verhalten, wie groß , , kleines , kleine , mit mehrere Variablen Nutzung und vieles mehr. Der Wikipedia-Eintrag ist auch eine ziemlich gute Referenz.$\Theta$$\Omega$$o$$\omega$

Schließlich gibt es einige inhärente Mehrdeutigkeiten / Kontroversen bei der großen Notation mit mehreren Variablen, 1 und 2 . Vielleicht möchten Sie zweimal überlegen, wenn Sie diese verwenden.$O$

Im Algorithm Design Manual [1] finden Sie einen Absatz zu diesem Thema:

Die Big-Oh-Notation [einschließlich , und ] liefert beim Vergleich von Funktionen einen groben Begriff der Gleichheit. Es ist etwas irritierend, einen Ausdruck wie , aber seine Bedeutung kann immer durch Zurückkehren zu den Definitionen in Bezug auf obere und untere Schranken aufgelöst werden. Es ist vielleicht am aufschlussreichsten, das "=" hier so zu lesen, dass es " eine der Funktionen ist, die es gibt ". Es ist klar, dass eine der Funktionen ist, die .$O$$\Omega$$\Theta$$n^2 = O(n^3)$n 2 O ( n 3 )$n^2$$O(n^3)$

Genau genommen (wie in David Richerbys Kommentar erwähnt ) gibt Ihnen einen groben Begriff der Gleichheit, einen groben Begriff von kleiner oder gleich und und einen groben Begriff von größer oder gleich -zu.$\Theta$$O$$\Omega$

Trotzdem stimme ich Vincenzos Antwort zu : Sie können einfach als eine Menge von Funktionen und das Symbol = als ein gesetztes Mitgliedssymbol interpretieren .$O(f(n))$$\in$

---

[1] Skiena, SS The Algorithm Design Manual (Zweite Ausgabe). Springer (2008)

Normalerweise können Anweisungen wie als interpretiert werden,

$$f = O(g)$$ $$\text{there exists } h \in O(g) \text{ such that }f = h\,.$$

Dies wird nützlicher in Kontexten wie den von David Richerby erwähnten, in denen wir schreiben, um zu bedeuten, dass es so dass .$f(n) = n^3 + O(n^2)$$g(n) \in O(n^2)$$f(n) = n^2 + g(n)$

Ich finde diese existenzielle Quantifikatorinterpretation so nützlich, dass ich versucht bin, Dinge wie zu schreiben

$$f(n) \leq O(n^3)$$

was einige noch ungeheuerlicher finden werden, aber es ist nur eine platzsparende Art zu schreiben, "es gibt so dass ".$C$$f(n) \leq C n^3$

Viele andere Plakate haben erklärt, dass das Big-O als eine Menge von Funktionen bezeichnet werden kann und dass die Notation angibt, dass (als Funktion von ) in der steht set bezeichnet mit (wiederum unter Berücksichtigung von als Parameter). Im englischen Text schreiben Sie möglicherweise lieber " ist in ", um Verwirrung zu vermeiden.$n^2 = O(n^3)$$n^2$$n$$O(n^3)$$n$$n^2$$O(n^3)$

Obwohl die Notation verwirrend sein kann, kann es hilfreich sein, sich das und das als Teile derselben Notation vorzustellen, dh so zu behandeln, als wäre es ein Symbol. Es unterscheidet sich kaum von dem, was wir tun, wenn wir in einer Programmiersprache schreiben : Zwei benachbarte Symbole werden in unseren Augen eins.$O$$=$$= O$>=

Ein weiterer heikler Aspekt der Notation ist, dass die Variable, die als Parameter fungiert, nicht explizit identifiziert oder gebunden wird , wie dies in einer Funktionsdeklaration oder einer Lambda-Notation der Fall wäre. Dies kann besonders verwirrend sein, wenn zwei Variablen beteiligt sind, wie in oder noch mehr in einem Ausdruck wie da impliziert werden kann, dass eine Konstante ist. Andererseits sind einige Algorithmen in einem Big-O-Set komplex, das sich technisch nach zwei Variablen unterscheidet, während in der Praxis einer davon feststeht. Darüber hinaus kann es mehrere sinnvolle Möglichkeiten geben, die Komplexität eines Algorithmus zu messen. Wenn die Eingabe beispielsweise eine Zahl ist, lautet Ihr Algorithmus möglicherweise im Wert$O(mn)$$O(n^c)$$c$$O(n)$$n$der Zahl aber in der Bitgröße der Zahl. (Obwohl in der Komplexitätstheorie per se die Bitgröße normalerweise der richtige Parameter ist.)$O(2^b)$

All dies bedeutet, dass das Big-O eine informelle, von Ungenauigkeit geprägte Notation ist und dass Sie häufig einen anderen Kontext verwenden müssen, um zu verstehen, was ein Autor sagt.

Wie immer vermeiden Sie am besten Verwechslungen in Ihren eigenen Schriften, und ich schlage vor, das vermeiden und stattdessen oder das englische "… ist in…" zu verwenden.$= O$$\in O$

Gestatten Sie mir, um den mehrfach angesprochenen Punkt zu unterstreichen, aus NG de Bruijn, Asymptotic Methods in Analysis , zu zitieren :

$O$$0 < x < \infty$$O(1) + O(x^2)$$f(x) + g(x)$$f(x) = O(1)\,\,(0 < x < \infty)$$g(x) = O(x^2)\,\,(0 < x < \infty)$$x^{-1}O(1) = O(1) + O(x^{-2})$$x^{-1}O(1)$$O(1) + O(x^{-2})$. Manchmal ist die linke Seite der Beziehung keine Klasse, sondern eine einzelne Funktion [...]. Dann bedeutet die Beziehung, dass die Funktion links ein Mitglied der Klasse rechts ist.

$=$$O(x) = O(x^2)\,\,(x \rightarrow \infty)$$O(x^2) = O(x)\,\,(x \rightarrow \infty)$$=$

$=$

Trotzdem ist die Notation von Bender und Orszag (von Advanced Mathematical Methods für Wissenschaftler und Ingenieure ) viel weniger verwirrend und es lohnt sich, darüber nachzudenken. In Bezug auf eine Grenze sagen wir:

$$f(x) \sim g(x)\,\,(x \rightarrow x_0)$$

$f$$g$

$$\lim_{x \rightarrow x_0} \frac{f(x)}{g(x)} = 1$$

und:

$$f(x) \ll g(x)\,\,(x \rightarrow x_0)$$

(ausgesprochen " ist im Vergleich zu vernachlässigbar ") bedeutet$f$$g$

$$\lim_{x \rightarrow x_0} \frac{f(x)}{g(x)} = 0$$

Aber ich nehme an, der Vorteil der Big-Oh-Notation ist, dass der konstante Faktor willkürlich ist. (Und für die Little-Oh-Notation ist der konstante Faktor, was auch immer Sie tun.)

Ich ging dies auf Stapelüberlauf durch ; Während die vielleicht richtigste Antwort auf OPs bereits oben angegeben wurde (Äquivalenzklassen, nachfolgend als Nr. 1 wiedergegeben), ist hier eine vollständige Antwort:

1. Mengen : " " bedeutet , dh Zugehörigkeit zu einer Menge, zB "der durch asymptotisch begrenzte Satz von Funktionen ". Dies ist die mathematische Standardbehandlung der asymptotischen Notation, die mir bekannt ist. Diese Menge hat eine Teilreihenfolge, die einer Teilmenge von entspricht, z. B. (einige Mengen können unvergleichbar sein; DAG; siehe Polynomhierarchie für eine interessante Beispiel).$f= O(\cdot)$$f \in O(\cdot)$$\{\frac{1}{2} x^2, (5 x^2-x+5), 2.5x,...\}$$x^2$$O(x^2) < O(x^3) = O(x^3 + x)$

   Hinweis. " " bedeutet . Es ist jedoch zu beachten, dass es sich im Gegensatz zum oben Gesagten um eine Äquivalenzbeziehung handelt (offensichtlich ist die naive Beziehung X wie in iff keine Äquivalenzklasse, da nicht impliziert ; die triviale Äquivalenzrelation "beides ein Element von " ist vielleicht amüsant zu konzipieren, aber mathematisch uninteressant, während bei die multiplen Äquivalenzklassen den Funktionsraum aufteilen).$f= \Theta(\cdot)$$f \in \Theta(\cdot)$f X g$f \in O(g)$$f \in O(g)$$g \in f(g)$$O(g)$$\Theta$

2. Platzhalterausdruck : Sie können die Definition von rückwärts konstruieren : Nach einem Radius der Gleichgültigkeit in der Nähe des Ursprungs (dh es gibt ein , so dass für alle ...) gibt es ein bandbegrenzte konstante Vielfache von , die begrenzen (dh ) ... und so können wir dies rückwärts konstruieren, um lediglich einen Ausdruck zu ersetzen mit dem Ausdruck , das heißt, ersetzen Sie ihn durch die Grenze selbst plus einem Fehlerbegriff, den wir nicht interessieren (ein Fehlerbegriff, der durch für$f \in \Theta(g)$$x_0$$x>x_0$$g$$f$$LOW*g(x) \le f(x) \le HIGH*g(x)$$O(g)$$k_1g(x)+err(x)$$0 \le err(x) \le k_2g(x)$$x>x_0$und potentiell unbegrenzt für ) ..... wenn wir also zum Beispiel sagen, könnten wir äquivalent sagen wobei dieser Fehlerterm . Wir würden das nie aufschreiben, weil es ein bisschen albern ist. Aber ich glaube, dass es legitim sein kann, dies so zu sehen und den Begriff der Gleichheit zu wahren. (Ich befürworte hier die richtige Behandlung von negativen Anzeichen, was wichtig sein kann.)$x\le x_0$$f = 2^{\Theta(x^2)}$$f(x)=2^{k_1x^2+err(x)}$$0 \le err(x) \le k_2x^2$

   ein. Ändern Sie das obige für anstelle von$O$$\Theta$

Eine genauere Antwort wäre, wenn wir sagen, dass eine Funktion f 'big O of function g' ist. (Dh x ^ 2 + x ist O (x ^ 2)) Wir sagen, dass f (x) <C * g (x) für einen Wert C und k ist, wobei x> k ist. Dies bedeutet, dass g eine Obergrenze für das Verhalten von f ist.

Beispiel

x ^ 2 + 10x 4 ist O (x ^ 2 + x), das selbst O (x ^ 2) ist