Informationstheorie zum Nachweis ordentlicher kombinatorischer Aussagen?

Was sind Ihre Lieblingsbeispiele, bei denen die Informationstheorie verwendet wird, um eine übersichtliche kombinatorische Aussage auf einfache Weise zu beweisen?

Einige Beispiele, die ich mir vorstellen kann, beziehen sich auf Untergrenzen für lokal dekodierbare Codes, z. B. in diesem Artikel: Nehmen wir an, dass für ein Bündel von Binärzeichenfolgen der Länge gilt, dass für jedes , für unterschiedlich Paare { },Dann ist m in n mindestens exponentiell, wobei der Exponent linear vom mittleren Verhältnis von abhängt .$x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

Ein weiteres (verwandtes) Beispiel sind einige isoperimetrische Ungleichungen im Booleschen Würfel (Sie können dies gerne in Ihren Antworten erläutern).

Hast du noch mehr schöne Beispiele? Am liebsten kurz und einfach zu erklären.

Mosers Beweis für das konstruktive Lovasz Local Lemma . Er zeigt im Grunde genommen, dass unter den Bedingungen des lokalen Lemmas der zweiteinfachste Algorithmus für SAT funktioniert, den man sich vorstellen kann. (Die einfachste Möglichkeit besteht darin, eine zufällige Zuweisung zu versuchen, bis eine funktioniert. Die einfachste besteht darin, eine zufällige Zuweisung auszuwählen, eine unzufriedene Klausel zu finden, sie zu erfüllen und dann zu prüfen, welche anderen Klauseln Sie gebrochen, rekursiv und wiederholt haben, bis sie fertig sind.) Der Beweis, dass dies in polynomialer Zeit abläuft, ist vielleicht die eleganteste Anwendung der Informationstheorie (oder der Kolmogorov-Komplexität, wie auch immer Sie sie in diesem Fall nennen möchten), die ich je gesehen habe.

Mein Lieblingsbeispiel dieser Art ist der entropiebasierte Beweis von Shearers Lemma. (Ich habe von diesem und einigen anderen sehr schönen Beweisen von Jaikumar Radhakrishnans Entropie und Zählung erfahren .)

Behauptung: Angenommen, Sie haben Punkte in , die unterschiedliche Projektionen auf der Ebene, unterschiedliche Projektionen auf der Ebene und unterschiedliche Projektionen auf der Ebene haben. Dann ist .R 3 n x y z n y x z n z x y n 2 ≤ n x n y n $n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

Beweis: Sei ein Punkt, der gleichmäßig zufällig aus den Punkten ausgewählt wird. Sei , , die Projektion auf die , und Ebene. n p x p y p z y z x z x $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

Einerseits ist , , und nach den grundlegenden Eigenschaften der Entropie.H [ p x ] ≤ log n x H [ p y ] ≤ log n y H [ p z ] ≤ log n $H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

Andererseits haben wir und auch Addiert man die letzten drei Gleichungen, so erhält man: , wobei wir die Tatsache verwendeten, dass die Konditionierung die Entropie verringert (im Allgemeinen für beliebige Zufallsvariablen ).H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [ z | x ] H

Wir haben also oder .n 2 ≤ n x n y n $2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

Radhakrishnans Entropiebeweis nach dem Satz von Bregman, dass die Anzahl der perfekten Übereinstimmungen in einem zweigeteilten Graphen höchstens . Der Beweis verwendet zwei sehr clevere Ideen. Hier ist eine Skizze des Beweises:( L ≤ R , E ) ≤ v ≤ L ( d ( v ) ! ) 1 / d ( v $p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Wählen Sie ein perfekt passendes gleichmäßig aus. Die Entropie dieser Variablen ist .H ( M ) = log $M$$H(M) = \log p$
• Für sei der Vertex in , der mit in übereinstimmt .X v R v $v \in L$$X_v$$R$$v$$M$
• Die Variable hat die gleiche Information wie , also .M H ( M ) = H ( X $X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Clevere Idee 1: Indem Radhakrishnan zufällig (und gleichmäßig) eine Ordnung auf auswählt , liefert er eine "randomisierte Kettenregel", die besagt, dass .L H ( X ) = Σ v ∈ L H ( X v | X u : u < V , ≤ $\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• Aus den Informationen in den Bedingungen ( ) können wir bestimmen (ungefähr: die Anzahl der Auswahlmöglichkeiten für Matching ). N v = | N(v)∖ X u : u < v | ${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• Da aus diesen Informationen bestimmt wird, ändert sich die konditionierte Entropie nicht in der Gleichheit . H ( X v | X u : u < v , ≤ ) = H ( X v | X u : u < v , ≤ , N v$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Clevere Idee 2: Indem wir die Information "vergessen" , können wir nur die Entropie erhöhen: .H( X v | X u : u < V ,≤, N v )≤H( X v | N v${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Verrückte Tatsache: Die Variable ist gleichmäßig auf die Menge .1 , … , d ( v $N_v$${1,\dots, d(v)}$
• Um nun die Entropie zu berechnen, wir alle Werte von :N v H ( X v | N v ) = Σ d ( v ) i = 1$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Das Ergebnis folgt aus der Kombination aller Ungleichungen und der Aufnahme von Exponenten.

Die Verallgemeinerung dieser Ungleichung ist das Kahn-Lovász-Theorem: Die Anzahl der perfekten Übereinstimmungen in jedem Graphen beträgt höchstens . Ein Entropie-Beweis für dieses Ergebnis wurde von Cutler und Radcliffe erbracht .Π v ∈ V ( G ) ( d ( v ) ! ) 1 / 2 d ( v $G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Sehr schöne Beispiele sind in zwei Arbeiten von Pippenger Eine informationstheoretische Methode in der kombinatorischen Theorie enthalten. J. Comb. Theorie, Ser. A 23 (1): 99-104 (1977) und Entropie und Aufzählung von Booleschen Funktionen. IEEE-Transaktionen zur Informationstheorie 45 (6): 2096-2100 (1999). Tatsächlich enthalten einige Arbeiten von Pippenger niedliche Beweise für kombinatorische Tatsachen mittels Entropie / gegenseitiger Information. Auch die beiden Bücher Jukna, Extremale Kombinatorik mit Anwendungen in der Informatik und Aigner, Kombinatorische Suche enthalten einige schöne Beispiele. Mir gefallen auch die beiden Arbeiten von Madiman et al. Informationstheoretische Ungleichungen in der additiven Kombinatorik und Schätzungen von Terence Tao, Entropie-Summensätzen (Sie finden sie mit Google Scholar). Ich hoffe es hilft.

Ein weiteres gutes Beispiel ist Terry Taos alternativer Beweis für das Regelmäßigkeits-Lemma des Szemerédi-Graphen . Er verwendet eine informationstheoretische Perspektive, um eine starke Version des Regelmäßigkeits-Lemmas zu beweisen, was sich als äußerst nützlich für seinen Beweis des Regelmäßigkeits-Lemmas für Hypergraphen herausstellt . Taos Beweis ist bei weitem der prägnanteste Beweis für das Regelmäßigkeits-Lemma des Hypergraphen.

Lassen Sie mich versuchen, diese informationstheoretische Perspektive auf einer sehr hohen Ebene zu erklären.

Angenommen, Sie haben einen zweigliedrigen Graphen , bei dem die beiden Scheitelpunktmengen und und die Kantenmenge E eine Teilmenge von . Die Kantendichte von ist. Wir sagen ist -regelmäßige , wenn für alle und , die Kantendichte des Subgraphen induziert durch und ist.V 1 V 2 V 1 × V 2 G ρ = | E | / | V 1 | | V 2 | G ϵ U 1 ⊆ V 1 U 2 ⊆ V 2 U 1 U 2 ρ ± ϵ | U 1 | | U 2 | / | V 1 | | V 2 $G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

Es sei nun erwogen, einen Scheitelpunkt aus und einen Scheitelpunkt aus unabhängig und gleichmäßig zufällig auszuwählen . Wenn klein ist und groß sind, können wir die Unregelmäßigkeit von so interpretieren , dass die Bedingung in und in keinen großen Einfluss auf die Wahrscheinlichkeit hat, dass bildet Kante in . Mit anderen Worten, auch nachdem wir die Information erhalten haben, dass in und istV 1 x 2 V 2 ≤ U 1 , U 2 ≤ G x 1 U 1 × 2 U 2 ( x 1 , x 2 ) G x 1 U 1 × 2 U 2 ( x 1 , x 2$x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$$G$$x_1$$U_1$$x_2$ ist in , wir haben nicht viele Informationen darüber erhalten, ob eine Kante ist oder nicht.$U_2$$(x_1,x_2)$

Das Szemeredi-Regularitäts-Lemma (informell) garantiert, dass für jeden Graphen eine Partition von und eine Partition von in Teilmengen konstanter Dichte gefunden werden kann, so dass für die meisten dieser Paare von Teilmengen die induzierte Untergraph auf ist -regular. Unter Berücksichtigung der obigen Interpretation ist es bei zwei Variablen mit hoher Entropie und und bei jedem Ereignis möglich, Variablen mit niedriger Entropie und - "low- Entropie ", weil die Teilmengen undV 2 U 1 ≤ V 1 , U 2 ≤ V 2 U 1 × U 2 ≤ x 1 × 2 E ( x 1 , x 2 ) U 1 ( x 1 ) U 2 ( x 2 ) U 1 U 2 E x 1 | U 1 x 2 | U 2 $V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$ haben eine konstante Dichte - so dass ungefähr unabhängig von und , oder dass die gegenseitige Information zwischen den Variablen sehr klein ist. Tatsächlich formuliert Tao mit diesem Setup eine viel stärkere Version des Regelmäßigkeits-Lemmas. Zum Beispiel verlangt er nicht, dass und unabhängige Variablen sind (obwohl es noch keine Anwendung dieser Verallgemeinerung gegeben hat). $E$$x_1 | U_1$$x_2 | U_2$x $x_1$$x_2$

Grundsätzlich gibt es einen ganzen Kurs, der sich dieser Frage widmet:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Der Kurs ist noch nicht abgeschlossen. Zum jetzigen Zeitpunkt sind also nicht alle Notizen verfügbar. Auch einige Beispiele aus dem Kurs wurden bereits erwähnt.

Angenommen, wir haben Punkte in und möchten eine Dimensionsreduktion durchführen. Wenn wir wollen, dass sich die paarweisen Abstände um höchstens ändern , können wir unsere Dimension von auf reduzieren . Das ist Johnson-Lindenstrauss Lemma . Für ein Jahrzehnt war die bekannteste Untergrenze für eine Dimension von Alon, daher gab es eine Lücke mit der Größe . Vor kurzem haben Jayram und Woodruff geschlossen≤ d 2 1 ± ≤ d O ( log n / ≤ 2 ) Ω ( log n / ( ≤ 2 log ( 1 / ≤ ) ) ) ≤ log ( 1 / ≤ $n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$diese Lücke durch die Verbesserung der unteren Grenze Alons. Ihr Beweis beruht kaum auf der geometrischen Struktur. Sie beweisen, dass eine bessere Bindung eine bestimmte untere Grenze der Kommunikationskomplexität verletzen würde, wenn sie möglich wäre. Und diese Schranke wird mit informationstheoretischen Mitteln bewiesen.

Betrachten Sie das folgende ziemlich grundlegende Problem in der Welt der Datenstrukturen. Sie haben ein Universum der Größe . Sie wollen ein Element speichern als statische Datenstruktur, so dass , wenn ein Benutzer , wenn wissen will , für einig , ob , nur - Bit - Sonden in die Datenstruktur benötigt werden , , wobei eine feste Konstante ist. Ziel ist es, die Platzkomplexität der Datenstruktur (in Bezug auf die Anzahl der gespeicherten Bits) zu minimieren.$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

Man kann eine solche Datenstruktur der Größe aufbauen . Die Idee ist einfach. Teilen Sie die Bits, die zur Beschreibung von benötigt werden, in Blöcke auf. Speichern Sie für jedes und für jede mögliche Verzerrung der Länge in der Datenstruktur, ob der -te Block von dieser Bitfolge entspricht.$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

Nun zur unteren Grenze. Sei ein Element, das gleichmäßig zufällig aus . Es ist klar, dass . Wenn die Bits sind, die in der Datenstruktur (möglicherweise adaptiv) in dieser Reihenfolge werden , dann gilt: , wobei die Größe der Datenstruktur ist. Dies ergibt: .$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

Enge Grenzen sind nicht bekannt, wenn zwei Elemente und gespeichert werden sollen . Sehen Sie hier für die besten Ergebnisse in dieser Richtung.$t > 1$

Ein gutes Beispiel ist die Arbeit " Sorting and Entropy " von Kahn und Kim. Die Entropiemethode wird verwendet, um einen Algorithmus zu finden, der bei einer bekannten Posette und einer unbekannten linearen Erweiterung von die lineare Erweiterung durch Abfragen wobei die Menge der linearen Erweiterungen von .P O ( log | X | ) X $P$$P$$O(\log |X|)$$X$$P$

Average-Case-Analyse von Algorithmen mit Kolmogorov-Komplexität von Jiang, Li, Vitanyi.

Die Analyse der durchschnittlichen Komplexität von Algorithmen ist ein sehr praktisches, aber sehr schwieriges Problem in der Informatik. In den letzten Jahren haben wir gezeigt, dass die Kolmogorov-Komplexität ein wichtiges Werkzeug für die Analyse der durchschnittlichen Komplexität von Algorithmen ist. Wir haben die Inkompressibilitätsmethode entwickelt [7]. In diesem Artikel werden einige einfache Beispiele verwendet, um die Leistungsfähigkeit und Einfachheit dieser Methode weiter zu demonstrieren. Wir beweisen Grenzen für die durchschnittliche Anzahl von Stapeln (Warteschlangen), die zum Sortieren von sequentiellem oder parallelem Queueusort oder Stacksort erforderlich sind. '

Siehe auch zB Kolmogorov-Komplexität und ein Dreiecksproblem vom Typ Heilbronn .

Die Äquivalenz von Sampling und Suche nach Scott Aaronson. Hier zeigt er die Gleichwertigkeit des Stichproben- und Suchproblems in der Komplexitätstheorie in Bezug auf die Gültigkeit der Extended Church-Turing Thesis. Die Standardinformationstheorie, die algorithmische Informationstheorie und die Kolmogorov-Komplexität werden in grundlegender Weise verwendet.

Er betont:
" Lassen Sie uns betonen, dass wir die Komplexität von Kolmogorov nicht nur als technische Annehmlichkeit oder als Abkürzung für ein Zählargument verwenden. Vielmehr scheint die Komplexität von Kolmogorov selbst für die Definition eines Suchproblems unerlässlich zu sein. "

Dies ist einfach und auch eine Annäherung: Wie viele Kombinationen von 10 ⁶ Dingen aus 10 ⁹ , die Duplikate zulassen? Die richtige Formel lautet

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

Aber stellen Sie sich vor, Sie geben Anweisungen, wie Sie eine Reihe von einer Milliarde Eimern entlang laufen und dabei eine Million Murmeln in die Eimer werfen sollen. Es gibt ~ 10 ⁹ "Schritt zum nächsten Eimer" -Anweisungen und 10 ⁶ "Murmel fallen lassen" -Anweisungen. Die Gesamtinformation ist

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

Das ist ein lustiger, aber ziemlich guter Weg, um die (Protokoll der) Zählung zu approximieren. Ich mag es, weil es funktioniert, wenn ich vergesse, wie man Combinatorics macht. Es ist gleichbedeutend damit

(a + b)! / ein! b! ~ = (a + b) ^{(a + b)} / a ^a b ^b

Das ist, als würde man Stirlings Annäherung verwenden, annullieren und etwas verpassen.

Eine sehr schöne neue Anwendung, um Obergrenzen für hochdimensionale Permutationen von Linial und Luria anzugeben, ist hier: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf