Iteration über Vektoren in der Reihenfolge ihrer Wahrscheinlichkeit auf kleinem Raum

12

Man betrachte einen dimensionalen Vektor wobei . Für jedes kennen wir und nehmen an, dass unabhängig sind. Gibt es unter Verwendung dieser Wahrscheinlichkeiten einen effizienten Weg, um binäre dimensionale Vektoren zu iterieren, um mit größter Wahrscheinlichkeit die geringste Wahrscheinlichkeit (mit willkürlichen Auswahlmöglichkeiten für Bindungen) zu erzielen, indem Raum-Sublinearität in der Ausgabegröße verwendet wird? $n$ $v$ $v_i \in \{0,1\}$ $i$ $p_i = P(v_i = 1)$ $v_i$ $n$

Nehmen wir zum Beispiel . Der wahrscheinlichste Vektor ist und der am wenigsten wahrscheinliche ist . $p = \{0.8, 0.3, 0.6\}$ $(1,0,1)$ $\{0,1,0\}$

Für sehr kleine könnten wir jeden der Vektoren mit seiner Wahrscheinlichkeit bezeichnen und einfach sortieren, aber dies würde natürlich immer noch keinen sublinearen Raum verwenden. $n$ $2^n$

Eine enge Variante dieser Frage wurde zuvor unter /cs/24123/how-to-iterate-over-vectors-in-order-of-probability gestellt .

ds.algorithms space-bounded

— Lembik
quelle

Gibt es einen Grund, warum Sie die Folgefrage dort nicht gestellt haben? Geht es hier hauptsächlich darum, dies im sublinearen Raum zu tun?

— Suresh Venkat

@SureshVenkat Ja, das Problem liegt ausschließlich im sublinearen Raum (in der Ausgabegröße). Ich habe es hier gefragt, da ich denke, dass die Frage sehr schwierig sein kann.

— Lembik

Um dies in

Raum und Zeit zu lösen, scheinen Techniken erforderlich zu sein, die SUBSET-SUM ähneln (schnell zu wissen, welche Summen von Subsets unterschiedliche Summen annähernd aufheben). Daher ist es unwahrscheinlich, dass es eine schnelle Lösung gibt.

poly (n)

$\textrm{poly}(n)$

— Geoffrey Irving

@GeoffreyIrving Glaubst du, diese Intuition kann formalisiert werden?

— Lembik

9

Das Folgende gibt einen Algorithmus an, der ungefähr Zeit und Raum verwendet. $2^n$ $2^{n/2}$

Betrachten wir zunächst das Problem des Sortierens der Summen aller Teilmengen von Elementen. $n$

Betrachten Sie dieses Unterproblem: Sie haben zwei sortierte Listen mit der Länge und möchten eine sortierte Liste der paarweisen Summen der Zahlen in den Listen erstellen. Sie möchten dies in ungefähr Zeit (der Ausgabegröße), aber im sublinearen Raum tun . Wir können Raum erreichen. Wir führen eine Prioritätswarteschlange und ziehen die Summen in aufsteigender Reihenfolge aus der Prioritätswarteschlange heraus. $m$ $O(m^2)$ $O(m)$

Die Listen seien und , in aufsteigender Reihenfolge sortiert. Wir nehmen die Summen , und stellen sie in eine Prioritätswarteschlange. $a_1 \ldots a_m$ $b_1 \ldots b_m$ $m$ $a_i + b_1$ $i = 1 \ldots m$

Wenn wir nun die kleinste verbleibende Summe aus der Prioritätswarteschlange ziehen, setzen wir , wenn , die Summe in die Prioritätswarteschlange. Der Raum wird von der Prioritätswarteschlange dominiert, die immer höchstens Summen enthält. Und die Zeit ist , da wir für jede Prioritätswarteschlangenoperation verwenden. Dies zeigt, dass wir das Teilproblem in lösen können $a_i + b_j$ $j < m$ $a_i + b_{j+1}$ $m$ $O(m^2 \log m)$ $O(\log m)$ Zeit und Raum. $O(m^2 \log m)$ $O(m)$

Um nun die Summen aller Teilmengen von Zahlen zu sortieren , verwenden wir einfach diese Unterroutine, bei der die Liste die Menge von Teilmengen der ersten Hälfte der Elemente ist und die Liste die Menge von Teilmengen ist der zweiten Hälfte der Artikel. Wir können diese Listen mit demselben Algorithmus rekursiv finden. $n$ $a_i$ $b_i$

Wir werden nun das ursprüngliche Problem betrachten. Sei der Satz von Koordinaten, die , und der Satz von Koordinaten, die . Dann $S_0$ $0$ $S_1$ $1$

\begin{array}{rcl} \prod_{i \in S_{0}} p (v_{i} = 0) \prod_{i \in S_{1}} p (v_{i} = 1) & = & \prod_{1 \leq i \leq n} p (v_{i} = 0) \prod_{i \in S_{1}} \frac{p (v_{i} = 1)}{p (v_{i} = 0)} \\ = & \prod_{1 \leq i \leq n} p (v_{i} = 0) \exp (\sum_{i \in S_{1}} \log \frac{p (v_{i} = 1)}{p (v_{i} = 0)}) . \end{array}

$\begin{eqnarray*}\prod_{i \in S_0} p(v_i=0) \prod_{i \in S_1} p(v_i=1) &=& \prod_{1\leq i \leq n} p(v_i=0) \prod_{i \in S_1} \frac{p(v_i=1)}{p(v_i=0)} \\ &=& \prod_{1\leq i \leq n} p(v_i=0) \exp\,\left(\sum_{i \in S_1} \log \frac{p(v_i=1)}{p(v_i = 0)}\right).\end{eqnarray*}$

Das Sortieren dieser Zahlen ist dasselbe wie das Sortieren der Zahlen , daher haben wir das Problem auf das Sortieren der Summen von Teilmengen von Elementen reduziert . $\sum_{i\in S_1}\log p(v_i=1) - \log p(v_i=0)$ $n$

— Peter Shor
quelle

Gibt es plausibel eine Reduzierung, die eine Poly-Raum-Lösung unplausibel machen würde?

— Lembik

Sie werden wahrscheinlich keine Lösung erhalten, die weniger als

Zeit benötigt, da dies die Größe der Ausgabe ist (und meine Lösung benötigt

2^{n}

$2^n$

Zeit). Ich habe jedoch keine gute Untergrenze für den Weltraum.

n 2^{n}

$n\, 2^n$

— Peter Shor

Vielen Dank. Ich meinte natürlich nicht Polyzeit, sondern eher etwas Lineares in der Ausgabegröße und im Polyraum.

— Lembik

4

Wir können das im Raum (wenn uns die Laufzeit egal ist). $O(n)$

Für eine gegebene Zeichenkette können wir im Raum die Anzahl von Zeichenketten berechnen , die wahrscheinlicher als ; das heißt, die Anzahl von st $x \in \{0,1\}^n$ $O(n)$ $r(x)$ $x$ $x'$ : gehe einfach über alle und zähle die Anzahl von st $p(x') > p(x)$ $x'\in \{0,1\}^n$ $x'$ . Beachten Sie, dass die fortlaufende Nummer der Zeichenfolge in der Ausgabe ist. $p(x') > p(x)$ $r(x)$ $x$
Für jedes können wir mit im Raum : gehe über alle $k$ $x$ $r(x) = k$ $O(n)$ , für jedes berechnen Sie , stoppen Sie und geben Sie wenn . $x \in \{0,1\}^n$ $x$ $r(x)$ $x$ $r(x) = k$
Jetzt gehe einfach alle von $k$ $0$ zu , für jedes Druck mit . $2^n-1$ $k$ $x$ $r(x) =k$

(Wir sollten uns auch um mögliche Bindungen kümmern, aber das ist nicht schwierig.)

— Yury
quelle

Vielen Dank. Das ist jedoch ein ziemlich langsamer Algorithmus :)

— Lembik

0

Bearbeiten: Diese Antwort ist falsch. Siehe Kommentare für Details. ~ Gandaliter

Linear im Ausgabemittel . Ich denke, der offensichtliche Algorithmus verwendet nur den Raum, abgesehen von der Ausgabe selbst natürlich. $O(2^n)$ $O(n)$

Nimm die Liste mit den Paaren und sortieren Sie sie nachgrößte zuerst. $(i, p_i)$ $\left|0.5 - p_i\right|$
Definieren Sie eine doppelt rekursive Funktion, die eine Liste solcher Paare und einen teilweise gefüllten Vektor aufnimmt und den Wert von auf wenn , und $v$ $v_i$ $1$ $p_i > 0.5$ andernfalls auf , und rekursiv (unter Verwendung des Endes der Liste und ) , kippt dann und rekursiert erneut. Wenn die Liste leer ist, wird stattdessen ausgegeben. $0$ $v$ $v_i$ $v$
Rufen Sie diese rekursive Funktion für die sortierte Liste und einen leeren Vektor auf.

Die Intuition ist, dass Sie die Werte der sichersten Elemente im Vektor zuerst festlegen (diejenigen, deren Wahrscheinlichkeiten am nächsten bei und ) und den Vektor auf diese Weise ausfüllen und mit denen abschließen, deren Wahrscheinlichkeiten am nächsten bei . Jeder mögliche Wert, den der gesamte Vektor annehmen könnte, wird in der Reihenfolge seiner Wahrscheinlichkeit ausgegeben. $0$ $1$ $0.5$

Die Laufzeit ist . Dies ist die Untergrenze, da dies die Länge der Ausgabe ist. Die Raumkomplexität ist weil die Sortierung nicht mehr als das erfordert, und die rekursive Länge ist die Länge des Vektors, die . Ich glaube, dass dies auch die Untergrenze ist, da es für jeden Zeitschritt beim Ausführen des Algorithmus einen anderen Speicherzustand geben muss und die Zeitkomplexität . $O(2^n)$ $O(n)$ $n$ $O(2^n)$ -Zustände im Speicher sind erforderlich, um $O(n)$ $O(2^n)$ Zeitschritte. Daher ist dieser Algorithmus im ungünstigsten Fall für die Komplexität optimal.

— Gandaliter
quelle

Die andere Antwort ist sicherlich anders, da sie eine Prioritätswarteschlange erfordert und daher

Speicherplatz verwendet.

Θ (2^{n})

$\Theta(2^n)$

— Lembik

Vielen Dank. Ich habe es offensichtlich nicht sorgfältig genug gelesen! Ich habe meine Antwort bearbeitet.

— Gandaliter

3

Sind Sie sicher, dass diese Lösung funktioniert? Ich konnte die Details der doppelten Rekursion nicht herausfinden (Pseudocode würde helfen!), Aber ich sehe nicht, wie das funktionieren könnte. Insbesondere scheint Ihre Lösung lokal zu sein: Wenn sie

sie jetzt

Antworten mit

. Aber die tatsächlichen Antworten sollten nicht so aussehen. Soweit ich Ihre Lösung verstanden habe, scheint sie sogar für den einfachsten Fall, in dem alle

.

v_{1} = 1

$v_1=1$

2^{n - 1}

$2^{n-1}$

v_{1} = 1

$v_1=1$

p_{i} = 0.5

$p_i=0.5$

— Möbius Knödel

Du hast recht, das funktioniert nicht. Es tut uns leid!

— Gandaliter