Eine Datenstruktur für minimale Skalarproduktabfragen

Man betrachte das mit dem Standardpunktprodukt und Vektoren ausgestattet ist: . Wir wollen eine Datenstruktur aufzubauen , die Abfragen aus folgendem Format ermöglicht: Da Ausgang . Ist es möglich, die triviale -Abfragezeit zu überschreiten? Wenn zum Beispiel , ist es unmittelbar, zu erhalten . $\mathbb{R}^n$ $\langle \cdot, \cdot \rangle$ $m$ $v_1, v_2, \ldots, v_m$ $x \in \mathbb{R}^n$ $\min_i \langle x, v_i \rangle$ $O(nm)$ $n = 2$ $O(\log^2 m)$

Das Einzige, was ich mir einfallen lassen kann, ist das Folgende. Es ist eine unmittelbare Konsequenz von Johnson-Lindenstrauss-Lemma, dass für jedes und eine Verteilung auf eine lineare Abbildung (die in ausgewertet werden kann ), so dass . Also können wir in der Zeit berechnen $\varepsilon > 0$ $\mathcal{D}$ $\mathbb{R}^n$ $f \colon \mathbb{R}^n \to \mathbb{R}^{O(\log m)}$ $O(n \log m)$ $\mathrm{Pr}_{x \sim \mathcal{D}}\left[\forall i \quad \langle x, v_i \rangle - \varepsilon (\|x\| + \|v_i\|)^2 \leq \langle f(x), f(v_i)\rangle \leq \langle x, v_i \rangle + \varepsilon (\|x\| + \|v_i\|)^2 \right] \geq 1 - \varepsilon$ $O((n + m) \log m)$ etwas , das in gewisser Weise nahe an $\min_i \langle x, v_i \rangle$ für die meisten $x$ (zumindest wenn die Normen $\|x\|$ und $\|v_i\|$ klein sind).

UPD Die oben genannte Grenze kann zur Abfragezeit etwas geschärft werden, $O(n + m)$ wenn wir ortsabhängiges Hashing verwenden. Genauer gesagt wählen wir $k := O(\frac{1}{\varepsilon^2})$ unabhängige Gaußsche Vektoren $r_1, r_2, \ldots, r_k$ . Dann bilden wir $\mathbb{R}^n$ zu $\{0,1\}^k$ , wie folgt: $v \mapsto (\langle r_1, v \rangle \geq 0, \langle r_2, v \rangle \geq 0, \ldots, \langle r_k, v \rangle \geq 0)$ . Dann können wir den Winkel zwischen zwei Vektoren innerhalb eines additiven Fehlers $\varepsilon$ indem wir den $\ell_1$ im Bild dieser Abbildung . Somit können wir Punktprodukte innerhalb eines additiven Fehlers schätzen $\varepsilon \|x\| \|v_i\|$ in $O(\frac{1}{\varepsilon^2})$ Zeit.

— Ilyaraz
quelle

Ich bin nicht sicher, ob dies funktioniert oder hilft, aber Ihr Problem (nach dem Umschalten des Vorzeichens von v_i, um es in die Maximierung umzuwandeln) hängt mit Voronoi-Diagrammen zusammen. Möglicherweise können Algorithmen für Voronoi-Diagramme an dieses Problem angepasst werden, aber selbst wenn dies möglich ist, ist dies wahrscheinlich nur für kleine n nützlich.

— Tsuyoshi Ito

Ich weiß nicht, ob dies die gleiche Beobachtung ist ... All kann zu einem Einheitsvektor normalisiert werden und ändert das Ergebnis nicht. Wir können alles in einem Einheits-n-Würfel tun, der im Ursprung zentriert ist. Finden Sie heraus, welche Region des Würfels das Skalarprodukt mit für jedes minimiert (jede Region muss ein Polytop sein). Ich bin nicht an die Anzahl der Polytope gebunden. Wenn es in weniger als exponentiell ist , haben Sie etwas Besseres als indem Sie eine n-dimensionale Punktortsabfrage durchführen.

x

$x$

v_{i}

$v_i$

i

$i$

n m

$nm$

O (n m)

$O(nm)$

— Chao Xu

Welchen Parameter interessieren Sie mehr? Wenn Sie in m sublinear werden wollen, werden Sie in der Regel in n exponentiell.

— Suresh Venkat

@ Suresh Nun, es wäre schön, verschiedene mögliche Kompromisse zu verstehen. Die ungefähre Version ist auch interessant.

— Ilyaraz

Kurzer Hinweis: Für den Fall n = 2 ergibt die binäre Suche in der konvexen Hülle die Abfragezeit .

O (\log n)

$O(\log n)$

— Geoffrey Irving

Antworten:

Betrachten Sie den Sonderfall, in dem Sie nur feststellen möchten, ob Ihr Abfragevektor zu einem Vektor in Ihrer vorverarbeiteten Sammlung orthogonal ist. (Das heißt, Sie möchten bestimmen, ob , wobei die diskutierten Vektoren nicht negative Koeffizienten haben.) Dieser Fall ist bereits sehr interessant. $\min_i \langle x, v_i \rangle = 0$

Angenommen, Sie können Abfragen in Zeit für einige beantworten , wobei Vorverarbeitung (die Polynomgrade sollten nicht von oder oder abhängen ). $n^{O(1)} m^{1-\delta}$ $\delta > 0$ $m^{O(1)} n^{O(1)}$ $m$ $n$ $\delta$

In dem Papier „Ein neuer Algorithmus für die optimale 2-Constraint und ihre Auswirkungen“, bemerkte ich , dass eine solche Datenstruktur würden Sie tatsächlich erlauben in CNF-SAT zu lösen Zeit für einige , Dabei ist die Anzahl der Variablen. Dies würde die "Strong Exponential Time Hypothese" widerlegen, dass k-SAT im Wesentlichen Zeit für unbegrenztes . $2^{\alpha v}$ $\alpha < 1$ $v$ $2^n$ $k$

Angenommen, die Vorverarbeitungszeit ist durch begrenzt, um zu sehen, warum . Betrachten Sie eine CNF-Formel mit Variablen und Klauseln. Wir teilen den Variablensatz in zwei Teile und der Größe bzw. . Listen Sie alle möglichen Zuordnungen zu den Variablen in den Teilen auf (erhalten Sie jeweils und Zuordnungen). Ordnen jede dieser Teilzuweisungen einem Bit-Vektor wobei wenn $(nm)^c$ $F$ $v$ $n$ $P_1$ $P_2$ $v(1-1/(2c))$ $v/(2c)$ $2^{v(1-1/(2c))}$ $2^{v/(2c)}$ $A_i$ $n$ $w_i$ $w_i[j]=1$ $j$ Die Klausel von wird von nicht erfüllt . Wir haben also zwei Listen mit exponentiell vielen Bitvektoren. $F$ $A_i$

Beachten Sie, dass erfüllt ist, wenn es einen Vektor aus einer Zuweisung auf und einen Vektor aus einer Zuweisung auf so dass . $F$ $w_1$ $P_1$ $w_2$ $P_2$ $\langle w_1, w_2 \rangle = 0$

Nun sei und verarbeite die angenommene Datenstruktur mit allen Vektoren aus Teil . Dies dauert nach Annahme. Führen Sie den Abfragealgorithmus für alle Vektoren aus Zuweisungen in Teil . Unter der Annahme, dass dies . Sei . $m=2^{v/(2c)}$ $P_2$ $n2^{v/2}$ $P_1$ $2^{v(1-1/(2c))} \cdot n^{O(1)} m^{1-\delta} = n^{O(1)} 2^{v - \delta v/(2c)}$ $\alpha = 1 - \delta/(2c)$

Vielleicht ist es möglich , eine effiziente Vorverarbeitung und erhalten Abfragezeit mit bestehenden Techniken. Die bekanntesten CNF-SAT-Algorithmen schließen dies nicht aus. (Sie erhalten so etwas wie .) Aber um zu berechnen etwas stärker - in diesem Setup wäre es wie das Lösen von MAX CNF-SAT. $n^{O(1)} m^{1-1/(\log \log m)}$ $2^{n-n/\log n}$ $\min_i \langle x, v_i\rangle$

— Ryan Williams
quelle

Genial! Aber es schließt ungefähre Datenstrukturen und Abfragezeiten wie , was ebenfalls sehr interessant wäre.

O (m \cdot p o l y (\log n))

$O(m \cdot \mathrm{poly}(\log n))$

— Ilyaraz

Können wir übrigens nicht so etwas sagen wie "Wenn es überhaupt eine ungefähre Datenstruktur mit schneller Abfragezeit gäbe, dann wäre MAX-SAT annähernd".

— Ilyaraz

Warum gilt die im ersten Absatz angegebene Gleichwertigkeit? Ich denke, dass das innere Produkt im Allgemeinen negativ sein kann.

— Tsuyoshi Ito

ilyaraz: Ja, selbst ungefähre Datenstrukturen würden ungefähr MAX-SAT implizieren. Tsuyoshi: Vielen Dank für Ihren Einblick

— Ryan Williams

Hier ist eine Idee für die genaue Antwort, auf die Chao Xu anspielen könnte. Beachten Sie zunächst, dass wir genauso gut normalisieren können , wie Chao betont. Betrachten Sie nun die Hyperebene senkrecht zur Richtung . Ziel ist es, den Punkt zu finden, der dieser Hyperebene am nächsten liegt. Aus Gründen der Dualität entspricht dies einer Strahlenschießabfrage in einer Anordnung von Hyperebenen, um die nächstgelegene Ebene "über" dem Abfragepunkt zu finden. Da dies vorverarbeitet werden kann, ist die Hauptkomplexität die Punktlokalisierung. Daher wurde Ihr Problem auf die Komplexität der Punktlokalisierung in einer Anordnung von Hyperebenen reduziert. Mit Stecklingen kann dies in Zeit im Raum erfolgen. $x$ $h$ $x$ $O(\log n)$ $n^d$

— Suresh Venkat
quelle

Ich hätte erwähnen sollen, dass ich auch an einer angemessenen Vorverarbeitungszeit interessiert bin, was hier nicht der Fall ist, wenn eine Dimension groß ist.

— Ilyaraz