Problem mit nicht orthogonalen Vektoren

Betrachten Sie die folgenden Probleme:

Problem der orthogonalen Vektoren

Eingabe: Eine Menge $S$ von Booleschen Vektoren mit der Länge .n $n$$d$

Frage: unterschiedliche Vektoren und so dass ?v 1 v 2 ≤ S v 1 ≤ v 2 = $v_1$$v_2 \in S$$v_1 \cdot v_2 = 0$

Problem mit nicht orthogonalen Vektoren

Eingabe: Eine Menge von Booleschen Vektoren mit jeweils der Länge und einer positiven ganzen Zahl .S n d $S$$n$$d$$k$

Frage: unterschiedliche Vektoren und so dass ?v 1 v 2 ∈ S v 1 ⋅ v 2 ≥ $v_1$$v_2 \in S$$v_1 \cdot v_2 \geq k$

Welche Beziehung besteht zwischen diesen beiden Problemen?

Hier sind insbesondere einige spezifischere Fragen, über die ich mich gewundert habe:

(1) Scheint eines dieser Probleme schwieriger zu sein als das andere?

(2) Ich bin nicht sicher, wie der aktuelle Algorithmus für OVP aussieht, aber können Sie für eines dieser Probleme eine Obergrenze erhalten, die besser ist als die O ( n 2 ⋅ d ) $O(n^2 \cdot d)$ ?

(3) Macht die Behebung von $k$ einen Unterschied für die Komplexität des zweiten Problems?

Mit $v_1 \cdot v_2$ meine ich das innere Produkt von $v_1$ und $v_2$ über $\mathbb{R^d}$ .

Bearbeiten: Die meisten Antworten bieten wirklich gute Einblicke, wenn $d$ klein ist.

Was kann gesagt werden, wenn $d$ größer ist? Sagen Sie $d = n$ oder $d = \sqrt{n}$ oder mindestens$d = n^\alpha$für einige.$\alpha > 0$

Wenn k als Teil der Eingabe angegeben wird, entspricht das zweite Problem dem monochromatischen Max-IP-Problem (bei S ⊆ { 0 , 1 } d finden Sie max ( a , b ) ∈ S , a ≠ b a ⋅ b ). .$k$$S \subseteq \{0,1\}^d$$\max_{(a,b) \in S, a\ne b} a \cdot b$

Kürzlich haben ich und Ryan Williams eine (noch nicht veröffentlichte) Arbeit, die zeigt, dass wenn d = O ( log n ) , OVP und eine bichromatische Version von Max-IP (gegeben A , B , max ( a , b ) ∈ A × B a finden ⋅ b ) ist tatsächlich äquivalent: Das heißt, wenn einer von ihnen einen n 2 - ε- Zeitalgorithmus hat, tut dies auch der andere. (Die Reduzierung von OVP auf Max-IP ist bekannt, die neue Reduzierung hier ist die von Max-IP auf OVP).$d = O(\log n)$$A,B$$\max_{(a,b) \in A \times B} a \cdot b$$n^{2-\varepsilon}$

Da die monochromatische Version von Max-IP auf die bichromatische Version reduziert werden kann, impliziert das obige Ergebnis auch, dass bei d = O ( log n ) monochromatisches Max-IP auf OVP reduziert werden kann.$d = O(\log n)$

Ich glaube, es ist eine offene Frage, ob OVP auf monochromatisches Max-IP reduziert werden kann. Dies hängt auch eng mit der Ermittlung der OV-Härte für das engste Paarproblem zusammen (siehe z. B. Zur Komplexität des engsten Paares über das Polarpaar der Punktmengen ).

Für monochromatische Max-IP gibt es einen Algorithmus mit Laufzeit n 2 - 1 / ~ O ( ( d / log n ) 1 / 3 ) Algorithmus von Alman, Chan und Williams (auch von Rasmus wies darauf hin), für die ich glauben ist der Stand der Technik. Während der beste Algorithmus für OVP in n 2 - 1 / O ( log c ) läuft, wenn d = c log n ist , was erheblich schneller ist.$n^{2 - 1/\widetilde{O}((d/\log n)^{1/3})}$$n^{2 - 1/O(\log c)}$$d = c \log n$

Die ungefähre Version von Max-IP wird auch in diesem Artikel über die Härte des ungefähren und exakten (bichromatischen) maximalen inneren Produkts untersucht , der eine Charakterisierung für den bichromatischen Fall liefert (dh für welche Dimensionen d und ungefähres Verhältnis t , das Problem kann in n 2 - ε Zeit gelöst werden?). Der Algorithmus in diesem Artikel funktioniert auch für den monochromatischen Fall.$d$$t$$n^{2-\varepsilon}$

Wenn k = O ( log n ), glaube ich, dass die Techniken von Alman, Chan und Williams die bekannteste Lösung für das Problem der nicht orthogonalen Vektoren liefern. (Sie formulieren es anders als ein Hamming-Problem mit den nächsten Paaren, aber dies entspricht bis zu Poly ( d ) -Faktoren.)$k=O(\log n)$$d$

Ohne Bindung an k ist eine bichromatische Version des Problems der nicht orthogonalen Vektoren bis zu einem Faktor d log n mindestens so schwer wie das Problem der orthogonalen Vektoren (OVP) . Beachten Sie zunächst, dass wir mit einem Faktor log n Overhead auf die bichromatische Version von OVP reduzieren können, wobei S = S 1 ∪ S 2 (disjunkte Vereinigung in Mengen unterschiedlicher "Farbe") und wir nur an bichromatischen orthogonalen Paaren interessiert sind ( v 1) , v 2 ) ∈ S 1 × S 2 . Zweitens mit einem Faktor $k$$d \log n$$\log n$$S = S_1 \cup S_2$$(v_1,v_2)\in S_1\times S_2$$d$Overhead können wir auf den Sonderfall der bichromatischen OVP reduzieren, bei dem alle Vektoren in S 1 das gleiche Hamming-Gewicht w haben . Schließlich wird durch Invertieren aller Vektoren in S 2 erhalten S ' 2 sehen wir , dass S 1 und S 2 haben ein orthogonales Paar , wenn und nur wenn S 1 und S ' 2 ein Paar von Vektoren mit Skalarprodukt zumindest w . Ich bin mir nicht sicher, ob es eine effiziente Reduktion vom Problem der bichromatischen nichtorthogonalen Vektoren auf die von Ihnen beschriebene monochromatische Version gibt.$S_1$$w$$S_2$$S'_2$$S_1$$S_2$$S_1$$S'_2$$w$

Wenn Sie eine Annäherung zulassen, gibt es eine Reihe neuerer Ergebnisse für das Problem der bichromatischen nicht orthogonalen Vektoren (häufig als Problem der Suche nach dem maximalen inneren Produkt bezeichnet). Siehe zB dieses Papier und seine Referenzen.

Äquivalenzen:

Das Problem der nicht orthogonalen Vektoren (wie oben definiert) für eine Menge $S$ von $n$ Booleschen Vektoren mit jeweils der Länge $d$ und einer positiven ganzen Zahl $k$ ist wie folgt äquivalent:

• Die Suche nach einem $2$ durch $k$ Submatrix von 1 ist in einem gegebenen $n$ von $d$ Boolesche Matrix.

• Finden eines vollständigen $\mathrm{K}_{2,k}$ Untergraphen in einem gegebenen zweigeteilten Graphen, wobei der erste Scheitelpunktsatz die Größe $n$ und der zweite Scheitelpunktsatz die Größe $d$ .

Naiver Algorithmus:

Der naive Ansatz für das Problem der nicht orthogonalen Vektoren läuft in $O(d \cdot n^2)$ da $O(d \cdot n^2)$ Zeit benötigt, um das Punktprodukt jedes Vektorpaars naiv zu berechnen.

Antwort auf die Fragen (2) & (3):

Ja, es gibt mehrere Algorithmen, die in verschiedenen Fällen effizienter sind.

Erste Ansatz:

Wir können das Problem der nicht orthogonalen Vektoren in $O(d \cdot n + k \cdot n^2)$ lösen .

Anmerkung: Da das Punktprodukt zweier boolescher Vektoren der Länge $d$ durch $d$ begrenzt werden muss , ist das Problem nur dann sinnvoll, wenn $k \leq d$ .

Beweis. Lass einen Satz$S$ von$n$ Booleschen Vektoren mit jeweils der Länge$d$ und einer positiven ganzen Zahl$k$ gegeben. Betrachtenein Aufzählungs$\{s_i\}_{i\in[n]}$ der Elemente von$S$ .

Erstellen eine hashmap $m$ von Paaren $(a,b) \in [n] \times [n]$ zu $\mathbb{N}$ . Zu Beginn ordnet $m$ jede Eingabe dem Wert 0 zu.

Für jedes $i \in [d]$ wir Folgendes. Zählen Sie durch Paare von Vektoren $s_a$ , $s_b$ so dass $a < b$ , das $i$ te Bit von $s_a$ 1 und das $i$ te Bit von $s_b$ ist. Für jedes solche $s_a$ und $s_b$ wenn $m(a,b) = k - 1$ , dann $s_a$ und $s_b$sind nicht orthogonal, dh $s_a \cdot s_b \geq k$ . Andernfalls erhöhen Sie $m(a,b)$ und fahren fort.

Wenn wir die Aufzählung beenden, ist kein Vektorpaar nicht orthogonal.

Es dauert $O(n \cdot d)$ Zeit, um jedes Bit jedes Vektors zu durchsuchen. Dann dauert es zusätzliche Zeit, um Vektorpaare aufzulisten. Weil es höchstens gibt ${n \choose 2}$ Paare von Vektoren und jedes Paar können höchstens$k-1$Mal auftreten, bevor gezeigt wurde, dass sie nicht orthogonal sind. Die Aufzählung von Paaren dauert höchstens$O(k \cdot n^2)$. Daher ist die Gesamtlaufzeit$O(d \cdot n + k \cdot n^2)$.

Anmerkung: Wenn $k = 2$ , können wir diesen Ansatz für die O ( n ⋅ d ) $O(n \cdot d)$ verbessern . Dies liegt daran , dass wir bei $k = 2$ das Finden eines Paares nicht orthogonaler Vektoren unter $n$ Booleschen Vektoren der Länge $d$ auf das Finden eines Paares nicht orthogonaler Vektoren unter $d$ Booleschen Vektoren der Länge $n$ reduzieren können .

Zweiter Ansatz:

Wir können das Problem der nicht orthogonalen Vektoren in $O(k \cdot {d \choose k} \cdot n)$Zeit.

Beweis. Es sei eine Menge $S$ von $n$ Booleschen Vektoren mit jeweils der Länge $d$ und einer positiven ganzen Zahl $k$ gegeben.

Zählen Sie durch die Mengen $P \subseteq [d]$ so dass $P$ die Größe $k$ . Überprüfen Sie für jeden Vektor $v \in S$ , ob $v$ alle Einsen an den Positionen in $P$ . Wenn es zwei Vektoren gibt, die alle Einsen an den Positionen in $P$ , haben wir zwei nicht orthogonale Vektoren gefunden.

Insgesamt gibt es ${d \choose k}$ Wahlmöglichkeiten für$P$. Und für jede Auswahl scannen wir$k \cdot n$Bits von den Vektoren. Insgesamt ist die Laufzeit also$O(k \cdot {d \choose k} \cdot n)$.

Dritter Ansatz:

Wenn $d \leq n$ , können wir das Problem der nicht orthongalen Vektoren in der Zeit $O(d^{\omega - 2} \cdot n^2)$ lösen, wobei $\omega$ der Exponent für die Multiplikation der ganzzahligen Matrix ist. Wenn $d > n$ , können wir das Problem der nicht orthongalen Vektoren in der Zeit $O(d \cdot n^{\omega - 1})$ lösen .

Hinweis: Wie von @Rasmus Pagh hervorgehoben, können wir diesen Algorithmus auf die Zeit $O(n^{2 + o(1)})$ verbessern, wenn $d \leq n^{0.3}$ . Weitere Informationen finden Sie hier: https://arxiv.org/abs/1204.1111

Beweis. Es sei eine Menge $S$ von $n$ Booleschen Vektoren mit jeweils der Länge $d$ und einer positiven ganzen Zahl $k$ gegeben.

Betrachten wir Matrizen $A$ und $B$ . Die erste Matrix $A$ hat die Dimensionen $n$ mal $d$ wobei jede Zeile von $A$ ein Vektor von $S$ . Die zweite Matrix $B$ hat die Dimensionen $d$ mal $n$ wobei jede Spalte von $B$ ein Vektor von $S$ .

Wir können das Punktprodukt jedes Vektorpaars in $S$ berechnen, indem wir $A \cdot B$ Verwendung von Algorithmen zur schnellen Multiplikation der ganzzahligen Matrix berechnen.

Wenn $d \leq n$ , besteht ein Ansatz darin, die rechteckige Matrixmultiplikation in ( n) umzuwandeln$(\frac{n}{d})^2$Multiplikationen des Quadrats$d$mit$d$Matrizen. Durch Verwendung der schnellen Quadratmatrixmultiplikation können wir alle Multiplikationen inO((n)berechnen$O((\frac{n}{d})^2 \cdot d^{\omega}) = O(d^{\omega - 2} \cdot n^2)$Zeit.

Wenn $d > n$ , besteht ein Ansatz darin, die rechteckige Matrixmultiplikation in d umzuwandeln$\frac{d}{n}$ Multiplikationen des Quadrats$n$mit$n$Matrizen. Durch Verwendung der schnellen Quadratmatrixmultiplikation können wir alle Multiplikationen in$O((\frac{d}{n}) \cdot n^{\omega}) = O(d \cdot n^{\omega - 1})$Zeit.