Gegeben

Hier ist ein Problem mit einem ähnlichen Geschmack wie beim Lernen von Juntas:

Eingabe: Eine Funktion $f: \{0,1\}^n \rightarrow \{-1,1\}$ , dargestellt durch ein Mitgliedschaftsorakel, dh ein Orakel, das $x$ , gibt $f(x)$ .

Ziel: Finden Sie einen Subcube $S$ von $\{0,1\}^n$ mit Volumen $|S|=2^{n-k}$ so dass $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1$ . Wir gehen davon aus, dass ein solcher Subcube existiert.

Es ist einfach, einen Algorithmus zu erhalten, der in der Zeit $n^{O(k)}$ und eine korrekte Antwort mit einer Wahrscheinlichkeit von zurückgibt, $\ge 0.99$ indem alle $(2n)^k$ Möglichkeiten zur Auswahl eines Unterwürfels ausprobiert und der Durchschnitt in jedem ermittelt werden.

Ich bin daran interessiert, einen Algorithmus zu finden, der in der Zeit läuft $poly(n,2^k)$ . Alternativ wäre eine Untergrenze großartig. Das Problem hat einen ähnlichen Geschmack wie das Lernen von Juntas, aber ich sehe keinen tatsächlichen Zusammenhang zwischen ihren Rechenschwierigkeiten.

Update: @Thomas unten beweist, dass die Beispielkomplexität dieses Problems $poly(2^k,\log n)$ . Das interessante Problem ist immer noch die rechnerische Komplexität des Problems.

Bearbeiten: Der Einfachheit halber können Sie davon ausgehen, dass ein Subcube mit $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.2$ (beachten Sie die Lücke: Wir suchen einen Subcube mit einem Durchschnitt von $\ge 0.1$ .) Ich bin mir ziemlich sicher, dass jede Lösung des Problems mit der Lücke das Problem auch ohne die Lücke lösen wird.

— Mobius Knödel
quelle

Hier ist eine bessere Grenze für die Komplexität der Stichprobe. (Obwohl die Rechenkomplexität immer noch .) $n^k$

Satz. Angenommen, es existiert ein Subwürfel der Größe so dass . Mit Proben können wir mit hoher Wahrscheinlichkeit einen Subwürfel der Größe identifizieren, so dass $S$ $2^{n-k}$ $|\mathbb{E}_{x \in S}[f(x)]| \geq 0.12$ $O(2^k \cdot k \cdot \log n)$ $S'$ $2^{n-k}$ . $|\mathbb{E}_{x \in S'}[f(x)]| \geq 0.1$

Beachten Sie den geringen Parameterverlust ( ist optimal gegenüber einer Garantie von ). $0.12$ $0.1$

Beweis. Wählen Sie Punkte gleichmäßig zufällig aus und fragen Sie bei jedem . $m$ $P \subset \{0,1\}^n$ $f$ $x \in P$

Fixiere einen Subcube der Größe . Wir haben . Durch eine Chernoff-Grenze wird Auch $S$ $2^{n-k}$ $\mathbb{E}[|S \cap P|]=m 2^{-k}$

P [| S \cap P | < m 2^{- k - 1}] \leq 2^{- Ω (m 2^{- k})} .

$\mathbb{P}[|S \cap P| < m 2^{-k-1}] \leq 2^{-\Omega(m 2^{-k})}.$

P [| E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | > ε] \leq 2^{- Ω (| S \cap P | ε^{2})} .

$\mathbb{P}[| \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | > \varepsilon] \leq 2^{-\Omega(|S \cap P| \varepsilon^2)}.$

Durch eine Vereinigung, die über alle Auswahlmöglichkeiten von gebunden ist , haben wirWenn wir also , können wir sicherstellen, dass wir mit einer Wahrscheinlichkeit von mindestens schätzen können. innerhalb von für alle Subcubes der Größe . ${n \choose k}2^k$ $S$

P [\forall S | E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | \leq ε] \geq 1 - (\binom{n}{k}) 2^{k} 2^{- Ω (m 2^{- k} ε^{2})} .

$\mathbb{P}[\forall S ~~ | \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | \leq \varepsilon] \geq 1 - {n \choose k} 2^k 2^{-\Omega(m 2^{-k} \varepsilon^2)}.$

m = O (2^{k} / ε^{2} \cdot k \log n)

$m = O(2^k/\varepsilon^2 \cdot k \log n)$

0.99

$0.99$

E_{x \in S} [f (x)]

$\mathbb{E}_{x \in S}[f(x)]$

ε

$\varepsilon$

S

$S$

2^{n - k}

$2^{n-k}$

Wenn wir , beweisen wir den Satz: Wählen Sie den Subcube mit dem größtenwird mit hoher Wahrscheinlichkeit die Anforderungen erfüllen. QED $\varepsilon=0.01$ $| \mathbb{E}_{x \in S \cap P}[f(x)]|$

— Thomas unterstützt Monica
quelle

Oh, wow, wie dumm von mir: Ja, die Grundidee ist, dass, wenn Sie Punkte abtasten, ein erwartetes von ihnen in jedem Subcube ist, also mit einem bescheidenen Wert von , der einen großen ergibt genug Stichprobengröße, um das Problem zu lösen, selbst nach Vereinigung über alle Chernoff-Grenzen hinweg. Ich bin mir auch ziemlich sicher, dass jede Lösung angepasst werden kann, um die Lücke zwischen 0,1 und 0,12 zu beseitigen. Deshalb füge ich dies nur als Kommentar zur Frage hinzu. Vielen Dank!!

C \cdot 2^{k}

$C \cdot 2^k$

C

$C$

C

$C$

n^{k}

$n^k$

— Mobius Knödel

Eine andere Möglichkeit, dies zu sehen, besteht darin, dass der von Ihnen beschriebene Bereichsraum die Shatter-Dimension und damit die VC-Dimension begrenzt hat und Sie dann den Satz der eps-Approximation darauf werfen.

— Suresh Venkat