Untergrenze zum Testen der Nähe in der

11

Ich habe mich gefragt, ob für das folgende Problem eine Untergrenze (in Bezug auf die Komplexität der Stichproben) bekannt ist:

Bei Beispiel-Orakelzugriff auf zwei unbekannte Verteilungen $D_1$ , $D_2$ auf $\{1,\dots,n\}$ testen Sie (whp), ob

$D_1=D_2$
oder $\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu et al. [BFR + 00] zeigte, dass $O\left(\frac{1}{\epsilon^4}\right)$ Proben waren ausreichend, aber ich habe keine Erwähnung einer Untergrenze gefunden?

Ich denke, man könnte immer ein $\Omega(\frac{1}{\epsilon^2})$ Untergrenze durch Reduzieren der Aufgabe der Unterscheidung einer fairen vs. $\epsilon$ voreingenommenen Münze auf dieses Problem (Simulation einer Verteilung, die nur auf zwei Punkten unterstützt wird, und Beantwortung der Fragen des Testers gemäß den iid-Münzwürfen), aber das immer noch hinterlässt eine quadratische Lücke ...

(Ein weiterer Punkt, an dem ich interessiert wäre, ist eine Untergrenze bei der Schätzung (bis zu einem Additiv $\epsilon$ ) dieser $L_2$ -Distanz - auch hier habe ich in der Literatur keinen Hinweis auf ein solches Ergebnis gefunden.)

Danke für Ihre Hilfe,

— Clement C.
quelle

Dieses Versprechungsproblem scheint dem von Sahai und Vadhan als statistischer Unterschied bezeichneten Problem sehr ähnlich zu sein , das ein vollständiges Problem für die Klasse SZK (statistisches Nullwissen) darstellt. Sie verwenden jedoch den Abstand

. cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Bearbeiten: auch ich denke, sie gehen davon aus, dass Sie eine Schaltung haben, die die Verteilungen berechnet, nicht Orakelzugriff.)

L_{1}

$L_1$

— Usul

Hallo zusammen , wie in einem anderen Kommentar erwähnt, ist die Differenz zwischen

und

Norm ist tatsächlich entscheidend hier - weiter, in ther Papier, sie gründen eine explizite (und nicht frei wählbar) Schwelle

(in einer der Ausführungen erklären sie, dass dieser Schwellenwert eine bestimmte Einschränkung erfüllen muss); und möchten

gegen

(was irgendwie näher an toleranten Tests / Abstandsschätzungen liegt als "übliche Tests", bei denen Sie

gegen

testen möchten

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

(aber fürjedesfeste

)).

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Clement C.

6

Es scheint, dass -Proben - wie unten gezeigt - zum Testen ausreichen, so dass die Probenkomplexität genau beträgt ; tatsächlich stellt sich diese Anzahl von Proben aus uns selbst genug für das Lernen ein Additiv bis wrt der Norm. $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Lassen die empirische Dichtefunktion durch Ziehen erhalten werden iid Proben und Einstellen $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$ Dann

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

wobei

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

. Die

‚s (für

) sind nicht unabhängig, aber wir schreiben

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$

k \in [n]

$k\in[n]$

so dass für

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

,

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

und Markov-Ungleichung Anwendung

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Clement C.
quelle

(Ich bezog mich auf Usuls Antwort, beginnend mit "Ich werde versuchen, meinen vorherigen Fehler zu büßen, indem ich etwas Gegenteiliges [...] zeige" - was tatsächlich über diesem liegt. Ich habe das nicht erwartet :)) Was das Lernen betrifft obere gebunden ist , kann es , dass die meisten naiver Algorithmus gezeigt werden (dh, derjenige ist, zieht

Proben und gibt die empirische Dichte Bestimmt) ergibt eine Verteilung

, die mit einer konstanten Wahrscheinlichkeit ,

-nah zu

in

Abstand.

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Clement C.

@ DW Ich habe gerade meine Antwort bearbeitet.

— Clement C.

3

Ich werde für meine früheren Fehler zu büßen versuchen , durch etwas gegenüber zeigt - , dass Proben sind ausreichend (die Untergrenze vonist fast eng)! Sehen Sie, was Sie denken ... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

Die Schlüsselintuition geht von zwei Beobachtungen aus. Erstens müssen Verteilungen mit hoher Wahrscheinlichkeit ( ) vorhanden sein , damit Verteilungen einen -Abstand von haben . Wenn wir zum Beispiel Wahrscheinlichkeitspunkte , hätten wir $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ . $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

Zweitens betrachten wir Gleichverteilungen mit einem -Distanz von . Wenn wir Wahrscheinlichkeitspunkte , würden sie sich jeweils um und Stichproben würden ausreichen. Wenn wir dagegen Punkte hätten, müssten sie sich jeweils um und erneut um $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ Stichproben (eine konstante Anzahl pro Punkt) reichen aus. Wir können also hoffen, dass es unter den zuvor erwähnten Punkten mit hoher Wahrscheinlichkeit immer einen Punkt gibt, der sich "genug" unterscheidet, dass zeichnet. $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Algorithmus. Bei und einem Konfidenzparameter sei . Zeichne $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ Proben aus jeder Verteilung. Seidie jeweils höhere, niedrigere Anzahl von Abtastwerten für Punkt. Wenn es einen Punktfür den $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ und $a_i \geq \frac{X}{8}$ , deklarieren Sie die Verteilungen unterschiedlich. Andernfalls deklarieren Sie sie gleich. $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Die Korrektheits- und Konfidenzgrenzen ( ) hängen vom folgenden Lemma ab, das besagt, dass die gesamte Abweichung in der -Distanz von Punkten stammt, deren Wahrscheinlichkeiten sich um . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Anspruch. Angenommen, . Sei . Sei $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ . Dann ist $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Beweis . Wir haben Lassen Sie uns die zweite Summe binden; wir wollen maximieren, vorbehaltlich . Da die Funktion streng konvex ist und zunimmt, können wir das Ziel erhöhen, indem wir ein beliebiges

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

und Erhöhen von

um

während

um

verringertwird. Somit wird das Ziel mit so vielen Termen wie möglich bei ihren Maximalwerten und der Rest bei

maximiert. Der Maximalwert jedes Terms ist

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$

, und es gibt höchstens

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

Terme dieses Wertes (da sie höchstens

). Also

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Anspruch . Sei . Wenn , existiert mindestens ein Punkt mit $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ und $p_i > \frac{\epsilon^2}{4}$ . $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

$S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

$\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

$D_1 = D_2$ $e^{-\Omega(M)}$

$p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

$p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

$1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

$\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

$i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$

$i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

$i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

$M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— usul
quelle

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

@ClementC. Entschuldigung, ich war nicht sehr klar! Die Behauptung ist, wenn wir ziehen

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

OK, das habe ich gesammelt. Ich werde den Beweis in diesem Sinne durchgehen - nochmals vielen Dank für die Zeit, die Sie dafür aufgewendet haben!

— Clement C.

1

$n=2$ $\Theta(1/\epsilon^2)$

$L_2$ $L_1$

$D_1$ $D_2$
$D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
$||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Ich weiß nicht, ob dies irgendwohin führen wird oder nicht; Es ist nur eine Idee. Wahrscheinlich haben die Autoren des von Ihnen zitierten Papiers so etwas bereits versucht oder in Betracht gezogen.

Möglicherweise hilfreiche Referenzen:

— DW
quelle

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

0

EDIT: das ist falsch! Siehe die Diskussion in den Kommentaren - ich werde auf den Fehler unten hinweisen.

$\frac{1}{\epsilon^4}$

$n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

$n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

$\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

$\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Ich denke auch, dass das gleiche Argument besagt, dass , wenn wir an interessiert sind $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— usul
quelle

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

1

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

1

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$ , weil die Differenz zwischen 1.000.000 und 1.100.000 100 Standardabweichungen beträgt, dh riesig.

— DW

1 / ϵ^{2}

$1/\epsilon^2$