Warum wird beim Chi-Quadrat-Test die erwartete Anzahl als Varianz verwendet?

Auf welcher Grundlage wird bei $\chi^2$ Tests die Quadratwurzel der erwarteten Zählungen als Standardabweichung (dh die erwarteten Zählungen als Varianzen) für jede der Normalverteilungen verwendet? Das einzige, was ich darüber diskutieren konnte, ist http://www.physics.csbsju.edu/stats/chi-square.html , und es werden nur Poisson-Distributionen erwähnt.

Als einfaches Beispiel für meine Verwirrung, was wäre, wenn wir testen würden, ob zwei Prozesse signifikant unterschiedlich sind, einer, der 500 As und 500 Bs mit sehr geringer Varianz erzeugt, und der andere, der 550 As und 450 Bs mit sehr geringer Varianz erzeugt (selten erzeugt) 551 As und 449 Bs)? Ist die Varianz hier nicht eindeutig der erwartete Wert?

(Ich bin kein Statistiker und suche daher wirklich nach einer Antwort, die für den Laien zugänglich ist.)

hypothesis-testing chi-squared

— Yang
quelle

Das hat wahrscheinlich etwas mit der Tatsache zu tun , dass die Varianz eines

χ_{k}^{2}

$\chi^{2}_{k}$ Zufallsvariable

2 k

$2k$ und auch mit der Tatsache , dass die Statistik mit 2 multipliziert werden muss , die korrekte Verteilung zu haben (wie in dem Wahrscheinlichkeitsverhältnis - Test). Vielleicht weiß jemand mehr formal darüber.

— Makro

Antworten:

Die allgemeine Form für viele Teststatistiken ist

$\frac{observed - expected}{standard error}$

Bei einer normalen Variablen basiert der Standardfehler entweder auf der bekannten Populationsvarianz (z-Statistiken) oder der Schätzung aus der Stichprobe (t-Statistiken). Beim Binomial basiert der Standardfehler auf dem Anteil (hypothetischer Anteil für Tests).

In einer Kontingenztabelle kann die Anzahl in jeder Zelle als aus einer Poisson-Verteilung stammend mit einem Mittelwert gleich dem erwarteten Wert (unter der Null) betrachtet werden. Die Varianz für die Poisson-Verteilung ist gleich dem Mittelwert, daher verwenden wir den erwarteten Wert auch für die Standardfehlerberechnung. Ich habe eine Statistik gesehen, in der stattdessen die beobachtete verwendet wird, die jedoch weniger theoretisch begründet ist und nicht so gut zur -Verteilung konvergiert . $\chi^2$

— Greg Snow
quelle

Ich bleibe bei der Verbindung mit dem Poisson stecken und verstehe, warum jede Zelle als von einem Poisson stammend betrachtet werden kann. Ich kenne den Mittelwert / die Varianz von Poissons und ich weiß, dass sie die Anzahl von Ereignissen repräsentieren, denen eine Rate gegeben ist. Ich weiß auch, dass Chi-Quadrat-Verteilungen die Summe der Quadrate von Normalen (Varianz 1) darstellen. Ich versuche nur, die Rechtfertigung der Wiederverwendung des erwarteten Wertes als Annahme der "Ausbreitung" der einzelnen Normalen in den Kopf zu schließen. Ist das nur, um alles an die Chi-Quadrat-Verteilung anzupassen / um die Normalen zu "standardisieren"?

— Yang

Es gibt ein paar Probleme, die Poisson-Verteilung ist häufig anzutreffen, wenn die Dinge ziemlich unabhängig sind. Anstatt sich die Tabelle als eine feste Summe vorzustellen und die Werte auf die Zellen der Tabelle zu verteilen, stellen Sie sich nur eine Zelle der Tabelle vor und warten eine bestimmte Zeit, um zu sehen, wie viele Antworten in diese Zelle fallen Dies passt zur allgemeinen Idee des Poisson. Für große Mittelwerte können Sie ein Poisson mit einer Normalverteilung approximieren. Daher ist die Teststatistik als normale Approximation für das Poisson sinnvoll und wird dann in

konvertiert .

χ^{2}

$\chi^2$

— Greg Snow

(+1) Angenommen, die Zellenzahlen

waren unabhängige Poisson-Zufallsvariablen mit dem Mittelwert

. Dann sicherlich

X_{i}, \dots, X_{k}

$X_i,\ldots,X_k$

n π_{i}

$n\pi_i$

in der Verteilung. Das Problem dabei ist jedoch, dass

einParameter istund nicht die tatsächlich beobachteten Zählungen. Die insgesamt beobachteten Zählungen sind

\sum_{i = 1}^{k} \frac{(X_{i} - n π_{i})^{2}}{n π_{i}} \to χ_{k}^{2}

$\sum_{i=1}^k \frac{(X_i - n\pi_i)^2}{n \pi_i} \to \chi_k^2$

n

$n$

N = \sum_{i = 1}^{k} X_{i} \sim P o i (n)

$N = \sum_{i=1}^k X_i \sim \mathrm{Poi}(n)$ . Obwohl

ziemlicher Sicherheit von der SLLN festgelegt wird, muss noch etwas mehr Arbeit geleistet werden, um die Heuristik in etwas Umsetzbares zu verwandeln.

N / n \to 1

$N/n \to 1$

— Kardinal

Um meine Verwirrung zu veranschaulichen, was wäre, wenn wir testen würden, ob zwei Prozesse signifikant unterschiedlich sind, einer, der 500 As und 500 Bs mit sehr geringer Varianz erzeugt, und der andere, der 550 As und 450 Bs mit sehr geringer Varianz erzeugt (selten erzeugt) 551 As und 449 Bs)? Ist die Varianz hier nicht eindeutig nicht einfach der erwartete Wert?

— Yang

@Yang: Es hört sich so an, als ob Ihre Daten - die Sie nicht beschrieben haben - nicht mit dem Modell übereinstimmen, das der Verwendung der Chi-Quadrat-Statistik zugrunde liegt. Das Standardmodell ist eines der multinomialen Stichprobenverfahren . Streng genommen wird nicht einmal die (bedingungslose) Poisson-Probenahme abgedeckt, wie Gregs Antwort annimmt. Ich verweise (vielleicht stumpf) in meinem vorherigen Kommentar darauf.

— Kardinal

Lassen Sie uns den einfachsten Fall behandeln, um zu versuchen, die meiste Intuition zu vermitteln. Sei eine iid-Stichprobe aus einer diskreten Verteilung mit Ergebnissen. Sei die Wahrscheinlichkeiten für jedes einzelne Ergebnis. Wir sind in der (asymptotischen) Verteilung der Chi-Quadrat - Statistik interessiert $X_1, X_2, \ldots, X_n$ $k$ $\pi_1,\ldots,\pi_k$ Hier die erwartete Anzahl von Zählungen der ist - ten Ergebnisses.

X^{2} = \sum_{ich = 1}^{k} \frac{(S_{ich} - n π_{ich})^{2}}{n π_{ich}} .

$X^2 = \sum_{i=1}^k \frac{(S_i - n \pi_i)^2}{n\pi_i} \> .$

n π_{i}

$n \pi_i$

i

$i$

Eine suggestive Heuristik

Definiere , so dass mit. $U_i = (S_i - n\pi_i) / \sqrt{n \pi_i}$ $X^2 = \sum_i U_i^2 = \newcommand{\U}{\mathbf{U}}\|\U\|^2_2$ $\U = (U_1,\ldots,U_k)$

Da ist , $S_i$ , dann durch denzentralen Grenzwertsatz, $\mathrm{Bin}(n,\pi_i)$ Somit haben wir auchdass, .

T_{ich} = \frac{U_{ich}}{\sqrt{1 - π_{ich}}} = \frac{S_{ich} - n π_{ich}}{\sqrt{n π_{ich} (1 - π_{ich})}} \overset{d}{\to} N (0, 1),

$\newcommand{\convd}{\xrightarrow{d}}\newcommand{\N}{\mathcal{N}} T_i = \frac{U_i}{\sqrt{1-\pi_i}} = \frac{S_i - n \pi_i}{\sqrt{ n\pi_i(1-\pi_i)}} \convd \N(0, 1) \>,$

U_{i} \overset{d}{\to} N (0, 1 - π_{i})

$U_i \convd \N(0, 1-\pi_i)$

Nun, wenn die waren (asymptotisch) unabhängig (was sie nicht sind), dann könnten wir argumentieren , dass war asymptotisch verteilt. Beachten Sie jedoch, dass eine deterministische Funktion von und die -Variablen daher möglicherweise nicht unabhängig sein können. $T_i$ $\sum_i T_i^2$ $\chi_k^2$ $T_k$ $(T_1,\ldots,T_{k-1})$ $T_i$

Daher müssen wir die Kovarianz zwischen ihnen irgendwie berücksichtigen. Es stellt sich heraus, dass der "richtige" Weg, dies zu tun, darin besteht, stattdessen das verwenden, und die Kovarianz zwischen den Komponenten von ändert auch die asymptotische Verteilung von dem, was wir für zu dem, was tatsächlich ist. a . $U_i$ $\U$ $\chi_{k}^2$ $\chi_{k-1}^2$

Einige Details dazu folgen.

Eine strengere Behandlung

Es ist nicht schwer zu überprüfen, ob für. $\newcommand{\Cov}{\mathrm{Cov}}\Cov(U_i, U_j) = - \sqrt{\pi_i \pi_j}$ $i \neq j$

Die Kovarianz von ist also $\U$ wo

EIN = ich - \sqrt{π} {\sqrt{π}}^{T},

$\newcommand{\sqpi}{\sqrt{\boldsymbol{\pi}}} \newcommand{\A}{\mathbf{A}} \A = \mathbf{I} - \sqpi \sqpi^T \>,$

. Man beachtedass

symmetrisch und idempotent, dh

. Wenn also insbesondere

Standardnormalkomponenten hat, dann ist

\sqrt{π} = (\sqrt{π_{1}}, \dots, \sqrt{π_{k}})

$\sqpi = (\sqrt{\pi_1}, \ldots, \sqrt{\pi_k})$

A

$\A$

A = A^{2} = A^{T}

$\A = \A^2 = \A^T$

Z = (Z_{1}, \dots, Z_{k})

$\newcommand{\Z}{\mathbf{Z}}\Z = (Z_1, \ldots, Z_k)$

. (Hinweis:Die multivariate Normalverteilung ist in diesem Fallentartet.)

A Z \sim N (0, A)

$\A \Z \sim \N(0, \A)$

Nach dem multivariaten zentralen Grenzwertsatz ist der Vektor $\U$ $0$ $\A$

$\U$ $\A \Z$ $X^2 = \U^T \U$ $\Z^T \A^T \A \Z = \Z^T \A \Z$

Aber ist symmetrisch und idempotent, so dass ( a ) es orthogonale Eigenvektoren hat, ( b ) alle seine Eigenwerte 0 oder 1 sind und ( c ) die Multiplizität des Eigenwerts von 1 . Dies bedeutet , dass kann als zerlegt wird wobei orthogonal und eine Diagonalmatrix mit , die auf den Diagonalen und die übrigen Diagonaleinträge Null sind. $\A$ $\mathrm{rank}(\A)$ $\A$ $\A = \mathbf{Q D Q}^T$ $\mathbf{Q}$ $\mathbf{D}$ $\mathrm{rank}(\A)$

Somit muss verteilt , da Rang hat in unserem Fall. $\Z^T \A \Z$ $\chi^2_{k-1}$ $\A$ $k-1$

Andere Verbindungen

Die Chi-Quadrat-Statistik steht auch in engem Zusammenhang mit der Wahrscheinlichkeitsquotientenstatistik. In der Tat handelt es sich um eine Rao-Score-Statistik , die als Taylor-Näherung der Wahrscheinlichkeitsverhältnis-Statistik angesehen werden kann.

Verweise

Dies ist meine eigene Entwicklung, die auf Erfahrung basiert, aber offensichtlich von klassischen Texten beeinflusst wird. Gute Orte, um mehr zu lernen, sind

GAF Seber und AJ Lee (2003), Linear Regression Analysis , 2. Aufl., Wiley.
E. Lehmann und J. Romano (2005), Testing Statistical Hypotheses , 3. Aufl., Springer. Insbesondere Abschnitt 14.3 .
DR Cox und DV Hinkley (1979), Theoretical Statistics , Chapman and Hall.

— Kardinal
quelle

(+1) Ich denke, es ist schwierig, diesen Beweis in Standardtexten zur kategorialen Datenanalyse wie Agresti, A. (2002) zu finden. Kategoriale Datenanalyse. John-Wiley.

— Suncoolsu

Danke für den Kommentar. Ich weiß, dass es in Agresti eine Behandlung der Chi-Quadrat-Statistik gibt, aber ich kann mich nicht erinnern, wie weit er damit gekommen ist. Er kann sich nur auf die asymptotische Äquivalenz mit der Wahrscheinlichkeitsverhältnisstatistik berufen.

— Kardinal

k - 1

$k-1$

X

$X$

S

$S$