Was ist die normale Annäherung an die Multinomialverteilung?

Wenn es mehrere mögliche Annäherungen gibt, suche ich nach der grundlegendsten.

Sie können es mit der multivariaten Normalverteilung auf dieselbe Weise approximieren, wie die Binomialverteilung durch die univariate Normalverteilung approximiert wird. Überprüfen Sie die Elemente der Verteilungstheorie und der multinomialen Verteilung auf den Seiten 15-16-17.

Sei der Vektor Ihrer Wahrscheinlichkeiten. Dann ist der mittlere Vektor der multivariaten Normalverteilung . Die Kovarianzmatrix ist eine symmetrische Matrix. Die diagonalen Elemente sind tatsächlich die Varianz von ; dh , . Das nicht diagonale Element in der i-ten Zeile und der j-ten Spalte ist , wobei nicht gleich .$P=(p_1,...,p_k)$$np=(np_1,np_2,...,np_k)$$k \times k$$X_i$$np_i(1-p_i)$$i=1,2...,k$$\text{Cov}(X_i,X_j)=-np_ip_j$$i$$j$

Die in dieser Antwort angegebene Dichte ist entartet, und so habe ich Folgendes verwendet, um die Dichte zu berechnen, die sich aus der normalen Näherung ergibt:

Es gibt einen Satz, der besagt, dass eine Zufallsvariable für einen dimensionalen Vektor mit und , das;$X = [X_1, \ldots, X_m]^T \sim \text{Multinom}(n, p)$$m$$p$$\sum_i p_i = 1$$\sum_i X_i = n$

$$X \xrightarrow{d} \sqrt{n} \, \text{diag}(u) \, Q \begin{bmatrix} Z_1 \\ \vdots \\ Z_{m-1} \\ 0 \end{bmatrix} + \begin{bmatrix} n p_1 \\ \vdots \\ n p_m \end{bmatrix},$$

für großes gegeben;$n$

• ein Vektor mit ;$u$$u_i = \sqrt{p_i}$
• Zufallsvariablen für und;$Z_i \sim N(0,1)$$i = 1, \ldots, m-1$
• eine orthogonale Matrix mit der letzten Spalte .$Q$$u$

Das heißt, mit einer gewissen Umlagerung können wir eine dimensionale multivariate Normalverteilung für die ersten Komponenten von (die die einzigen interessanten Komponenten sind, da die Summe der anderen ist).$m-1$$m-1$$X$$X_m$

Ein geeigneter Wert der Matrix ist mit - dh einer bestimmten Householder-Transformation.$Q$$I - 2 v v^T$$v_i = (\delta_{im} - u_i) / \sqrt{2(1 - u_m)}$

Wenn wir die linke Seite auf die ersten Zeilen beschränken und auf die ersten Zeilen und Spalten beschränken (bezeichnen diese bzw. ), dann:$m-1$$Q$$m-1$$m-1$X$\hat{X}$Q$\hat{Q}$

$$\hat{X} \xrightarrow{d} \sqrt{n} \text{diag}(\hat{u}) \hat{Q} \begin{bmatrix} Z_1 \\ \vdots \\ Z_{m-1} \end{bmatrix} + \begin{bmatrix} n p_1 \\ \vdots \\ n p_{m-1} \end{bmatrix} \sim \mathcal{N} \left( \mu, n \Sigma \right),$$

$n$

• $\hat{u}$$m-1$$u$
• $\mu = [ n p_1, \ldots, n p_{m-1}]^T$
• $n \Sigma = n A A^T$$A = \text{diag}( \hat{u} ) \hat{Q}$

Die rechte Seite dieser endgültigen Gleichung ist die nicht entartete Dichte, die bei der Berechnung verwendet wird.

Wenn Sie alles anschließen, erhalten Sie erwartungsgemäß die folgende Kovarianzmatrix:

$$(n\Sigma)_{ij} = n \sqrt{p_i p_j} (\delta_{ij} - \sqrt{p_i p_j})$$

$i,j = 1, \ldots, m-1$$m-1$$m-1$

Dieser Blogeintrag war mein Ausgangspunkt.