Wie wird eine Ableitung der multivariaten Normaldichte genommen?

Angenommen, ich habe eine multivariate normale Dichte . Ich möchte die zweite (teilweise) Ableitung von . Ich bin mir nicht sicher, wie ich eine Ableitung einer Matrix nehmen soll. $N(\mu, \Sigma)$ $\mu$

Wiki sagt, nimm das Derivat Element für Element in die Matrix.

Ich arbeite mit der Laplace-Approximation Der Modus ist .

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

Mir wurde wie kam es dazu?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

Was ich getan habe:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

Also nehme ich die Ableitung für , erstens gibt es eine Transponierung, zweitens ist es eine Matrix. Also stecke ich fest. $\theta$

Hinweis: Wenn mein Professor darauf stößt, beziehe ich mich auf die Vorlesung.

self-study normal-distribution matrix

— user1061210
quelle

Teil Ihres Problems kann sein, dass Ihr Ausdruck für die Log-Wahrscheinlichkeit einen Fehler enthält - Sie habenwo solltest du haben . Meinten Sie zufällig auch ?

| Σ |

$|\Sigma|$

\log (| Σ |)

$\log(|\Sigma|)$

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$

— Makro

Ja, Sie haben recht, tut mir leid. Warum steht vor der partiellen Ableitung ein negatives Vorzeichen?

— user1061210

Ich habe nur das negative Vorzeichen klargestellt, weil die negative zweite Ableitung die beobachteten Fischerinformationen sind, die normalerweise von Interesse sind. Nach meiner eigenen Berechnung

ich außerdem fest, dass

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— Makro

Wie ist also die allgemeine Vorgehensweise für diskrete / kontinuierliche Funktionen? Nehmen Sie ein Protokoll, schreiben Sie in Taylor-Expansionsform, differenzieren Sie zweimal mit

. Fisher Info ist in der Regel nicht wahr, die meisten anderen Dichten, oder?

θ

$\theta$

— user1061210

@user Als ich darauf hinwies, die zweite Ableitung des Logarithmus muss nicht-positive Eigenwerte. Ja, es gibt Zusammenhänge zwischen Varianzen und negativen zweiten partiellen Ableitungen, wie die Theorie der Maximum-Likelihood-Schätzung, Fisher-Informationen usw. zeigt - Macro hat in diesen Kommentaren bereits darauf hingewiesen.

— whuber

Antworten:

In Kapitel 2 des Matrix-Kochbuchs finden Sie eine schöne Übersicht über Matrix-Kalkül-Inhalte, die eine Menge nützlicher Identitäten enthält, die bei Problemen mit Wahrscheinlichkeits- und Statistikmessungen hilfreich sind, einschließlich Regeln zur Unterscheidung der multivariaten Gaußschen Wahrscheinlichkeit.

Wenn Sie einen Zufallsvektor , der multivariate Normalen mit dem mittleren Vektor und der Kovarianzmatrix , verwenden Sie Gleichung (86) im Matrixkochbuch, um herauszufinden, dass der Gradient der logarithmischen Wahrscheinlichkeit in Bezug auf ist ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial L}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (y - μ)) \\ = Σ^{- 1} (y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

Ich überlasse es Ihnen, dies noch einmal zu differenzieren und die Antwort zu finden: . $-{\boldsymbol \Sigma}^{-1}$

Verwenden Sie als "extra credit" die Gleichungen (57) und (61), um herauszufinden, dass der Gradient in Bezug auf ist ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (\frac{\partial \log (| Σ |)}{\partial Σ} + \frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

Ich habe viele der Schritte ausgelassen, aber ich habe diese Ableitung nur unter Verwendung der im Matrix-Kochbuch gefundenen Identitäten vorgenommen, sodass ich es Ihnen überlassen werde, die Lücken auszufüllen.

Ich habe diese Bewertungsgleichungen für die Schätzung der maximalen Wahrscheinlichkeit verwendet, daher weiß ich, dass sie korrekt sind :)

— Makro
quelle

Tolle Referenz - würde es mir empfehlen. Keine gute pädagogische Referenz für jemanden, der die Matrixalgebra nicht kennt. Die eigentliche Herausforderung besteht darin, tatsächlich . Ein echter Schmerz.

Σ

$\Sigma$

— Wahrscheinlichkeitsrechnung

Eine weitere gute Quelle für Matrixrechnung ist Magnus & Neudecker, amazon.com/…

— StasK

Die Referenznummer der Gleichung wurde geändert (möglicherweise aufgrund einer neuen Ausgabe). Die neue Referenzgleichung lautet 86.

— goelakash

Ich könnte hier off-base sein, aber ich denke nicht, dass diese Formel richtig ist. Ich habe dies mit realen Beispielen verwendet und mir ihre endlichen Unterschiede angesehen. Es scheint, dass die Formel für

gibt die richtigen Werte für die Diagonaleinträge. Die nicht diagonalen Einträge sind jedoch die Hälfte dessen, was sie sein sollten.

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— Jjet

Sie müssen sicherstellen, dass Sie sich ordnungsgemäß um die wiederholten Elemente in. , andernfalls sind Ihre Ableitungen falsch. Zum Beispiel, (141) , das Matrix - Kochbuch gibt für eine symmetrische der folgenden Derivate $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial \log | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

Und (14) der Differenzierung der Funktionen von Kovarianzmatrizen gibt

\begin{aligned} \frac{\partial trace (Σ^{- 1} x x^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

wobei das Hadmard-Produkt bezeichnet und wir der Einfachheit halber . $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

Man beachte insbesondere, dass dies nicht dasselbe ist, als wenn keine Symmetrie von auferlegt wird. Als Ergebnis haben wir das $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (D \log | 2 π | + \log | Σ | + x^{⊤} Σ^{- 1} x)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (\log | Σ | + trace (Σ^{- 1} x x^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ I) - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

wobei die Dimension von , und und die Ableitung von ist 0 $D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

Damit wird die Element $i,j^{th}$ entspricht $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ . $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— Lawrence Middleton
quelle

Ich habe versucht, die Antwort von @ Macro rechnerisch zu überprüfen, habe aber festgestellt, dass die Kovarianzlösung einen geringfügigen Fehler enthält. Er erhielt

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) = A \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$

B = 2 A - diag (A)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$

Σ

${\boldsymbol \Sigma}$

A

${\bf A}$

B

${\bf B}$ ist für jeden Eintrag korrekt.

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
quelle

Σ

$\Sigma$