Mahalanobis-Abstand zwischen zwei bivariaten Verteilungen mit unterschiedlichen Kovarianzen

Die Frage ist so ziemlich im Titel enthalten. Was ist der Mahalanobis-Abstand für zwei Verteilungen verschiedener Kovarianzmatrizen? Was ich bisher gefunden habe, setzt für beide Distributionen die gleiche Kovarianz voraus, dh etwas in dieser Art:

Δ^{T} Σ^{- 1} Δ

$\Delta^T \Sigma^{-1} \Delta$

Was ist, wenn ich zwei verschiedene ? $\Sigma$

Hinweis: - Das Problem ist folgendes: Es gibt zwei bivariate Verteilungen mit denselben Abmessungen, die jedoch gedreht und relativ zueinander übersetzt werden (sorry, ich komme aus einem rein mathematischen Hintergrund, nicht aus einem statistischen). Ich muss ihren Grad der Überlappung / Entfernung messen.

* Update: * Was in meiner Anfrage möglicherweise impliziert ist oder nicht, ist, dass ich einen Abstand zwischen den Mitteln der beiden Verteilungen benötige. Ich weiß, wo die Mittel sind, aber da die beiden Verteilungen gegeneinander gedreht sind, muss ich unterschiedlichen Orientierungen unterschiedliche Gewichte zuweisen, und daher funktioniert ein einfacher euklidischer Abstand zwischen den Mitteln nicht. Wie ich es verstanden habe, kann der Mahalanobis-Abstand nicht verwendet werden, um diese Informationen zu messen, wenn die Verteilungen unterschiedlich geformt sind (anscheinend funktioniert er mit zwei multivariaten Normalverteilungen identischer Kovarianzen, aber nicht im allgemeinen Fall). Gibt es ein gutes Maß, das diesen Wunsch codiert, Orientierungen mit unterschiedlichen Gewichten zu codieren?

normal-distribution multivariate-analysis distance-functions

— Kristian D'Amato
quelle

Die Mahalanobis-Entfernung macht keinen Sinn, wenn sich die Verteilungen unterscheiden. (Es ist, als würde man sagen: "Peter lebt auf einer Kugel und Paul lebt auf einer euklidischen Ebene. Wie berechnen wir den Abstand zwischen ihnen?") Vielleicht könnten Sie einen Schritt zurücktreten und uns helfen, die Motivation für die Frage zu verstehen: Was genau tun Sie? hier erreichen wollen? Was ist der statistische Kontext?

— whuber

Okay, ich habe so viel vermutet. Der Grund , warum ich frage ist , dass ich die folgende Gleichung verwendet wird , gesehen hat einen ‚Mahalanobis‘ Abstand zu berechnen, oder so behauptet:

Ich bin nicht sicher , dass das ein Mahalanobis Entfernung; Ich spiegele nur wider, was behauptet wurde. Würde eine Bhattacharya-Distanz an ihrer Stelle besser funktionieren?

Δ^{T} \(Σ_{1} Σ_{2} {\)}^{- 1} Δ

$\Delta^T $\Sigma_1 \Sigma_2$^{-1} \Delta$

— Kristian D'Amato

@ k-damato Mahalanobis Abstand misst den Abstand zwischen Punkten, nicht Verteilungen.

— VQV

Okay, erkennt jemand die obige Gleichung als etwas Sinnvolles? Die Deltas sind Verschiebungsvektoren.

— Kristian D'Amato

@Kristian Ich habe Ihre beiden doppelten Konten zusammengeführt. Bitte benutzen Sie ab sofort Ihr registriertes Konto.

— Chl

Antworten:

Es gibt viele Begriffe von Abstand zwischen Wahrscheinlichkeitsverteilungen. Welche Sie verwenden, hängt von Ihren Zielen ab. Der Gesamtabweichungsabstand ist eine natürliche Methode zur Messung der Überlappung zwischen Verteilungen. Wenn Sie mit multivariaten Normalen arbeiten, ist die Kullback-Leibler-Divergenz mathematisch praktisch. Obwohl es sich eigentlich nicht um eine Entfernung handelt (da sie nicht symmetrisch ist und der Dreiecksungleichung nicht gehorcht), begrenzt sie die gesamte Variationsentfernung nach oben - siehe Pinskers Ungleichung .

— vqv
quelle

Einige der jüngsten Diskussionen hier haben sich auf Änderungen der KL-Divergenz konzentriert, die zu einer korrekten Metrik führen. Falls Sie interessiert sind, sehen Sie hier und hier .

— Kardinal

Intro Wie @vqv erwähnte Total Variation und Kullback Leibler sind zwei interessante Entfernungen. Der erste ist sinnvoll, da er in direktem Zusammenhang mit Fehlern des ersten und zweiten Typs beim Testen von Hypothesen stehen kann. Das Problem mit der Gesamtvariationsentfernung besteht darin, dass die Berechnung schwierig sein kann. Die Kullback Leibler Distanz ist einfacher zu berechnen und ich werde später darauf zurückkommen. Es ist nicht symetrisch, kann aber symetrisch gemacht werden (irgendwie ein bisschen künstlich).

Antwort Etwas, das ich hier erwähne , ist, dass, wenn das logarithmische Wahrscheinlichkeitsverhältnis zwischen Ihren beiden Gaußschen Maßen (sagen wir, dass für den Mittelwert und die Kovarianz ), das Fehlermaß ebenfalls überschneidet (im Gaußschen Fall fand ich es eigentlich ganz zentral) ist $\mathcal{L}$ $P_0,P_1$ $i=0,1$ $P_i$ $\mu_i$ $C_i$

‖ L ‖_{L_{2} (P_{1 / 2})}^{2}

$\|\mathcal{L}\|^2_{L_2(P_{1/2})}$

für ein gut gewähltes . $P_{1/2}$

In einfachen Worten :

Es kann verschiedene interessante "Richtungs" -Rotationen geben, die unter Verwendung Ihrer Formel mit einer der definierten "interpolierten" Kovarianzmatrizen ( oder ) erhalten werden am Ende dieses Beitrags (die Nummer ist die, die Sie in Ihrem Kommentar zu Ihrer Frage vorschlagen). $\Sigma=C_{i,1/2}$ $i=1,2,3,4$ $5$ $5$
Da Ihre beiden Verteilungen unterschiedliche Kovarianzen aufweisen, reicht es nicht aus, die Mittelwerte zu vergleichen . Sie müssen auch die Kovarianzen vergleichen.

Lassen Sie mich Ihnen erklären, warum dies mein Gefühl ist, wie Sie dies im Fall von berechnen können und wie Sie wählen . $C_1\neq C_0$ $P_{1/2}$

Linearer Fall Wenn . $C_1=C_0=\Sigma$

σ = Δ Σ^{- 1} Δ = ‖ 2 L ‖_{L_{2} (P_{1 / 2})}^{2}

$\sigma= \Delta \Sigma^{-1} \Delta=\|2\mathcal{L}\|^2_{L_2(P_{1/2})}$

wobei die "Interpolation" zwischen und (Gauß mit Kovarianz und Mittelwert ). Beachten Sie, dass in diesem Fall der Hellinger-Abstand, der gesamte Variationsabstand, alle mit geschrieben werden kann . $P_{1/2}$ $P_1$ $P_0$ $\Sigma$ $(\mu_1+\mu_0)/2$ $\sigma$

So berechnen Sie im allgemeinen Fall $\mathcal{L}$ Eine natürliche Frage, die sich aus Ihrer (und meiner ) Frage ergibt, ist, was eine natürliche "Interpolation" zwischen und wenn . Hier kann das Wort natürlich benutzerspezifisch sein, aber es kann zum Beispiel mit der besten Interpolation zusammenhängen, eine enge Obergrenze mit einem anderen Abstand zu haben (z. B. Abstand hier ) $P_1$ $P_0$ $C_1\neq C_0$ $L_1$

Schreiben ( ) kann helfen, , wo sich die Interpolationsaufgabe befindet, aber:

L = ϕ (C_{i}^{- 1 / 2} (x - μ_{i})) - ϕ (C_{j}^{- 1 / 2} (x - μ_{j})) - \frac{1}{2} \log (C_{i} C_{j}^{-})

$\mathcal{L}= \phi (C^{-1/2}_i(x-\mu_i))-\phi (C^{-1/2}_j(x-\mu_j))-\frac{1}{2}\log \left ( C_iC_j^{-}\right )$

i = 0, j = 1

$i=0,j=1$

L (x) = - \frac{1}{2} ⟨ A_{i j} (x - s_{i j}), x - s_{i j} ⟩_{R^{p}} + ⟨ G_{i j}, x - s_{i j} ⟩_{R^{p}} - c_{i j}, [1]

$\mathcal{L}(x)=-\frac{1}{2}\langle A_{ij}(x-s_{ij}),x-s_{ij}\rangle_{\mathbb{R}^p}+\langle G_{ij},x-s_{ij}\rangle_{\mathbb{R}^p}-c_{ij}, \;[1]$

mit

A_{i j} = C_{i}^{-} - C_{j}^{-}, G_{i j} = S_{i j} m_{i j}, S_{i j} = \frac{C_{i}^{-} + C_{j}^{-}}{2},

$A_{ij}=C_i^{-}-C_j^{-},\;\; G_{ij}=S_{ij}m_{ij},\;\; S_{ij}=\frac{C_i^{-}+C_j^{-}}{2},$

c_{i j} = \frac{1}{8} ⟨ A_{i j} m_{i j}, m_{i j} ⟩_{R^{p}} + \frac{1}{2} \log | det (C_{j}^{-} C_{i}) |

$c_{ij}=\frac{1}{8}\langle A_{ij} m_{ij},m_{ij}\rangle_{\mathbb{R}^p}+\frac{1}{2}\log|\det(C_j^{-}C_i)|$

und

m_{i j} = μ_{i} - μ_{j} a n d s_{i j} = \frac{μ_{i} + μ_{j}}{2}

$m_{ij}=\mu_i-\mu_j \;\; and\;\; s_{ij}=\frac{\mu_i+\mu_j}{2}$

ist für Rechenzwecke relevanter. Für jedes Gaußsche mit dem Mittelwert und der Kovarianz die Berechnung von aus Gleichung etwas technisch aber fassbar. Sie können es auch verwenden, um die Kulback-Leibler-Entfernung zu berechnen. $P_{1/2}$ $s_{01}$ $C$ $\|\mathcal{L}\|^2_{L_2(P_{1/2})}$ $1$

Welche Interpolation sollten wir wählen (dh wie man wählt ) ? $P_{1/2}$ Aus Gleichung geht klar hervor, dass es im "quadratischen" Fall viele verschiedene Kandidaten für (Interpolation) gibt. Die beiden Kandidaten, die ich als "am natürlichsten" (subjektiv :) ergeben sich aus der Definition einer Verteilung mit dem Mittelwert für : $1$ $P_{1/2}$ $t\in [0,1]$ $P_t$ $t\mu_1+(1-t)\mu_0$

$P^1_t$ als Verteilung von (wobei aus ) mit der Kovarianz ). $ξ_{t} = t ξ_{1} + (1 - t) ξ_{0}$ $\xi_t=t\xi_1+(1-t)\xi_0$ $\xi_i$ $P_i$ $i=0,1$ $C_{t,1}=(tC_1^{1/2}+(1-t)C_0^{1/2})^2$
$P^2_t$ mit inverser Kovarianz $C_{t,2}^{-1}=tC_{1}^{-1}+(1-t)C_0^{-1}$
$P^3_t$ mit Kovarianz $C_{t,3}=tC_1+(1-t)C_0$
$P^4_t$ mit inverser Kovarianz $C_{t,4}^{-1}=(tC^{-1/2}_1+(1-t)C^{-1/2}_0)^{2}$

BEARBEITEN: Derjenige, den Sie in einem Kommentar zu Ihrer Frage vorschlagen, könnte , warum nicht ... $C_{t,5}=C_1^{t}C_0^{1-t}$

Ich habe meine Lieblingswahl, die nicht die erste ist :) Ich habe nicht viel Zeit, um das hier zu diskutieren. Vielleicht bearbeite ich diese Antwort später ...

— Robin Girard
quelle

Dies ist alt, aber für andere, die dies lesen, spiegelt die Kovarianzmatrix die Rotation der Gaußschen Verteilungen wider und der Mittelwert spiegelt die Translation oder zentrale Position der Verteilung wider. Um den Mahab-Abstand zu bewerten, ist es einfach D = ((m2-m1) * inv ((C1 + C2) / 2) * (m2-m1) '). Wenn Sie nun den Verdacht haben, dass die beiden bivariaten Verteilungen gleich sind, aber den Verdacht haben, dass sie gedreht wurden, berechnen Sie die beiden Paare von Eigenvektoren und Eigenwerten für jede Verteilung. Die Eigenvektoren zeigen in Richtung der Ausbreitung der bivariaten Daten entlang der Haupt- und Nebenachse, und die Eigenwerte bezeichnen die Länge dieser Ausbreitung. Wenn die Eigenwerte gleich sind, sind die beiden Verteilungen gleich, aber gedreht. Nehmen Sie acos des Punktprodukts zwischen den Eigenvektoren, um den Drehwinkel zu erhalten.

— Sturmjäger
quelle