Messung der nichtlinearen Abhängigkeit

Die Kovarianz zwischen zwei Zufallsvariablen definiert ein Maß dafür, wie eng sie linear miteinander verbunden sind. Was aber, wenn die gemeinsame Verteilung kreisförmig ist? Sicher gibt es Struktur in der Verteilung. Wie wird diese Struktur extrahiert?

covariance-matrix

— Unendlichkeit
quelle

Antworten:

Unter "kreisförmig" verstehe ich, dass sich die Verteilung auf einen kreisförmigen Bereich konzentriert, wie in diesem Konturdiagramm eines PDFs.

Konturdiagramm einer Kreisverteilung

Wenn eine solche Struktur auch nur teilweise existiert, besteht eine natürliche Methode zur Identifizierung und Messung darin, die Verteilung kreisförmig um ihr Zentrum zu mitteln . (Intuitiv bedeutet dies, dass wir für jeden möglichen Radius die Wahrscheinlichkeit, dass wir uns im Abstand vom Zentrum befinden, gleichmäßig in alle Richtungen verteilen sollten .) Wenn die Variablen als , muss sich das Zentrum am Punkt von befinden erste Momente . Für die Mittelung ist es zweckmäßig, die radiale Verteilungsfunktion zu definieren $r$ $r$ $(X,Y)$ $(\mu_X, \mu_Y)$

F (ρ) = Pr [(X - μ_{X})^{2} + (Y - μ_{Y})^{2} \leq ρ^{2}], ρ \geq 0;

$F(\rho) = \Pr[(X-\mu_X)^2 + (Y-\mu_Y)^2 \le \rho^2], \rho \ge 0;$

F (ρ) = 0, ρ < 0.

$F(\rho) = 0, \rho \lt 0.$

Dies erfasst die Gesamtwahrscheinlichkeit, zwischen dem Abstand und des Zentrums zu liegen. Verbreiten sie in alle Richtungen, lassen eine Zufallsvariable mit cdf und werden , um eine einheitliche Zufallsvariable auf unabhängig von . Das bivariate Zufallsvariable $0$ $\rho$ $R$ $F$ $\Theta$ $[0, 2\pi]$ $R$ ) gleich wahrscheinlich sind.) $(\Xi, H) = (R\cos(\Theta) + \mu_X, R\sin(\Theta)+\mu_Y)$ ist der kreisförmige Durchschnitt von . (Dies macht den Job, den unsere Intuition von einem "kreisförmigen Durchschnitt" verlangt, weil (a) er konstruktionsbedingt die richtige radiale Verteilung hat, nämlich , und (b) alle Richtungen vom Zentrum ( $(X,Y)$ $F$ $\Theta$

An diesem Punkt haben Sie viele Möglichkeiten: Sie müssen nur noch die Verteilung von mit der von . Zu den Möglichkeiten gehören ein Abstand und die Kullback-Leibler-Divergenz (zusammen mit unzähligen verwandten Abstandsmaßen: symmetrisierte Divergenz, Hellinger-Abstand, gegenseitige Information usw. ). Der Vergleich legt nahe, dass eine kreisförmige Struktur haben kann, wenn es "nahe" an $(X,Y)$ $(\Xi, H)$ $L^p$ $(X,Y)$ $(\Xi, H)$ . In diesem Fall kann die Struktur aus den Eigenschaften von "extrahiert" werden . Zum Beispiel identifiziert ein Maß für die zentrale Position von , wie sein Mittelwert oder Median, den "Radius" der Verteilung von , und die Standardabweichung (oder ein anderes Maß für die Skalierung) von drückt aus, wie "Ausbreitung" out " liegen in radialer Richtung um ihren zentralen Ort . $F$ $F$ $(X,Y)$ $F$ $(X,Y)$ $(\mu_X, \mu_Y)$

Bei der Abtastung aus einer Verteilung mit Daten , besteht ein vernünftiger Test der Zirkularität darin, den zentralen Ort wie gewohnt (mit Mittelwerten oder Medianwerten) zu schätzen und von dort jeden Wert in Polarkoordinaten $(x_i,y_i), 1 \le i \le n$ $(x_i,y_i)$ $(r_i, \theta_i)$ relativ zu diesem geschätzten Zentrum. Vergleichen Sie die Standardabweichung (oder den IQR) der Radien mit ihrem Mittelwert (oder Median). Für nicht kreisförmige Verteilungen ist das Verhältnis groß; für Kreisverteilungen sollte es relativ klein sein. (Wenn Sie ein bestimmtes Modell für die zugrunde liegende Verteilung im Auge haben, können Sie die Stichprobenverteilung der Radialstatistik berechnen und damit einen Signifikanztest erstellen.) Testen Sie die Winkelkoordinate separat auf Gleichmäßigkeit im Intervall . Sie ist für Kreisverteilungen (und auch für einige andere Verteilungen) ungefähr gleichmäßig. Eine Ungleichmäßigkeit zeigt eine Abweichung von der Zirkularität an. $[0, 2\pi)$

— whuber
quelle

Vielen Dank! Obwohl nicht ganz klar, gibt mir dies eine Vorstellung. Könnten Sie bitte eine Lektüre empfehlen, in der diese Art von Distributionen behandelt werden? Ich war nur Gaußschen und den anderen Standardverteilungen ausgesetzt. Eine andere Frage: Hat dies etwas mit den radialen Verteilungsfunktionen der Atome usw. zu tun?

— Unendlichkeit

@Infinity Lassen Sie mich wissen, welcher Teil nicht klar ist, damit ich versuchen kann, ihn zu reparieren. Ich weiß nicht, wo solche Verteilungen diskutiert werden, aber verwandte Analysen finden sich in der Literatur zu "zirkulären Verteilungen". Die zugrunde liegenden mathematischen Ideen sind in der Tat etwas eng mit der Atomorbitaltheorie verbunden. Die relevanten Konzepte umfassen die Trennbarkeit der Schrödinger-Gleichung in sphärischen Koordinaten, die Konstruktion des Haar-Maßes einer kompakten Lie-Gruppe durch Mittelung und den Vergleich von Orbitalen mittels Überlappungsintegralen.

— whuber

(μ_{X}, μ_{Y})

$(\mu_X, \mu_Y)$

ρ

$\rho$

F (ρ)

$F(\rho)$

(Ξ, H)

$(\Xi, H)$

(Ξ, H)

$(\Xi, H)$

@Infinity Ich habe einige klarstellende Bemerkungen hinzugefügt. Sie mitteln keine Kreise; Stattdessen wird die Wahrscheinlichkeit über jeden Kreis gemittelt (oder "verschmiert"), sodass sie, egal mit was Sie begonnen haben, wie mein Bild aussieht (mit kreisförmigen Konturen). Wenn die ursprüngliche Verteilung wirklich kreisförmig war, ändert diese Mittelung nichts daran. Wenn Sie also die Verteilung mit ihrer gemittelten Version vergleichen, sehen Sie, wie weit sie überhaupt davon entfernt ist, kreisförmig zu sein.

— whuber

Gegenseitige Information haben Eigenschaften, die der Kovarianz etwas analog sind. Die Kovarianz ist eine Zahl, die für unabhängige Variablen 0 und für linear abhängige Variablen ungleich Null ist. Insbesondere wenn zwei Variablen gleich sind, ist die Kovarianz gleich der Varianz (was normalerweise eine positive Zahl ist). Ein Problem bei der Kovarianz ist, dass sie Null sein kann, selbst wenn zwei Variablen nicht unabhängig sind, vorausgesetzt, die Abhängigkeit ist nichtlinear.

Gegenseitige Information (MI) ist eine nicht negative Zahl. Sie ist genau dann Null, wenn die beiden Variablen statistisch unabhängig sind. Diese Eigenschaft ist allgemeiner als die der Kovarianz und deckt alle Abhängigkeiten ab, einschließlich nichtlinearer.

Wenn die beiden Variablen gleich sind, ist MI gleich der Entropie der Variablen (wiederum normalerweise eine positive Zahl). Wenn die Variablen unterschiedlich und nicht deterministisch zusammenhängen, ist der MI kleiner als die Entropie. In diesem Sinne liegt der MI zweier Variablen zwischen 0 und H (der Entropie), wobei 0 nur dann unabhängig ist und H nur dann, wenn er deterministisch abhängig ist.

$Cov(X, -X) = -Cov(X, X) = -Var(X)$ $MI(X, -X) = MI(X, X) = H(X)$

— Sheldon Cooper
quelle

Könnten Sie näher erläutern, wie dieses Konzept eine Antwort auf die Frage liefert?

— Onestop

Bitte werfen Sie einen Blick auf den folgenden Artikel aus der Wissenschaft - er spricht genau Ihren Punkt an:

Erkennung neuartiger Assoziationen in großen Datenmengen von David N. Reshef et al.

Aus der Zusammenfassung:

Das Erkennen interessanter Beziehungen zwischen Variablenpaaren in großen Datenmengen wird immer wichtiger. Hier präsentieren wir ein Maß für die Abhängigkeit von Beziehungen mit zwei Variablen: den maximalen Informationskoeffizienten (MIC). MIC erfasst eine Vielzahl von funktionalen und nicht funktionalen Assoziationen und liefert für funktionale Beziehungen eine Bewertung, die ungefähr dem Bestimmungskoeffizienten (R ^ 2) der Daten relativ zur Regressionsfunktion entspricht. MIC gehört zu einer größeren Klasse von MINE-Statistiken (Maximum Information Based Nonparametric Exploration) zur Identifizierung und Klassifizierung von Beziehungen. Wir wenden MIC und MINE auf Datensätze in Bezug auf globale Gesundheit, Genexpression, Major-League-Baseball und die menschliche Darmmikrobiota an und identifizieren bekannte und neuartige Beziehungen.

Ergänzendes Material finden Sie hier: http://www.sciencemag.org/content/suppl/2011/12/14/334.6062.1518.DC1

Die Autoren stellen sogar ein kostenloses Tool zur Verfügung, das die neuartige Methode enthält, die mit R und Python verwendet werden kann: http://www.exploredata.net/

— vonjd
quelle