Ich habe die Frage Sinn der Hauptkomponentenanalyse gesehen und genossen , und jetzt habe ich die gleiche Frage für die unabhängige Komponentenanalyse. Ich meine, ich möchte eine umfassende Frage zu den intuitiven Möglichkeiten zum Verstehen von ICA stellen.

Ich möchte verstehen es. Ich möchte den Zweck verstehen. Ich möchte das Gefühl dafür bekommen. Ich glaube fest, dass:

Sie verstehen etwas nur dann wirklich, wenn Sie es Ihrer Großmutter erklären können.
-- Albert Einstein

Nun, ich kann dieses Konzept nicht einem Laien oder einer Großmutter erklären

1. Warum ICA? Was war die Notwendigkeit für dieses Konzept?
2. Wie würden Sie das einem Laien erklären?

Hier ist mein Versuch.

Hintergrund

Betrachten Sie die folgenden zwei Fälle.

1. Sie sind ein privates Auge auf einer Party. Plötzlich sehen Sie einen Ihrer alten Kunden, der mit jemandem redet, und Sie können einige der Wörter hören, aber nicht ganz, weil Sie auch jemanden hören, der neben ihm ist und an einer nicht verwandten Diskussion über Sport teilnimmt. Du willst nicht näher kommen - er wird dich sehen. Sie beschließen, das Telefon Ihres Partners (der damit beschäftigt ist, das alkoholfreie Bier des Barkeepers zu überzeugen) zu nehmen und es ungefähr 10 Meter neben sich aufzustellen. Das Telefon zeichnet auf, und das Telefon zeichnet auch das Gespräch des alten Kunden sowie den störenden Sportler auf. Du nimmst dein eigenes Handy und beginnst auch mit der Aufnahme, von wo du stehst. Nach ungefähr 15 Minuten fahren Sie mit zwei Aufnahmen nach Hause: eine von Ihrer Position und die andere von ungefähr 10 Metern Entfernung. Beide Aufnahmen enthalten Ihren alten Kunden und Herrn Sporty,
2. Sie machen ein Foto von einem niedlichen Labrador Retriever-Hund, den Sie vor dem Fenster sehen. Sie checken das Bild aus und sehen leider ein Spiegelbild aus dem Fenster, das sich zwischen Ihnen und dem Hund befindet. Sie können das Fenster nicht öffnen (es ist eines davon, ja) und Sie können nicht nach draußen gehen, weil Sie Angst haben, dass er wegläuft. Sie nehmen also (aus unklaren Gründen) ein anderes Bild aus einer etwas anderen Position auf. Sie sehen immer noch das Spiegelbild und den Hund, aber sie befinden sich jetzt in unterschiedlichen Positionen, da Sie das Bild von einem anderen Ort aus aufnehmen. Beachten Sie auch, dass sich die Position für jedes Pixel im Bild gleichmäßig ändert, da das Fenster flach und nicht konkav / konvex ist.

In beiden Fällen stellt sich die Frage, wie die Konversation (in 1.) oder das Bild des Hundes (in 2.) wiederhergestellt werden kann, wenn die beiden Bilder dieselben "Quellen" enthalten, sich jedoch in ihren relativen Beiträgen geringfügig unterscheiden . Sicher kann mein gebildetes Enkelkind das verstehen!

Intuitive Lösung

Wie können wir aus einer Mischung zumindest prinzipiell das Bild des Hundes zurückholen? Jedes Pixel enthält Werte, die eine Summe von zwei Werten sind! Nun, wenn jedes Pixel ohne andere Pixel angegeben worden wäre, wäre unsere Intuition korrekt - wir wären nicht in der Lage gewesen, den genauen relativen Beitrag jedes Pixels zu erraten.

Wir erhalten jedoch eine Reihe von Pixeln (oder Zeitpunkten im Fall der Aufnahme), von denen wir wissen, dass sie dieselben Beziehungen haben. Wenn zum Beispiel auf dem ersten Bild der Hund immer doppelt so stark ist wie die Reflexion und auf dem zweiten Bild genau das Gegenteil, dann können wir vielleicht doch die richtigen Beiträge erhalten. Und dann können wir den richtigen Weg finden, um die beiden Bilder zu subtrahieren, so dass die Reflexion genau aufgehoben wird! [Mathematisch bedeutet dies, die inverse Mischungsmatrix zu finden.]

Eintauchen in Details

$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$

Aber wie kann man es für allgemeine Signale finden? Sie sehen möglicherweise ähnlich aus, haben ähnliche Statistiken usw. Nehmen wir also an, sie sind unabhängig. Dies ist sinnvoll, wenn Sie ein Störsignal haben, z. B. Rauschen, oder wenn es sich bei den beiden Signalen um Bilder handelt, das Störsignal möglicherweise eine Reflexion von etwas anderem ist (und Sie zwei Bilder aus verschiedenen Winkeln aufgenommen haben).

$Y_1$$Y_2$$S_1,S_2$$X_1,X_2$

$X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$$S_i$

$\{b_{ij}\}$$X_1,X_2$

Betrachten Sie also zunächst Folgendes: Wenn wir mehrere unabhängige, nicht-gaußsche Signale zusammenfassen, wird die Summe "mehr gauß" als die Komponenten. Warum? aufgrund des zentralen Grenzwertsatzes, und Sie können auch über die Dichte der Summe von zwei Indep denken. Variablen, die die Faltung der Dichten ist. Wenn wir mehrere Indep summieren. Bernoulli-Variablen, die empirische Verteilung wird immer mehr einer Gaußschen Form ähneln. Wird es ein wahrer Gaußscher sein? wahrscheinlich nicht (kein Wortspiel beabsichtigt), aber wir können eine Gauß-Übereinstimmung eines Signals an dem Betrag messen, der einer Gauß-Verteilung ähnelt. Zum Beispiel können wir seine überschüssige Kurtosis messen. Wenn es wirklich hoch ist, ist es wahrscheinlich weniger Gauß als eins mit der gleichen Varianz, aber mit einer überschüssigen Kurtosis nahe Null.

$\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$

Dies fügt natürlich eine weitere Annahme hinzu - die beiden Signale müssen zunächst nicht-gaußsch sein.

Sehr einfach. Stellen Sie sich vor, Sie, Ihre Oma und die Familienmitglieder sitzen am Tisch. Größere Gruppen von Menschen neigen dazu, sich dort aufzulösen, wo das Chat-Thema für diese Untergruppe spezifisch ist. Deine Oma sitzt da und hört das Geräusch aller Menschen, was nur eine Kakophonie zu sein scheint. Wenn sie sich an eine Gruppe wendet, kann sie Diskussionen in Teenager- / Jugendgruppen klar isolieren. Wenn sie sich an die andere Gruppe wendet, kann sie den Chat mit Erwachsenen isolieren.

Zusammenfassend geht es bei ICA darum, ein bestimmtes Signal (eine Person oder eine Gruppe von Personen, die spricht) aus einer Mischung von Signalen (Crowd Talking) zu isolieren oder zu extrahieren.