Gibt es eine Methode, die der Dimensionsreduktion entgegengesetzt ist?

Ich bin neu im Bereich des maschinellen Lernens, habe aber meinen Teil zur Signalverarbeitung beigetragen. Bitte lassen Sie mich wissen, wenn diese Frage falsch beschriftet wurde.

Ich habe zweidimensionale Daten, die durch mindestens drei Variablen definiert sind, wobei ein stark nichtlineares Modell viel zu kompliziert ist, um es zu simulieren.

Ich hatte unterschiedliche Erfolge beim Extrahieren der beiden Hauptkomponenten aus den Daten mit Methoden wie PCA und ICA (aus der Python-Bibliothek Scikit-Learn), aber es scheint, dass diese Methode (oder zumindest diese Implementierung der Methoden) begrenzt ist um so viele Komponenten zu extrahieren, wie Dimensionen in den Daten vorhanden sind, z. B. 2 Komponenten aus einer 2D-Punktwolke.

Beim Zeichnen der Daten ist dem geschulten Auge klar, dass es drei verschiedene lineare Trends gibt. Die drei Farblinien zeigen die Richtungen.

Datenplot

Bei Verwendung von PCA wird die Hauptkomponente wie erwartet auf eine der Farblinien ausgerichtet und die andere auf 90 °. Bei Verwendung von ICA ist die erste Komponente an der blauen Linie ausgerichtet, und die zweite befindet sich irgendwo zwischen der roten und der grünen. Ich suche ein Werkzeug, das alle drei Komponenten in meinem Signal reproduzieren kann.

BEARBEITEN, Zusätzliche Informationen: Ich arbeite hier in einer kleinen Teilmenge einer größeren Phasenebene. In dieser kleinen Teilmenge erzeugen alle Eingangsvariablen eine lineare Änderung in der Ebene, aber die Richtung und Amplitude dieser Änderung sind nicht linear und hängen davon ab, wo genau in der größeren Ebene ich arbeite. An einigen Stellen können zwei der Variablen entartet sein: Sie bewirken eine Änderung in dieselbe Richtung. Angenommen, das Modell hängt von X, Y und Z ab. Eine Änderung der Variablen X führt zu einer Variation entlang der blauen Linie. Y verursacht eine Variation entlang der grünen Linie; Z, entlang der roten.

machine-learning scikit-learn

— PhilMacKay
quelle

Wenn ich das richtig verstehe, ist das Konzept, nach dem Sie suchen, die Einbettung . Suchen Sie nach Kernel-Methoden und insbesondere nach Kernel-PCA .

— Emre

Ich bin mir nicht sicher, daher poste ich es nicht als Antwort. In einem Modell vom Typ eines neuronalen Netzwerks können Sie die Dimensionalität der verborgenen Schicht> die Dimensionalität der Eingabeebene beibehalten. Dann können Sie die verborgene Ebene als Eingabe für ein anderes Netzwerk / Modell verwenden. Dies erfordert jedoch viele Daten.

— Azrael

In welchem Sinne verwenden Sie den Begriff "Variable", wenn Sie zweidimensionale Daten sagen, die durch mindestens drei Variablen definiert sind? Wäre Klassen eine geeignete Substitution? Es ist erwähnenswert, dass PCA maximal variante Dimensionen aus Daten extrahiert. Dies ist nicht unbedingt die diskriminierendste Transformation, die angewendet werden muss. Haben Sie sich Clustering angesehen?

— image_doctor

Wissen Sie etwas über die Nichtlinearität des Modells? Obwohl es zu komplex sein kann, um es zu simulieren, schränkt das Wissen, dass es höchstens aus Polynomen 3. Grades besteht, das Feature-Engineering erheblich ein, z. B. können Sie alle Polys 3. Grades hinzufügen und es dann wieder auf 3D reduzieren.

— AN6U5

Ich habe mit einem Freund eines Statistikers gesprochen, der vorgeschlagen hat, Kernel-PCA für die Ableitung meiner Daten zu verwenden, da ich nach Steigungen suche. Würde die Ableitung als "Feature Engineering" gelten?

— PhilMacKay

Die kurze Antwort lautet ja.

Im Wesentlichen führen Sie eine Art Feature-Engineering durch. Dies bedeutet, dass Sie häufig eine Reihe von Funktionen Ihrer Daten erstellen:

$\phi_j(x): \mathbb R^p \rightarrow \mathbb R \ ,\ \ j=1,...,K$

$\boldsymbol \phi(x)$ $K$

Es gibt eine Reihe von Möglichkeiten, dies besser und schlechter zu tun. Möglicherweise möchten Sie nach Begriffen suchen wie:

Splines und verallgemeinerte additive Modelle.
$K\rightarrow \infty$
$x^2$
Tiefes Lernen, Repräsentationslernen

Wie Sie aus einer so vielfältigen Sammlung von Techniken ersehen können, ist dies ein großer Bereich. Es versteht sich von selbst, aber es muss darauf geachtet werden, eine Überanpassung zu vermeiden.

Dieses Papier Repräsentationslernen: Ein Rückblick und neue Perspektiven befasst sich mit einigen Fragen, die einen bestimmten Satz von Funktionen aus einer tiefen Lernperspektive „gut“ machen.

— Vermutungen
quelle

-2

Ich denke, Sie suchen nach Funktionen, die neue Funktionen herausholen. Eine Funktion, die den Datensatz am besten darstellt. Wenn dies der Fall ist, nennen wir eine solche Methode "Merkmalsextraktion".

— Apurv
quelle