Den "Kernel-Trick" auf lineare Methoden anwenden?

Der Kernel-Trick wird in mehreren maschinellen Lernmodellen (z . B. SVM ) verwendet. Es wurde erstmals 1964 in der Arbeit "Theoretische Grundlagen der Potentialfunktionsmethode beim Lernen der Mustererkennung" vorgestellt.

Die Wikipedia-Definition besagt, dass dies der Fall ist

ein Verfahren zum Verwenden eines linearen Klassifikatoralgorithmus zum Lösen eines nichtlinearen Problems durch Abbilden der ursprünglichen nichtlinearen Beobachtungen in einen höherdimensionalen Raum, wobei der lineare Klassifikator anschließend verwendet wird; Dies macht eine lineare Klassifizierung im neuen Raum gleichbedeutend mit einer nichtlinearen Klassifizierung im ursprünglichen Raum.

Ein Beispiel für ein lineares Modell, das auf nichtlineare Probleme erweitert wurde, ist das Kernel-PCA . Kann der Kernel-Trick auf ein beliebiges lineares Modell angewendet werden oder unterliegt er bestimmten Einschränkungen?

machine-learning kernel-trick

— Shane
quelle

Übrigens sind Kernel für SVMs nicht unbedingt erforderlich. Das "Herz" von SVM ist das Prinzip der Maximierung des weichen Spielraums. Wenn Sie zur Kernel-Repräsentation gehen, erhalten Sie die Problemdimensionalität O (m ^ 2) anstelle von O (d), wobei m die Anzahl der Beispiele und d die Dimension Ihres Merkmalsraums ist. Wenn also m ^ 2 mehr als d ist, sind Sie möglicherweise Es ist besser, die Kernel zu beseitigen. jmlr.csail.mit.edu/papers/v6/keerthi05a.html

— Yaroslav Bulatov

@ Jaroslaw: Danke für den Hinweis. Kennen Sie Implementierungen dieser "modifizierten Finite-Newton-Methode"?

— Shane

Nein, aber die Seiten von Keerthi und Langford enthalten Links zu Software, die möglicherweise in Zusammenhang stehen, da beide bei Yahoo Research

— Yaroslav Bulatov

Antworten:

Der Kernel-Trick kann nur auf lineare Modelle angewendet werden, bei denen die Beispiele in der Problemformulierung als Punktprodukte angezeigt werden (Support Vector Machines, PCA usw.).

— Ebenholz1
quelle

Danke für die Antwort. @mbq @ ebony1: IMO müssen wir uns mehr anstrengen, um ernsthaftere Fragen zum maschinellen Lernen auf der Website zu veröffentlichen, um mehr von dieser Community anzulocken.

— Shane

@Shane Ich stimme vollkommen zu, aber was ist mit einer anderen SO-Site wie metaoptimize.com/qa ?

— Chl

@chl: Das ist auch eine Option, aber es ist nicht Teil von StackExchange (es wird von einer Person und auf einer anderen Software gesteuert), und ich persönlich würde es vorziehen, wenn sich diese verschiedenen Datenanalyse-Communities an einem Ort vermischen.

— Shane

@ Shane Na ja, ok es macht Sinn.

— Chl

Es gibt auch Maschinelles Lernen Stapel Austauschvorschlag area51.stackexchange.com/proposals/7607/machine-learning

— Yaroslav Bulatov

Zwei weitere Referenzen von B. Schölkopf :

Schölkopf, B. und Smola, AJ (2002). Lernen mit Kerneln . Die MIT-Presse.
Schölkopf, B., Tsuda, K. und Vert, J.-P. (2004). Kernmethoden in der Computational Biology . Die MIT-Presse.

und eine Website für Kernel-Maschinen .

— chl
quelle

@ ebony1 gibt den entscheidenden Punkt (+1) an. Ich war Mitautor eines Papiers, in dem erörtert wurde, wie generalisierte lineare Modelle, z. B. logistische Regression und Poisson-Regression, kernelisiert werden können. Es ist ziemlich einfach.

GC Cawley, GJ Janacek und NLC Talbot, Generalized Kernel Machines, in Proceedings der Internationalen IEEE / INNS-Konferenz über Neuronale Netze (IJCNN-2007), S. 1732-1737, Orlando, Florida, USA, 12.-17. August 2007. ( www , pdf )

Ich habe auch eine MATLAB-Toolbox (Forschungsqualität) geschrieben (leider keine Anleitung), die Sie hier finden .

In der Lage zu sein, die Zielverteilung zu modellieren, ist sehr nützlich bei der Quanifizierung von Unsicherheiten usw., daher ist es eine nützliche (wenn auch eher inkrementelle) Ergänzung zu Kernel-Lernmethoden.

— Dikran Beuteltier
quelle