Ist GLM ein statistisches oder maschinelles Lernmodell?

Ich dachte, dass das generalisierte lineare Modell (GLM) als statistisches Modell angesehen werden würde, aber ein Freund sagte mir, dass einige Artikel es als maschinelles Lernen klassifizieren. Welches ist wahr (oder genauer)? Jede Erklärung wäre willkommen.

Ein GLM ist absolut ein statistisches Modell, aber statistische Modelle und Techniken des maschinellen Lernens schließen sich nicht gegenseitig aus. Im Allgemeinen geht es in der Statistik eher darum, Parameter abzuleiten, während beim maschinellen Lernen die Vorhersage das ultimative Ziel ist.

In Bezug auf Vorhersage begannen Statistik und maschinelles Lernen, das gleiche Problem aus verschiedenen Perspektiven zu lösen.

Grundsätzlich wird in der Statistik davon ausgegangen, dass die Daten von einem bestimmten stochastischen Modell erstellt wurden. Aus statistischer Sicht wird also ein Modell angenommen und unter verschiedenen Annahmen werden die Fehler behandelt und die Modellparameter und andere Fragen abgeleitet.

Maschinelles Lernen kommt aus der Perspektive der Informatik. Die Modelle sind algorithmisch und normalerweise sind nur sehr wenige Annahmen bezüglich der Daten erforderlich. Wir arbeiten mit Hypothesenraum und Lernvoreingenommenheit. Die beste Darstellung des maschinellen Lernens, die ich gefunden habe, ist in Tom Mitchells Buch " Maschinelles Lernen" enthalten .

Für eine umfassendere und vollständigere Vorstellung der beiden Kulturen lesen Sie das Leo Breiman-Papier mit dem Titel Statistical Modeling: The Two Cultures

Was jedoch hinzugefügt werden muss, ist, dass selbst wenn die beiden Wissenschaften mit unterschiedlichen Perspektiven begonnen haben, beide jetzt eine ganze Menge gemeinsamer Kenntnisse und Techniken teilen. Warum, weil die Probleme gleich waren, aber die Werkzeuge unterschiedlich waren. Daher wird maschinelles Lernen heute hauptsächlich aus statistischer Sicht behandelt (siehe das Buch Hasties, Tibshirani, Friedman The Elements of Statistical Learning aus Sicht des maschinellen Lernens mit einer statistischen Behandlung und vielleicht Kevin P. Murphys Buch Machine Learning: A. probabilistische Perspektive , um nur einige der besten heute erhältlichen Bücher zu nennen).

Sogar die Geschichte der Entwicklung dieses Feldes zeigt die Vorteile dieser Verschmelzung von Perspektiven. Ich werde zwei Ereignisse beschreiben.

Das erste ist die Erstellung von CART-Bäumen, die von Breiman mit einem soliden statistischen Hintergrund erstellt wurden. Etwa zur gleichen Zeit entwickelte Quinlan die Entscheidungsbaumsuite ID3, C45, See5 usw. mit mehr Informatik-Hintergrund. Jetzt werden sich sowohl diese Baumfamilien als auch die Ensemble-Methoden wie Absacken und Wälder ziemlich ähnlich.

Die zweite Geschichte handelt vom Boosten. Ursprünglich wurden sie von Freund und Shapire entwickelt, als sie AdaBoost entdeckten. Die Auswahl für das Design von AdaBoost wurde hauptsächlich aus rechnerischer Sicht getroffen. Selbst die Autoren haben nicht gut verstanden, warum es funktioniert. Nur 5 Jahre später beschrieb Breiman (wieder!) Das Adaboost-Modell aus statistischer Sicht und gab eine Erklärung dafür, warum das funktioniert. Seitdem haben verschiedene bedeutende Wissenschaftler mit beiden Hintergründen jene Ideen weiterentwickelt, die zu einer Vielzahl von Boosting-Algorithmen führten, wie logistisches Boosten, Gradienten-Boosten, sanftes Boosten und so weiter. Es ist jetzt schwer zu denken, ohne einen soliden statistischen Hintergrund zu steigern.

Generalisierte lineare Modelle sind eine statistische Entwicklung. Neue Bayes'sche Behandlungen bringen diesen Algorithmus jedoch auch auf den Spielplatz des maschinellen Lernens. Daher glaube ich, dass beide Behauptungen richtig sein könnten, da die Interpretation und Behandlung der Funktionsweise unterschiedlich sein könnte.

Zusätzlich zu Bens Antwort besteht die subtile Unterscheidung zwischen statistischen Modellen und maschinellen Lernmodellen darin, dass Sie in statistischen Modellen die Struktur der Ausgabegleichung vor dem Erstellen des Modells explizit festlegen. Das Modell wurde erstellt, um die Parameter / Koeffizienten zu berechnen.

Nehmen Sie zum Beispiel ein lineares Modell oder GLM.

y = a1x1 + a2x2 + a3x3

Ihre unabhängigen Variablen sind x1, x2, x3 und die zu bestimmenden Koeffizienten sind a1, a2, a3. Sie definieren Ihre Gleichungsstruktur auf diese Weise, bevor Sie das Modell erstellen und a1, a2, a3 berechnen. Wenn Sie glauben, dass y auf nichtlineare Weise mit x2 korreliert, können Sie so etwas versuchen.

y = a1x1 + a2(x2)^2 + a3x3.

Sie legen also eine Einschränkung hinsichtlich der Ausgabestruktur fest. Inhärent statistische Modelle sind lineare Modelle, es sei denn, Sie wenden explizit Transformationen wie Sigmoid oder Kernel an, um sie nichtlinear zu machen (GLM und SVM).

Bei Modellen für maschinelles Lernen geben Sie selten eine Ausgabestruktur an, und Algorithmen wie Entscheidungsbäume sind von Natur aus nicht linear und arbeiten effizient.

Im Gegensatz zu dem, was Ben hervorhob, geht es bei Modellen für maschinelles Lernen nicht nur um Vorhersage, sondern um Klassifizierung, Regression usw., mit denen Vorhersagen getroffen werden können, die auch von verschiedenen statistischen Modellen durchgeführt werden.

GLM ist absolut ein statistisches Modell, während in der industriellen Produktion immer mehr statistische Methoden als Tricks des maschinellen Lernens angewendet werden . Die Metaanalyse, die ich in diesen Tagen am meisten gelesen habe, ist ein gutes Beispiel im statistischen Bereich.

Eine perfekte industrielle Anwendung mit GLM kann erklären , warum Ihr Freund gesagt, dass GLM als maschinelles Lernen galt Technik . Sie können das Quellpapier http://www.kdd.org/kdd2016/papers/files/adf0562-zhangA.pdf dazu lesen.

Ich habe vor einigen Wochen ein vereinfachtes implementiert, das als Hauptrahmen für mein Empfehlungssystem im Produktionsszenario behandelt wurde. Sehr geschätzt, wenn Sie mir einige Tipps geben und den Quellcode überprüfen können: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

Hoffe das wird dir helfen, guten Tag!