Warum wird logistische Regression als Algorithmus für maschinelles Lernen bezeichnet?

Wenn ich in einem maschinellen Lernalgorithmus richtig verstanden habe, muss das Modell aus seiner Erfahrung lernen, dh wenn das Modell die falsche Vorhersage für die neuen Fälle liefert, muss es sich an die neuen Beobachtungen anpassen und mit der Zeit wird das Modell immer besser . Ich sehe nicht, dass die logistische Regression dieses Merkmal aufweist. Warum wird es immer noch als Algorithmus für maschinelles Lernen angesehen? Was ist der Unterschied zwischen logistischer Regression und normaler Regression beim "Lernen"?

Ich habe die gleiche Frage für zufällige Wälder!

Und was ist die Definition von "maschinellem Lernen"?

Maschinelles Lernen ist kein genau definierter Begriff.

In der Tat, wenn Sie Google "Machine Learning Definition" die ersten beiden Dinge, die Sie bekommen, sind ganz anders.

Von WhatIs.com ,

Maschinelles Lernen ist eine Art künstliche Intelligenz (KI), mit der Computer lernen können, ohne explizit programmiert zu werden. Maschinelles Lernen konzentriert sich auf die Entwicklung von Computerprogrammen, die sich aneignen können, zu wachsen und sich zu verändern, wenn sie neuen Daten ausgesetzt werden.

Aus Wikipedia ,

Maschinelles Lernen befasst sich mit der Konstruktion und Untersuchung von Algorithmen, die aus Daten lernen und Vorhersagen treffen können.

Die logistische Regression passt zweifellos zur Wikipedia-Definition, und Sie könnten darüber streiten, ob sie zur WhatIs-Definition passt oder nicht.

Ich persönlich definiere Maschinelles Lernen genauso wie Wikipedia und betrachte es als eine Untergruppe von Statistiken.

Maschinelles Lernen ist heiß und dort, wo das Geld ist. Die Leute nennen Dinge, die sie verkaufen wollen, was gerade heiß ist, und "verkaufen" daher. Das kann der Verkauf von Software sein. Das kann sein, dass sie sich als aktuelle Mitarbeiter verkaufen, die befördert werden möchten, als potenzielle Mitarbeiter, als Berater usw. Das kann ein Manager sein, der versucht, das Budget einer Bigwig-Firma zu genehmigen, um Leute einzustellen und Sachen zu kaufen, oder um Investoren davon zu überzeugen, in etwas zu investieren sein / ihr heißes neues Startup, das Maschinelles Lernen als Schlüssel zur Entwicklung einer verbesserten Sexting-App nutzt. Software macht also maschinelles Lernen und die Leute sind Experten für maschinelles Lernen, denn das ist es, was heiß ist und sich deshalb verkauft ... zumindest für den Moment.

Ich habe vor mehr als 30 Jahren alle Arten von linearen und nichtlinearen statistischen Modellen angepasst. Es hieß damals nicht Maschinelles Lernen. Jetzt wäre das meiste davon.

So wie jeder und sein Onkel jetzt ein Data "Scientist" ist. Das ist heiß, das ist angeblich sexy, also nennen sich die Leute so. Und genau das ist es, was Personalchefs tun, denen das Budget bewilligt werden muss, um jemanden einzustellen, der Positionen als auflistet. Jemand, der sich nicht mit Mathematik, Wahrscheinlichkeit, Statistik, Optimierung oder numerischen / Gleitkommaberechnungen auskennt, verwendet ein R- oder Python-Paket mit zweifelhafter Korrektheit und Robustheit der Implementierung, das als Algorithmus für maschinelles Lernen bezeichnet wird. auf Daten anzuwenden, die sie nicht verstehen, und sich aufgrund ihrer Erfahrung als Data Scientist zu bezeichnen.

Das mag flippig klingen, aber ich glaube, es ist das Wesentliche der Situation.

Bearbeiten: Folgendes wurde am 26. September 2019 getwittert:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "Wenn wir Geld sammeln, ist es KI, wenn wir maschinelles Lernen anstellen und wenn wir die Arbeit erledigen, ist es logistische Regression."

(Ich bin nicht sicher, wer darauf gekommen ist, aber es ist ein Juwel gem)

Wie andere bereits erwähnt haben, gibt es keine klare Trennung zwischen Statistik, maschinellem Lernen, künstlicher Intelligenz usw. Nehmen Sie also eine Definition mit einem Körnchen Salz. Logistische Regression wird wahrscheinlich häufiger als Statistik als maschinelles Lernen bezeichnet, während neuronale Netze typischerweise als maschinelles Lernen bezeichnet werden (obwohl neuronale Netze oft nur eine Sammlung von logistischen Regressionsmodellen sind).

Meiner Meinung nach untersucht das maschinelle Lernen Methoden, die irgendwie aus Daten lernen können, typischerweise indem ein Modell in irgendeiner Form konstruiert wird. Logistische Regressionen wie SVM, neuronale Netze, zufällige Wälder und viele andere Techniken lernen bei der Erstellung des Modells aus Daten .

Wenn ich in einem Algorithmus für maschinelles Lernen richtig verstanden habe, muss das Modell aus seiner Erfahrung lernen

So wird maschinelles Lernen normalerweise nicht definiert. Nicht alle Methoden des maschinellen Lernens liefern Modelle, die sich dynamisch an neue Daten anpassen (dieses Unterfeld wird als Online-Lernen bezeichnet ).

Was ist der Unterschied zwischen logistischer Regression und normaler Regression beim "Lernen"?

Viele Regressionsmethoden werden auch als maschinelles Lernen klassifiziert (z. B. SVM).

Die logistische Regression wurde 1958 vom Statistiker DR Cox erfunden und datiert daher noch vor dem Bereich des maschinellen Lernens. Logistische Regression ist keine Klassifizierungsmethode, Gott sei Dank. Es ist ein direktes Wahrscheinlichkeitsmodell.

Wenn Sie der Meinung sind, dass ein Algorithmus zwei Phasen haben muss (anfängliche Vermutung, dann "korrigieren" Sie die Vorhersage "Fehler"), berücksichtigen Sie dies: Die logistische Regression macht es beim ersten Mal richtig. Das heißt, im Bereich der additiven (im Logit) Modelle. Die logistische Regression ist ein direkter Konkurrent vieler Methoden des maschinellen Lernens und übertrifft viele von ihnen, wenn Prädiktoren hauptsächlich additiv agieren (oder wenn das Fachwissen die Interaktionen korrekt vorgibt). Manche nennen logistische Regression eine Art maschinelles Lernen, die meisten jedoch nicht. Einige Methoden des maschinellen Lernens (neuronale Netze sind Beispiele) können als statistische Modelle bezeichnet werden.

Ich muss den meisten Antworten hier nicht zustimmen und behaupten, dass maschinelles Lernenhat einen sehr präzisen Umfang und eine klare Unterscheidung von Statistik. ML ist ein Teilgebiet der Informatik mit einer langen Geschichte, das erst in den letzten Jahren Anwendungen außerhalb seines Fachgebiets gefunden hat. MLs väterliches Feld und Anwendungsgebiet liegt in der künstlichen Intelligenz (Robotik, Mustererkennungssoftware usw.), daher ist es nicht nur ein "heißer Begriff" wie "Big Data" oder "Data Science". Andererseits wurde die Statistik (die vom Wort "Staat" stammt) in den Sozial- und Wirtschaftswissenschaften als Werkzeug für Menschen und nicht für Maschinen entwickelt. ML hat sich unabhängig von der Statistik entwickelt und ist, obwohl sie sich irgendwann stark auf statistische Prinzipien stützt, keineswegs ein Teilgebiet der Statistik. ML und Statistik sind komplementäre Felder, die sich nicht überschneiden.

Lange Antwort :

Wie der Name andeutet, wurden ML-Methoden für Software / Maschinen und statistische Methoden für Menschen entwickelt. Sowohl ML als auch Statistik befassen sich mit Vorhersagen zu Daten. ML-Methoden folgen jedoch einem nicht parametrisierten automatisierten Ansatz, während statistische Methoden viel manuelle Modellbildung mit einem zusätzlichen Erklärungsfaktor erfordern. Dies ist sinnvoll, wenn Sie bedenken, dass ML-Algorithmen in der KI-Forschung als Mittel zur automatisierten Vorhersage entwickelt wurden, die in Robotersoftware integriert werden sollten (z. B. zum Zwecke der Sprach- und Gesichtserkennung). Wenn eine "Maschine" eine Vorhersage macht, interessiert es sie nicht, warum sie dahintersteckt. Einer Maschine ist es egal, welche Treiber / Prädiktoren hinter einem Modell stehen, das E-Mails als Spam oder Nicht-Spam klassifiziert. Es geht nur um die bestmögliche Genauigkeit der Vorhersage.Black Boxes , nicht weil sie kein Modell haben, sondern weil das Modell algorithmisch aufgebaut ist und weder für Menschen noch für Maschinen sichtbar sein soll.

Das Konzept des "Trainings" in ML beruht auf Rechenleistung, während die statistische Modellbildung mit OLS-artigen Methoden zur Parameterschätzung auf dem Wissen eines menschlichen Experten beruht. In einem Szenario mit mehreren Regressionen ist es ausschließlich Sache des Statistikers, sein Expertenurteil zu verwenden, um sein Modell auszuwählen und alle erforderlichen statistischen Annahmen zu überprüfen. Das Ziel eines Statistikers besteht nicht nur darin, Muster zu finden und sie für Vorhersagen zu verwenden, sondern auch seine Daten und sein Problem in einer viel größeren Tiefe als ML zu verstehen.

Natürlich überschneiden sich in einigen Fällen ML und Statistik, wie dies bei vielen Disziplinen der Fall ist. Die logistische Regression ist eine dieser Gelegenheiten. ursprünglich eine statistische Methode, die dem einfachen Perceptron (einer der grundlegendsten ML-Techniken) so ähnlich ist, dass sie von einigen als ML-Methode angesehen wird.

Maschinelles Lernen ist ziemlich locker definiert, und Sie haben Recht damit, dass Regressionsmodelle - und nicht nur logistische Regressionsmodelle - auch aus den Daten "lernen". Ich bin mir nicht sicher, ob dies bedeutet, dass maschinelles Lernen wirklich Statistik ist oder Statistik wirklich maschinelles Lernen ist - oder ob dies überhaupt von Bedeutung ist.

$k$

Das heißt, einige Algorithmen lernen aus Vorhersagefehlern - dies ist besonders beim Reinforcement-Lernen üblich , bei dem ein Agent Maßnahmen ergreift, das Ergebnis beobachtet und das Ergebnis dann zur Planung künftiger Maßnahmen verwendet. Beispielsweise könnte ein Roboterstaubsauger mit einem Modell der Welt beginnen, in dem alle Orte gleich oft gereinigt werden, und dann lernen, schmutzige Orte (wo es durch das Auffinden von Schmutz "belohnt" wird) mehr und Orte weniger zu saugen.

Online- oder inkrementelle Algorithmen können wiederholt mit neuen Trainingsdaten aktualisiert werden. Dies hängt nicht unbedingt von der Vorhersagegenauigkeit des Modells ab, aber ich könnte mir einen Algorithmus vorstellen, bei dem die Gewichte aggressiver aktualisiert werden, wenn zum Beispiel die neuen Daten angesichts des aktuellen Modells sehr unwahrscheinlich erscheinen. Es gibt Online-Versionen für die logistische Regression: zB McMahan und Streeeter (2012) .

Ich habe es endlich herausgefunden. Ich kenne jetzt den Unterschied zwischen statistischer Modellanpassung und maschinellem Lernen.

• Wenn Sie ein Modell anpassen (Regression), ist dies eine statistische Modellanpassung
• Wenn Sie ein Modell lernen (Regression), ist das maschinelles Lernen

Wenn Sie also eine logistische Regression lernen, ist dies ein Algorithmus für maschinelles Lernen.

Bemerkung: Verzeihen Sie, dass ich ein alter Knacker bin, aber wenn ich Leute über das Lernen eines Modells oder eine Regression sprechen höre, denke ich an Jethro: "Ich habe mir eine Ausbildung angeeignet".

ENDE DES GEWINDES

Ich denke, die anderen Antworten machen einen guten Job darin, mehr oder weniger zu identifizieren, was maschinelles Lernen ist (wie sie anzeigen, kann es eine unscharfe Sache sein). Ich werde hinzufügen, dass die logistische Regression (und ihre allgemeinere multinomiale Version) sehr häufig als Mittel zur Klassifizierung in künstlichen neuronalen Netzen verwendet wird (von denen ich denke, dass sie eindeutig durch die von Ihnen gewählte vernünftige Definition des maschinellen Lernens abgedeckt sind), und wenn Sie dies erwähnen Logistische Regression zu einer Person im neuronalen Netz. Sie werden in diesem Zusammenhang wahrscheinlich sofort darüber nachdenken. Es ist ein guter Weg, selbst eine Technik des maschinellen Lernens zu werden, und ich denke, dass dies in gewissem Maße bei verschiedenen Regressionstechniken der Fall ist, obwohl ich sie nicht als geeignete Techniken des maschinellen Lernens abschätzen würde an und für sich.

Logistische Regression (und im Allgemeinen GLM) gehört NICHT zum maschinellen Lernen! Diese Methoden gehören vielmehr zur parametrischen Modellierung.

Sowohl parametrische als auch algorithmische (ML) Modelle verwenden die Daten auf unterschiedliche Weise. Algorithmische Modelle lernen aus den Daten, wie Prädiktoren auf den Prädiktanden abgebildet werden, aber sie treffen keine Annahmen über den Prozess, der die Beobachtungen erzeugt hat (und auch keine anderen Annahmen). Sie sind der Ansicht, dass die zugrunde liegenden Beziehungen zwischen Eingabe- und Ausgabevariablen komplex und unbekannt sind, und verfolgen daher einen datengetriebenen Ansatz, um zu verstehen, was vor sich geht, anstatt eine formale Gleichung aufzustellen.

Andererseits werden parametrische Modelle von vornherein auf der Grundlage einiger Kenntnisse über den untersuchten Prozess vorgeschrieben, verwenden die Daten zur Schätzung ihrer Parameter und treffen viele unrealistische Annahmen, die in der Praxis selten zutreffen (wie z. B. Unabhängigkeit, gleiche Varianz und Normalverteilung der Fehler).

Parametrische Modelle (wie die logistische Regression) sind ebenfalls globale Modelle. Sie können keine lokalen Muster in den Daten erfassen (im Gegensatz zu ML-Methoden, die Bäume als Basismodelle verwenden, z. B. RF oder Boosted Trees). Siehe dieses Dokument auf Seite 5. Als Korrekturstrategie kann lokales (dh nichtparametrisches) GLM verwendet werden (siehe zum Beispiel das locfit R-Paket).

Wenn wenig Wissen über das zugrunde liegende Phänomen verfügbar ist, ist es oft besser, einen datengetriebenen Ansatz zu wählen und algorithmische Modellierung zu verwenden. Wenn Sie beispielsweise die logistische Regression in einem Fall verwenden, in dem das Zusammenspiel zwischen Eingabe- und Ausgabevariablen nicht linear ist, ist Ihr Modell eindeutig unzureichend und es wird nicht viel Signal erfasst. Wenn der Prozess jedoch gut verstanden ist, haben parametrische Modelle den Vorteil, eine formale Gleichung bereitzustellen, um alles zusammenzufassen, was vom theoretischen Standpunkt aus mächtig ist.

Für eine ausführlichere Diskussion lesen Sie diesen ausgezeichneten Artikel von Leo Breiman.

Ich denke, jeder Vorgang, der "iterativ" ist, kann als Fall von maschinellem Lernen betrachtet werden. Regression kann als maschinelles Lernen betrachtet werden. Wir könnten es von Hand machen, aber es würde lange dauern, wenn es überhaupt möglich wäre. Jetzt haben wir also diese Programme, Maschinen, die die Iterationen für uns erledigen. Es kommt einer Lösung, der besten Lösung oder der besten Anpassung immer näher. Also "maschinelles Lernen". Natürlich bekommen Dinge wie neuronale Netze die meiste Aufmerksamkeit in Bezug auf maschinelles Lernen, daher ordnen wir diesen sexy Prozeduren normalerweise maschinelles Lernen zu. Auch der Unterschied zwischen "überwachtem" und "unbeaufsichtigtem" maschinellem Lernen ist hier relevant

Es ist ein sehr häufiger Fehler, den die meisten Leute machen und ich kann ihn auch hier sehen (von fast jedem gemacht). Lassen Sie es mich im Detail erklären ... Logistische Regression und lineares Regressionsmodell, beide sind parametrische Modelle sowie Techniken des maschinellen Lernens. Es hängt nur von der Methode ab, mit der Sie die Modellparameter (Theta) schätzen. Es gibt zwei Möglichkeiten, Modellparameter in Linear Regression und Logistic reg zu finden.

1. Gradient-Descent-Technik : Hier beginnen wir damit, den Parametern zufällige Werte zuzuweisen und die Kostenfunktion (Fehler) zu finden. In jeder Iteration aktualisieren wir unsere Parameter und minimieren die Kostenfunktion. Nach einer bestimmten Anzahl von Iterationen sind die auf die gewünschten Werte reduzierten Kostenfunktionen und die entsprechenden Parameterwerte unsere Endwerte. Dies ist, was eine maschinelle Lerntechnik tun soll. Wenn Sie also die Gradient-Descent-Technik verwenden, kann die logistische Regression als maschinelles Lernen bezeichnet werden.

2. Mit der Methode des kleinsten Quadrats: Hier haben wir eine direkte Formel, um unsere Parameter zu finden (zum Verständnis der Herleitung dieser Formel ist eine Matrixalgebra erforderlich), die als normale Gleichung bezeichnet wird.

Hier stellt b die Parameter dar. X ist die Entwurfsmatrix. Beide Methoden haben ihre eigenen Vor- und Nachteile. Um weitere Informationen zu erhalten, folgen Sie dem Kurs coursera Machine Learning, der noch ausgeführt wird.

Ich hoffe dieser Beitrag könnte hilfreich sein .. :-)