In einem kürzlich abgehaltenen Kolloquium behauptete die Zusammenfassung des Redners, sie würden maschinelles Lernen anwenden. Während des Vortrags bestand das einzige, was mit maschinellem Lernen zu tun hatte, darin, dass sie eine lineare Regression ihrer Daten durchführen. Nach der Berechnung der Best-Fit-Koeffizienten im 5D-Parameterraum verglichen sie diese Koeffizienten in einem System mit den Best-Fit-Koeffizienten anderer Systeme.

Wann ist lineares maschinelles Regressionslernen im Gegensatz zum einfachen Finden einer Best-Fit-Linie? (War die Zusammenfassung des Forschers irreführend?)

Bei aller Aufmerksamkeit, die das maschinelle Lernen in letzter Zeit auf sich gezogen hat, scheint es wichtig, solche Unterscheidungen zu treffen.

Meine Frage ist wie diese , mit der Ausnahme, dass in dieser Frage die Definition der "linearen Regression" gefragt wird, während in meiner Frage gefragt wird, wann die lineare Regression (die eine große Anzahl von Anwendungen hat) angemessen als "maschinelles Lernen" bezeichnet werden kann.

Klarstellungen

Ich frage nicht, wann lineare Regression mit maschinellem Lernen identisch ist. Wie einige dargelegt haben, ist ein einzelner Algorithmus kein Untersuchungsgebiet. Ich frage, wann es richtig ist, zu sagen, dass man maschinelles Lernen macht, wenn der verwendete Algorithmus einfach eine lineare Regression ist.

Abgesehen von allen Witzen (siehe Kommentare), ist einer der Gründe, warum ich das frage, weil es unethisch ist zu sagen, dass man maschinelles Lernen macht, um Ihrem Namen ein paar goldene Sterne hinzuzufügen, wenn sie nicht wirklich maschinelles Lernen machen. (Viele Wissenschaftler berechnen eine Art Best-Fit - Linie für ihre Arbeit, aber das bedeutet nicht , dass sie für maschinelles Lernen tun.) Auf der anderen Seite gibt es eindeutig Situationen , in denen lineare Regression wird im Rahmen des maschinellen Lernens eingesetzt. Ich suche Experten, die mir helfen, diese Situationen zu klassifizieren. ;-)

Beantworten Sie Ihre Frage mit einer Frage: Was genau ist maschinelles Lernen? Trevor Hastie, Robert Tibshirani und Jerome Friedman über die Elemente des statistischen Lernens , Kevin P. Murphy über das maschinelle Lernen aus probabilistischer Sicht , Christopher Bishop über die Mustererkennung und das maschinelle Lernen , Ian Goodfellow, Yoshua Bengio und Aaron Courville über das vertiefte Lernen und eine Reihe von Andere "Bibeln" des maschinellen Lernens erwähnen die lineare Regression als einen der "Algorithmen" des maschinellen Lernens. Maschinelles Lernen ist teilweise ein Schlagwort für angewandte Statistik, und die Unterscheidung zwischen Statistik und maschinellem Lernen ist häufig unscharf.

Die lineare Regression ist definitiv ein Algorithmus, der beim maschinellen Lernen verwendet werden kann. Aber, reductio ad absurdum : Jeder mit einer Kopie von Excel kann ein lineares Modell anpassen.

Selbst wenn wir uns auf lineare Modelle beschränken, gibt es noch ein paar Dinge zu beachten, wenn wir maschinelles Lernen diskutieren:

• Maschinelles Lernen bei geschäftlichen Problemen kann viel mehr Daten beinhalten. " Big Data ", wenn Sie das Schlagwort verwenden möchten. Das Bereinigen und Aufbereiten der Daten erfordert möglicherweise mehr Arbeit als die eigentliche Modellierung. Und wenn das Datenvolumen die Kapazität einer einzelnen Maschine zur Verarbeitung übersteigt, sind die technischen Herausforderungen ebenso bedeutend wie die statistischen Herausforderungen. (Faustregel: Wenn es in den Hauptspeicher passt, handelt es sich nicht um Big Data).
• Maschinelles Lernen beinhaltet oft viel mehr erklärende Variablen (Merkmale) als herkömmliche statistische Modelle. Vielleicht Dutzende, manchmal sogar Hunderte von ihnen, von denen einige kategorische Variablen mit vielen Ebenen sein werden. Wenn diese Features potenziell interagieren können (z. B. in einem Kreuzeffektmodell), wächst die Anzahl der potenziellen Modelle, die angepasst werden müssen, schnell.
• Der Praktiker des maschinellen Lernens befasst sich in der Regel weniger mit der Bedeutung einzelner Merkmale als vielmehr mit dem Auspressen einer möglichst großen Vorhersagekraft aus einem Modell, je nachdem, welche Kombination von Merkmalen dies bewirkt. (P-Werte sind mit Erklärung verbunden, nicht mit Vorhersage.)
• Mit einer großen Anzahl von Merkmalen und verschiedenen Möglichkeiten, diese Merkmale zu konstruieren, wird die Modellauswahl von Hand unmöglich. Meiner Meinung nach besteht die eigentliche Herausforderung beim maschinellen Lernen in der automatisierten Auswahl von Features (Feature Engineering) und anderen Aspekten der Modellspezifikation. Bei einem linearen Modell gibt es verschiedene Möglichkeiten, normalerweise Varianten der Brute Force. einschließlich schrittweiser Regression, Rückbeseitigung usw., die wiederum erhebliche Rechenleistung erfordern. (Zweite Faustregel: Wenn Sie Features von Hand auswählen, werden Statistiken erstellt, nicht maschinelles Lernen).
• Wenn Sie viele Modelle automatisch mit vielen Funktionen ausstatten, ist eine Überanpassung ein ernstes potenzielles Problem. Die Bewältigung dieses Problems erfordert häufig eine Form der Kreuzvalidierung : dh noch mehr Brute-Force-Berechnung!

Aus meiner Sicht lautet die kurze Antwort: Wenn maschinelles Lernen von der herkömmlichen statistischen Modellierung abweicht, liegt dies in der Anwendung von Brute Force und numerischen Ansätzen zur Modellauswahl, insbesondere in Bereichen mit einer großen Datenmenge und einer großen Anzahl erklärender Variablen mit Schwerpunkt auf Vorhersagekraft, gefolgt von mehr Brute Force für die Modellvalidierung.

Ich denke, Mitchells Definition bietet eine hilfreiche Grundlage für die Diskussion über maschinelles Lernen, eine Art erstes Prinzip. Wie auf Wikipedia wiedergegeben :

Ein Computerprogramm soll aus Erfahrung E in Bezug auf eine Klasse von Aufgaben T und ein Leistungsmaß P lernen, wenn sich seine Leistung bei Aufgaben in T, gemessen durch P, mit Erfahrung E verbessert.

Dies ist in mehrfacher Hinsicht hilfreich. Zunächst zu Ihrer unmittelbaren Frage: Regression ist maschinelles Lernen, wenn es seine Aufgabe ist, in einigen Anwendungen einen geschätzten Wert aus Vorhersagefunktionen zu ermitteln. Die Leistung sollte sich verbessern, gemessen am gemittelten Quadrat (oder absoluten Fehler usw.), wenn mehr Daten vorliegen.

Zweitens hilft es dabei, maschinelles Lernen anhand verwandter Begriffe und seine Verwendung als Marketing-Schlagwort abzugrenzen. Vergleichen Sie die obige Aufgabe mit einer standardmäßigen inferentiellen Regression, bei der ein Analyst Koeffizienten für signifikante Beziehungen interpretiert. Hier gibt das Programm eine Zusammenfassung zurück: Koeffizienten, p-Werte usw. Man kann nicht sagen, dass das Programm diese Leistung mit Erfahrung verbessert; die aufgabe ist eine aufwändige berechnung.

Schließlich hilft es, maschinelles Lernen in Teilfeldern zu vereinheitlichen, die üblicherweise in einleitenden (überwachten, unbeaufsichtigten) Expositionen mit anderen wie dem Lernen von Bestärkungen oder der Dichteschätzung verwendet werden. (Jeder hat eine Aufgabe, ein Leistungsmaß und ein Erfahrungskonzept, wenn man genug darüber nachdenkt.) Ich denke, es liefert eine umfassendere Definition, die hilft, die beiden Bereiche abzugrenzen, ohne sie unnötig zu reduzieren. Beispielsweise ignoriert "ML ist für Vorhersage, Statistik für Inferenz" sowohl Techniken des maschinellen Lernens außerhalb des überwachten Lernens als auch statistische Techniken, die sich auf Vorhersage konzentrieren.

Es gibt kein Gesetz, das besagt, dass ein Tischler keine Fassmachersäge verwenden kann.

Maschinelles Lernen und Statistik sind vage Bezeichnungen, aber wenn sie gut definiert sind, gibt es eine große Überschneidung zwischen Statistik und maschinellem Lernen. Dies gilt sowohl für Methoden dieser beiden Bereiche als auch (getrennt) für Personen, die sich mit diesen beiden Bereichen auszeichnen. Maschinelles Lernen liegt aber in der Mathematik ganz im Bereich der Statistik.

Die lineare Regression ist ein sehr gut definiertes mathematisches Verfahren. Ich neige dazu, es mit dem Bereich der Statistik zu assoziieren und mit Personen, die sich selbst als "Statistiker" bezeichnen, und mit Personen, die aus akademischen Programmen mit Labels wie "Statistik" hervorgehen. SVM (Support Vector Machines) ist ebenfalls eine sehr gut definierte mathematische Prozedur, die einige ähnliche Ein- und Ausgänge hat und ähnliche Probleme löst. Aber ich neige dazu, es mit dem Bereich des maschinellen Lernens und mit Leuten, die sich Informatiker nennen, oder mit Leuten, die in künstlicher Intelligenz oder maschinellem Lernen arbeiten, in Verbindung zu bringen, die tendenziell als Teil der Informatik als Disziplin betrachtet werden.

Einige Statistiker verwenden jedoch möglicherweise SVM, und einige KI-Mitarbeiter verwenden logistische Regression. Um es klar auszudrücken, es ist wahrscheinlicher, dass ein Statistiker oder KI-Forscher eine Methode entwickelt , als sie tatsächlich in die Praxis umzusetzen.

Ich habe alle Methoden des maschinellen Lernens direkt in den Bereich der Statistik gestellt. Auch solche neueren Dinge wie Deep Learning, RNNs, CNNs, LSTMs, CRFs. Ein angewandter Statistiker (Biostatistiker, Agronom) ist möglicherweise nicht mit ihnen vertraut. Dies sind alles Vorhersagemodellierungsmethoden, die normalerweise als "maschinelles Lernen" bezeichnet werden und selten mit Statistiken in Verbindung gebracht werden. Sie sind jedoch Vorhersagemodelle mit der Maßgabe, dass sie mit statistischen Methoden beurteilt werden können.

Am Ende der logistische Regression muss Teil des maschinellen Lernens betrachtet werden.

Aber ja, ich sehe und teile oft Ihre Abneigung gegen die falsche Anwendung dieser Wörter. Lineare Regression ist ein so grundlegender Bestandteil der sogenannten Statistik, dass es sich sehr seltsam und irreführend anfühlt, sie als "maschinelles Lernen" zu bezeichnen .

Zur Veranschaulichung ist die logistische Regression mathematisch mit einem Deep Learning-Netzwerk ohne versteckte Knoten und der logistischen Funktion als Aktivierungsfunktion für den einzelnen Ausgabeknoten identisch. Ich würde logistische Regression nicht als maschinelles Lernen bezeichnen, aber sie wird sicherlich in maschinellen Lernkontexten verwendet.

Es ist meist eine Frage der Erwartung.

A: "Ich habe maschinelles Lernen verwendet, um die Rückübernahme in ein Krankenhaus nach einer Herzoperation vorherzusagen."

B: "Oh ja? Deep Learning? Zufällige Wälder? !!?"

A: "Oh nein, nichts Besonderes, nur logistische Regression."

B: sehr enttäuscht aussehen .

Es ist, als würde man sagen, wenn man ein Fenster mit Wasser wäscht, dass man Quantenchemie verwendet. Nun ja, sicher, das ist technisch nicht falsch, aber Sie implizieren viel mehr als nötig.

Aber wirklich, das ist genau ein Kulturunterschied gegen einen Substanzunterschied. Die Konnotationen eines Wortes und Assoziationen mit Gruppen von Menschen (LR ist absolut nicht ML!) Im Vergleich zu Mathematik und Anwendungen (LR ist absolut ML!).

Gemeinsame Ansicht ist, dass maschinelles Lernen aus 4 Bereichen besteht:

1) Dimensionsreduktion

2) Clustering

3) Klassifizierung

4) Regression

Lineare Regression ist eine Regression. Sobald das Modell trainiert ist, kann es wie jedes andere für Vorhersagen verwendet werden, beispielsweise für die zufällige Waldregression.

Lineare Regression ist eine Technik, während maschinelles Lernen ein Ziel ist, das mit verschiedenen Mitteln und Techniken erreicht werden kann.

Die Regressionsleistung wird also daran gemessen, wie genau sie zu einer erwarteten Linie / Kurve passt, während das maschinelle Lernen daran gemessen wird, wie gut es ein bestimmtes Problem mit den erforderlichen Mitteln lösen kann.

Ich werde argumentieren, dass der Unterschied zwischen maschinellem Lernen und statistischer Inferenz klar ist. Kurz gesagt, maschinelles Lernen = Vorhersage zukünftiger Beobachtungen; Statistik = Erklärung.

Hier ist ein Beispiel aus meinem Interessengebiet (Medizin): Bei der Entwicklung eines Arzneimittels suchen wir nach Genen, die einen Krankheitszustand am besten erklären, mit dem Ziel, ihn / sie mit dem Arzneimittel in den Griff zu bekommen. Dafür verwenden wir Statistiken. Im Gegensatz dazu besteht das Ziel bei der Entwicklung diagnostischer Tests, zum Beispiel bei der Vorhersage, ob das Medikament einem Patienten hilft, darin, den besten Prädiktor für das zukünftige Ergebnis zu finden, auch wenn es viele Gene umfasst und zu kompliziert ist, um es zu verstehen. Zu diesem Zweck setzen wir maschinelles Lernen ein. Es gibt mehrere veröffentlichte Beispiele [1], [2], [3], [4], die zeigen, dass das Vorhandensein des Arzneimitteltargets kein guter Prädiktor für das Behandlungsergebnis ist, daher die Unterscheidung.

Auf dieser Grundlage kann man durchaus sagen, dass man maschinelles Lernen betreibt, wenn das Ziel darin besteht, das Ergebnis zukünftiger / zuvor nicht gesehener Beobachtungen genau vorherzusagen. Wenn das Ziel darin besteht, ein bestimmtes Phänomen zu verstehen, dann ist das statistische Folgerung, nicht maschinelles Lernen. Wie bereits erwähnt, gilt dies unabhängig von der verwendeten Methode.

Um Ihre Frage zu beantworten: In der spezifischen Untersuchung, die Sie beschreiben, haben die Wissenschaftler die Faktorenrollen (Gewichte) in verschiedenen linearen Regressionsmodellen verglichen und nicht die Modellgenauigkeiten. Daher ist es nicht genau, ihre Schlussfolgerung als maschinelles Lernen zu bezeichnen.

[1] Messersmith WA, Ahnen DJ. Targeting EGFR bei Darmkrebs. Das New England Journal of Medicine; 2008; 359; 17.

[2] Pogue-Geile KL et al. Vorhersage des Nutzens von Adjuvans Trastuzumab in der NSABP-Studie B-31. J Natl Cancer Inst; 2013; 105: 1782 & ndash; 1788.

[3] Pazdur R. FDA-Zulassung für Vemurafenib. https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib . Aktualisiert am 3. Juli 2013.

[4] Ray T. Zwei ASCO-Studien zeigen die Herausforderung, MET-Signale als prädiktiven Marker in NSCLC-Arzneimittelstudien einzusetzen. GenomeWeb, 11. Juni 2014.

Es kann nützlich sein, lineares maschinelles Regressionslernen zu nennen, da dies im Allgemeinen einige wichtige Dinge zur Lösung Ihres Problems mit sich bringt:

1. Sie haben entschieden, dass es nicht notwendig ist, kausale Annahmen und frühere Theorien hinter Ihren erklärenden Variablen zu überprüfen. Es signalisiert, dass Ihr Modell nicht zur Erklärung, sondern zur Vorhersage gedacht war. Dies ist in vielen Situationen durchaus sinnvoll, zum Beispiel bei der Vorhersage von E-Mail-Spam anhand von Schlüsselwörtern. Es gibt nicht wirklich viel Literatur, in der Wörter Spam vorhersagen, und es gibt so viele Wörter, dass es keinen Sinn macht, die theoretische Bedeutung jedes Wortes zu überdenken
2. Sie haben nicht nach variabler Signifikanz gesucht oder p-Werte verwendet, sondern haben sich stattdessen wahrscheinlich für ein Holdout-Set oder eine Kreuzvalidierung entschieden, um die prädiktive Leistung außerhalb der Stichprobe zu bewerten. Dies kann durchaus zutreffen, wenn Sie - zurück zum Beispiel für E-Mail-Spam - nur ein Modell erstellen, das Spam effektiv vorhersagt, auch wenn dies zu Lasten der Einbeziehung von Variablen geht, die möglicherweise keine herkömmlichen Signifikanztests bestehen.

Wenn Ihr Modell jedoch eher zur Erklärung als zur Vorhersage gedacht ist und Sie die theoretischen Kausalannahmen Ihres Modells usw. genau prüfen, ist es ziemlich albern, es maschinelles Lernen zu nennen.

Zugegeben, jede Antwort auf diese Frage ist mehr eine Meinung als eine objektive Tatsache, aber ich werde versuchen, meine Logik darzulegen, warum ich denke, dass die Antwort niemals ist . Ein sogenannter Experte oder Ausbilder für maschinelles Lernen offenbart seine Ignoranz nur, indem er die lineare Regression als solche darstellt.

Bei der Abgrenzung von akademischen Disziplinen geht es mehr um die Abgrenzung von Gemeinschaften als um Methoden. Wissenschaftliche Disziplinen leihen Methoden über alle Disziplinen hinweg aus. Auch im 19. Jahrhundert (als die lineare Regression entwickelt wurde) und davor waren die wissenschaftlichen Disziplinen nicht so klar abgegrenzt wie heute. Insbesondere wenn Methoden im 19. Jahrhundert oder früher entwickelt wurden, sollten wir darauf achten, sie einer bestimmten Disziplin zuzuordnen.

Davon abgesehen kann man sich die Geschichte einer Disziplin ansehen und vernünftigerweise den Schluss ziehen, dass bestimmte Methoden zu der einen oder anderen Disziplin "gehören". Niemand würde heute sagen, dass der Kalkül zum Gebiet der Physik gehört, obwohl Newton, der einer der Erfinder des Kalküls war, definitiv versuchte, dies auf die Physik anzuwenden. Kalkül gehört eindeutig zur Disziplin der Mathematik, nicht der Physik. Dies liegt daran, dass der Kalkül eine allgemeine mathematische Methode ist, die vollständig außerhalb eines physikalischen Kontexts verwendet werden kann.

Aus dem gleichen Grund gehört die lineare Regression zur Disziplin der Statistik, obwohl sie häufig als einfaches Beispiel für die Anpassung von Daten an ein Modell im Kontext des maschinellen Lernens verwendet wird. So wie der Kalkül außerhalb des physikalischen Kontextes verwendet werden kann (und wird), kann die lineare Regression auch außerhalb des Kontextes des maschinellen Lernens verwendet werden.

Kursleiter für maschinelles Lernen sollten darauf hinweisen, dass die lineare Regression bereits seit dem späten 19. Jahrhundert angewendet wird, lange bevor der moderne Begriff des maschinellen Lernens eingeführt wurde. Sie sollten auch betonen, dass beim maschinellen Lernen viele Konzepte aus Wahrscheinlichkeit und Statistik sowie anderen Disziplinen (z. B. Informationstheorie) verwendet werden. Diese Konzepte repräsentieren jedoch selbst kein maschinelles Lernen oder einen "Algorithmus" des maschinellen Lernens.

Es ist die Maschine, Dummkopf!

Ich bin weder Statistiker noch Experte für Big Data (TM). Ich würde jedoch sagen, dass der wesentliche Unterschied darin besteht, dass "maschinelles Lernen" "eine Maschine" erfordert. Insbesondere impliziert es Agentur . Das Ergebnis wird von einem Menschen nicht gemächlich verzehrt. Das Ergebnis ist vielmehr die Eingabe in einen geschlossenen Kreislauf, durch den ein automatisiertes System seine Leistung verbessert.

Geschlossenes System

Dies stimmt weitgehend mit der Antwort von Sean Easter überein, aber ich möchte nur betonen, dass in kommerziellen Anwendungen eine Maschine die Ergebnisse betrachtet und darauf reagiert . Ein klassisches Beispiel ist der CineMatch-Algorithmus, der das Ziel des Netflix-Preises war. Ein Mensch könnte sich die Ausgabe von CineMatch ansehen und interessante Funktionen über Filmzuschauer erfahren. Aber das ist nicht der Grund, warum es existiert. Der Zweck von CineMatch besteht darin, einen Mechanismus bereitzustellen, mit dem Netflix- Server Kunden Filme vorschlagen können, die sie genießen möchten . Die Ausgabe des statistischen Modells fließt in den Empfehlungsdienst, der letztendlich mehr Eingaben erzeugt, wenn Kunden Filme bewerten, von denen einige auf Empfehlung von CineMatch ausgewählt wurden.

Offenes System

Wenn andererseits ein Forscher einen Algorithmus verwendet, um statistische Ergebnisse zu erzeugen, die in einer Präsentation für andere Menschen angezeigt werden, dann befasst sich dieser Forscher entschieden nicht mit maschinellem Lernen . Das ist für mich ganz offensichtlich menschliches Lernen . Die Analyse wird von einer Maschine durchgeführt, aber es ist keine Maschine, die per se lernt . Nun ist es "maschinelles Lernen", in dem Maße, als ein menschliches Gehirn nicht alle Probeneingaben erfuhr und die statistischen Ergebnisse "biologisch" ableitete. Aber ich würde es "Statistik" nennen, weil dies genau das ist, was Statistiker tun, seit das Feld erfunden wurde.

Fazit

Daher würde ich diese Frage beantworten, indem ich frage: "Wer verbraucht die Ergebnisse?" Wenn die Antwort lautet: "Menschen", dann ist es "Statistik". Wenn die Antwort lautet: "Software", dann ist es "maschinelles Lernen". Und wenn wir sagen, dass "Software die Ergebnisse konsumiert", bedeutet das nicht, dass sie sie irgendwo für einen späteren Abruf speichert. Wir meinen, dass es ein Verhalten ausführt, das durch die Ergebnisse in einer geschlossenen Schleife bestimmt wird .

Meiner Meinung nach kann man von maschinellem Lernen sprechen, wenn eine Maschine so programmiert ist, dass sie anhand einiger Daten auf Parameter eines Modells schließen kann.

Wenn eine lineare Regression maschinell durchgeführt wird, ist sie daher qualifiziert.

Wenn von Hand gemacht, dann nicht.

Definitionen, die von der Prävalenz eines Agenten (wie Excel) oder von einer iterativen Verbesserung (wie Sean Easter oben vorschlägt) abhängen , sich irgendwie von Statistiken zu trennen versuchen oder davon abhängen, was mit den Ergebnissen geschehen soll, werden sich meiner Meinung nach als inkonsistent erweisen.