Regressionsdefinition

Aus Wikipedia:

Bei der statistischen Modellierung ist die Regressionsanalyse ein statistischer Prozess zur Schätzung der Beziehungen zwischen Variablen. Es enthält viele Techniken zum Modellieren und Analysieren mehrerer Variablen, wenn der Schwerpunkt auf der Beziehung zwischen einer abhängigen Variablen und einer oder mehreren unabhängigen Variablen (oder "Prädiktoren") liegt.

Ist das nicht dasselbe für die Klassifizierung ? Ist es nicht der Zweck des maschinellen Lernens ?

Regression ist in Zweck und Umfang weitaus umfassender als Klassifikation oder maschinelles Lernen (letzteres kann jedoch verstanden werden). Es gibt jedoch viele Überlappungen.

Beziehungen

Durch Regression analysierte Beziehungen können bestehen aus

• Verband

• Abhängigkeit

• Ursache

Die Klassifizierung liefert Informationen zu den ersten beiden, sagt jedoch nichts über die Ursache aus. Sowohl Regression als auch maschinelles Lernen wurden - manchmal erfolgreich, oft problematisch - verwendet, um Schlussfolgerungen über die Ursachen zu ziehen.

Zwecke der Regression

1. Um eine Zusammenfassung der multivariaten Daten zu erhalten.

2. Um den Effekt einer Variablen aufzuheben, die das Problem verwirren könnte.

3. Tragen Sie zu Versuchen der Ursachenanalyse bei.

4. Messen Sie die Größe eines Effekts.

5. Versuchen Sie, ein mathematisches oder empirisches Gesetz zu entdecken.

6. Prognose.

7. $x$$x$

(Nach Mosteller & Tukey, Datenanalyse und Regression, Kapitel 12B.)

Die Klassifizierung erreicht fast keinen dieser Zwecke. In begrenztem Umfang kann es eine Art Zusammenfassung (1) liefern und bei der Entdeckung helfen (5).

Maschinelles Lernen zielt fast ausschließlich auf die Vorhersage (6) ab. Die meisten Techniken des maschinellen Lernens, die von zufälligen Wäldern über neuronale Netze bis hin zur Unterstützung von Vektormodellen reichen, sind für das Verständnis undurchsichtig: Sie zielen insbesondere nicht darauf ab, Daten (1) zusammenzufassen, die Auswirkungen verwirrender Variablen (2 und 7) zu beseitigen oder zu helfen Wir entdecken Regelmäßigkeiten, die in einem empirischen Gesetz enthalten sein können (5).

Dieser Beitrag ist eine leichte Erweiterung einer Einführungspräsentation, die ich kürzlich für einen Semesterkurs in Regression gehalten habe. Dort stehen viele weitere Materialien zu den Zielen und der Praxis der Regression zur Verfügung.