Inferenz vs. Schätzung?

Was sind die Unterschiede zwischen "Inferenz" und "Schätzung" im Kontext des maschinellen Lernens ?

Als Neuling, ich glaube , dass wir folgern Zufallsvariablen und schätzen die Modellparameter. Ist mein Verständnis richtig?

Wenn nicht, was genau sind die Unterschiede und wann soll ich welche verwenden?

Und welches ist das Synonym für "lernen"?

Die statistische Schlussfolgerung wird aus der gesamten Sammlung von Schlussfolgerungen gezogen, die man aus einem gegebenen Datensatz und einem zugehörigen hypothetischen Modell ziehen kann, einschließlich der Anpassung des Modells. Um aus Wikipedia zu zitieren ,

Inferenz ist die Handlung oder der Prozess des Ableitens logischer Schlussfolgerungen aus Prämissen, die bekannt sind oder als wahr angenommen werden.

und,

Die statistische Inferenz verwendet die Mathematik, um bei vorhandener Unsicherheit Schlussfolgerungen zu ziehen.

Die Schätzung ist nur ein Aspekt der Schlussfolgerung, bei dem unbekannte Parameter (die dem hypothetischen Modell zugeordnet sind, das die Daten generiert hat) durch optimale Lösungen auf der Grundlage der Daten (und möglicherweise vorherigen Informationen zu diesen Parametern) ersetzt werden. Sie sollte immer mit einer Bewertung der Unsicherheit der gemeldeten Schätzungen verbunden sein, die ein wesentlicher Bestandteil der Schlussfolgerung ist.

Die maximale Wahrscheinlichkeit ist ein Beispiel für eine Schätzung, deckt jedoch nicht die gesamte Folgerung ab. Im Gegensatz dazu bietet die Bayes'sche Analyse eine vollständige Inferenzmaschine.

Während die Schätzung per se darauf abzielt, Werte der unbekannten Parameter zu erhalten (z. B. Koeffizienten in der logistischen Regression oder in der trennenden Hyperebene in Unterstützungsvektormaschinen), versucht die statistische Folgerung , ein Maß für die Unsicherheit und / oder eine Wahrscheinlichkeitsangabe anzufügen die Werte der Parameter (Standardfehler und Konfidenzintervalle). Wenn das vom Statistiker angenommene Modell annähernd korrekt ist und die neu eingehenden Daten weiterhin diesem Modell entsprechen, können die Ungewissheitsaussagen einen gewissen Wahrheitsgehalt haben und ein Maß dafür liefern, wie oft Sie bei der Verwendung von Fehler machen Modell, um Ihre Entscheidungen zu treffen.

Die Quellen der Wahrscheinlichkeitsaussagen sind zweifach. Manchmal kann man eine zugrunde liegende Wahrscheinlichkeitsverteilung von allem, was Sie messen, annehmen und mit etwas mathematischer Hexerei (multivariate Integration einer Gaußschen Verteilung usw.) die Wahrscheinlichkeitsverteilung des Ergebnisses erhalten (der Stichprobenmittelwert der Gaußschen Daten ist selbst Gaußsch ). Konjugierte Priors fallen in der Bayes'schen Statistik in diese Kategorie der Hexerei. In anderen Fällen muss man sich auf die asymptotischen Ergebnisse (große Stichprobe) verlassen, die besagen, dass sich die Dinge in einer ausreichend großen Stichprobe auf eine bestimmte Weise verhalten müssen (zentraler Grenzwertsatz: Stichprobenmittelwert der Daten, die mit dem Mittelwert iid sind. und Varianz ist ungefähr Gaußsch mit Mittelwert und Varianzσ 2 μ σ 2 /$\mu$$\sigma^2$$\mu$$\sigma^2/n$ unabhängig von der Form der Verteilung der Originaldaten).

Das maschinelle Lernen kommt der Kreuzvalidierung am nächsten, wenn die Stichprobe in die Teile Training und Validierung aufgeteilt wird, wobei letztere effektiv sagt: "Wenn die neuen Daten wie die alten Daten aussehen, aber völlig unabhängig von den Daten sind, die sie enthalten Wurde beim Einrichten meines Modells ein realistisches Maß für die Fehlerrate verwendet, so und so ". Es wird vollständig empirisch abgeleitet, indem dasselbe Modell für die Daten ausgeführt wird, anstatt zu versuchen, die Eigenschaften des Modells zu erschließen, indem statistische Annahmen getroffen werden und mathematische Ergebnisse wie die obige CLT einbezogen werden. Wahrscheinlich ist dies ehrlicher, aber da weniger Informationen verwendet werden und daher größere Stichproben erforderlich sind. Außerdem wird implizit davon ausgegangen, dass sich der Prozess nicht ändert.

Auch wenn der Ausdruck "Rückschluss auf den posterioren" möglicherweise Sinn macht (ich bin kein Bayesianer, ich kann nicht wirklich sagen, wie die akzeptierte Terminologie lautet), denke ich, dass es nicht wesentlich ist, in diesem Rückschlussschritt Annahmen zu treffen. Alle Bayes'schen Annahmen sind (1) im vorherigen und (2) im angenommenen Modell, und sobald sie aufgestellt sind, folgt der hintere Teil automatisch (zumindest theoretisch über den Bayes'schen Satz; die praktischen Schritte können sehr kompliziert sein, und Sipps Gambling ... entschuldigen Sie, Gibbs Sampling kann eine relativ einfache Komponente sein, um zu diesem posterior zu gelangen. Wenn sich "Rückschlüsse auf den posterioren" auf (1) + (2) bezieht, dann ist dies für mich eine Art statistische Folgerung. Wenn (1) und (2) getrennt angegeben werden und "Rückschluss auf den Seitenzahn" etwas anderes ist, dann gebe ich

Angenommen, Sie haben eine repräsentative Stichprobe einer Population.

Inferenz ist, wenn Sie diese Stichprobe verwenden, um ein Modell zu schätzen und anzugeben, dass die Ergebnisse mit einer bestimmten Genauigkeit auf die gesamte Grundgesamtheit ausgedehnt werden können. Rückschlüsse zu ziehen bedeutet, Annahmen über eine Population zu treffen, indem nur eine repräsentative Stichprobe verwendet wird.

Die Schätzung erfolgt, wenn Sie ein Modell auswählen, das zu Ihrer Datenstichprobe passt, und die Modellparameter mit einer bestimmten Genauigkeit berechnen. Dies wird als Schätzung bezeichnet, da Sie niemals die wahren Werte der Parameter berechnen können, da Sie nur eine Datenstichprobe haben und nicht die gesamte Grundgesamtheit.

Dies ist ein Versuch, eine Antwort für Personen ohne statistischen Hintergrund zu geben. Für diejenigen, die an weiteren Details interessiert sind, gibt es viele nützliche Referenzen ( wie zum Beispiel diese ) zu diesem Thema.

Kurze Antwort:

Schätzung Unbekannte Werte (Schätzungen) für das betreffende Thema finden$->$

Statistische Inferenz Verwenden Sie die Wahrscheinlichkeitsverteilung des interessierenden Subjekts, um probabilistische Schlussfolgerungen zu ziehen$->$

Lange Antwort:

Der Begriff "Schätzung" wird häufig verwendet, um den Prozess des Findens einer Schätzung für einen unbekannten Wert zu beschreiben, während "Inferenz" häufig statistische Inferenz bezeichnet, einen Prozess des Auffindens von Verteilungen (oder Merkmalen) von Zufallsvariablen und ihrer Verwendung, um Schlussfolgerungen zu ziehen.

Stellen Sie sich die Frage: Wie groß ist die durchschnittliche Person in meinem Land?

Wenn Sie sich für eine Schätzung entscheiden, können Sie ein paar Tage lang herumlaufen und Fremde messen, die Sie auf der Straße treffen (eine Stichprobe erstellen), und dann Ihre Schätzung zum Beispiel als Durchschnitt Ihrer Stichprobe berechnen. Sie haben gerade eine Schätzung vorgenommen!

Auf der anderen Seite möchten Sie vielleicht mehr als eine Schätzung finden, von der Sie wissen, dass sie eine einzelne Zahl ist und mit Sicherheit falsch ist. Sie könnten versuchen, die Frage mit einer gewissen Sicherheit zu beantworten, beispielsweise: Ich bin mir zu 99% sicher, dass die durchschnittliche Körpergröße einer Person in meinem Land zwischen 1,60 m und 1,90 m liegt.

Um einen solchen Anspruch geltend zu machen, müssten Sie die Höhenverteilung der Personen, denen Sie begegnen, abschätzen und Ihre Schlussfolgerungen auf der Grundlage dieses Wissens ziehen - das die Grundlage für statistische Schlussfolgerungen darstellt.

Das Entscheidende (wie in Xi'ans Antwort ausgeführt) ist, dass das Auffinden eines Schätzers Teil der statistischen Inferenz ist.

Nun, es gibt Leute aus verschiedenen Disziplinen, die ihre Karriere im Bereich ML machen, und es ist wahrscheinlich, dass sie etwas andere Dialekte sprechen.

Unabhängig von den verwendeten Begriffen sind die dahinter stehenden Konzepte jedoch unterschiedlich. Es ist daher wichtig, diese Konzepte klar zu formulieren und diese Dialekte dann so zu übersetzen, wie Sie es bevorzugen.

Z.B.

In PRML von Bishop,

Inferenzphase, in der wir Trainingsdaten verwenden, um ein Modell für zu lernen$p(C_k|x)$

So scheint es, dass hier Inference= Learning=Estimation

Aber in einer anderen Material, Inferenz aus Schätzungs unterscheiden kann, wo inferenceMittel predictionwährend estimationMittel des Lernverfahren der Parameter.

Im Kontext des maschinellen Lernens bezieht sich Inferenz auf das Auffinden von Einstellungen latenter (versteckter) Variablen unter Berücksichtigung Ihrer Beobachtungen. Dies beinhaltet auch die Bestimmung der posterioren Verteilung Ihrer latenten Variablen. Die Schätzung scheint mit einer "Punktschätzung" verbunden zu sein, die die Modellparameter bestimmt. Beispiele hierfür sind Schätzungen der maximalen Wahrscheinlichkeit. In der Erwartungsmaximierung (EM) führen Sie im Schritt E eine Folgerung aus. Im Schritt M führen Sie eine Parameterschätzung durch.

Ich glaube, ich höre Leute sagen, dass sie eher auf die hintere Verteilung schließen als auf die hintere Verteilung abschätzen. Letzteres wird nicht in der üblichen exakten Folgerung verwendet. Es wird zum Beispiel bei der Ausbreitung von Erwartungen oder bei Bayes-Variationen verwendet, bei denen die Schlussfolgerung eines exakten Seitenzahns nicht möglich ist und zusätzliche Annahmen zum Seitenzahn getroffen werden müssen. In diesem Fall ist der abgeleitete hintere Teil ungefähr. Die Leute können sagen "approximieren den hinteren" oder "schätzen den hinteren".

Das alles ist nur meine Meinung. Das ist keine Regel.

Ich möchte die Antworten anderer ergänzen, indem ich den Teil "Inferenz" erweitere. Im Kontext des maschinellen Lernens ist die Schätzung der Unsicherheit ein interessanter Aspekt der Inferenz. Bei ML-Algorithmen ist es im Allgemeinen schwierig: Wie wird eine Standardabweichung auf dem Klassifizierungsetikett angegeben, das ein neuronales Netz oder ein Entscheidungsbaum ausgibt? In der traditionellen Statistik können wir anhand von Verteilungsannahmen rechnen und herausfinden, wie die Unsicherheit in den Parametern zu bewerten ist. In ML gibt es möglicherweise keine Parameter, keine Verteilungsannahmen oder keine.

An diesen Fronten wurden einige Fortschritte erzielt, einige davon in jüngster Zeit (jünger als die aktuellen Antworten). Eine Möglichkeit ist, wie andere bereits erwähnt haben, die Bayes'sche Analyse, bei der Ihr Posterior Unsicherheitsschätzungen liefert. Bootstrap-Methoden sind nett. Stefan Wager und Susan Athey aus Stanford haben einige Arbeiten der letzten Jahre in Auftrag gegeben, um Rückschlüsse auf zufällige Wälder zu ziehen . Analogerweise ist BART eine Methode des Bayes'schen Baumensembles, die einen posterioren Wert ergibt, aus dem Rückschlüsse gezogen werden können.