Was ist der Unterschied zwischen Vorhersage und Inferenz?


37

Ich lese gerade " Eine Einführung in das statistische Lernen ". In Kapitel 2 diskutieren sie den Grund für die Schätzung einer Funktion .f

2.1.1 Warum schätzen ?f

Es gibt zwei Hauptgründe, warum wir f abschätzen möchten : Vorhersage und Inferenz . Wir diskutieren nacheinander.

Ich habe es ein paarmal gelesen, bin mir aber immer noch teilweise unklar über den Unterschied zwischen Vorhersage und Schlussfolgerung. Könnte jemand ein (praktisches) Beispiel für die Unterschiede geben?


5
Die Autoren von An Introduction to Statistical Learning haben uns hier einen schlechten Dienst erwiesen. Man macht Schlussfolgerungen, um Vorhersagen zu treffen, genauso wie man Schlussfolgerungen zieht, um Ursachen und Wirkungen zu verstehen. Merriam-webster.com definiert "ableiten" hauptsächlich als "als Schlussfolgerung aus Fakten oder Prämissen ableiten". Dies umfasst sowohl kausales als auch vorausschauendes Denken. Es ist irreführend, verwirrend und gegen den langfristigen Standardgebrauch, die Definition von "Schlußfolgerung" einzugrenzen, um nur Fragen der Kausalität zu berücksichtigen. Also: kontrastieren wir prädiktiven Rückschluss mit kausalem Rückschluss.
Rolando2

2
@ rolando2: Dann brauchen wir wohl auch deskriptiven Rückschluss , also Rückschluss auf Parameter in deskriptiven (nicht kausalen) Modellen.
kjetil b halvorsen

Antworten:


29

Inferenz: Bei einem gegebenen Datensatz möchten Sie ableiten, wie die Ausgabe als Funktion der Daten generiert wird.

Vorhersage: Bei einer neuen Messung möchten Sie einen vorhandenen Datensatz verwenden, um ein Modell zu erstellen, das aus einer Reihe von Ergebnissen zuverlässig den richtigen Bezeichner auswählt.


Schlussfolgerung: Sie möchten herausfinden, wie sich Alter, Passagierklasse und Geschlecht auf das Überleben der Titanic-Katastrophe auswirken. Sie können eine logistische Regression durchführen und daraus den Einfluss der einzelnen Passagiereigenschaften auf die Überlebensraten ableiten .

Vorhersage: Angesichts einiger Informationen über einen Titanic-Passagier möchten Sie aus dem Satz auswählen und so oft wie möglich korrekt sein. (Siehe Bias-Varianz-Kompromiss zur Vorhersage, falls Sie sich fragen, wie Sie so oft wie möglich korrekt sein sollen.){Leben,stirbt}


Bei der Vorhersage geht es nicht darum, die genaueste Beziehung zwischen Eingabe und Ausgabe herzustellen. Bei der genauen Vorhersage geht es darum, dass neue Beobachtungen so oft wie möglich in die richtige Klasse eingereiht werden.

Das "praktische Beispiel" läuft also grob auf den folgenden Unterschied hinaus: Bei einer Reihe von Passagierdaten für einen einzelnen Passagier gibt Ihnen der Inferenzansatz eine Überlebenswahrscheinlichkeit, der Klassifikator gibt Ihnen die Wahl zwischen Leben oder Sterben.

Die Optimierung von Klassifikatoren ist ein sehr interessantes und wichtiges Thema, genauso wie die korrekte Interpretation von p-Werten und Konfidenzintervallen.


1
Gute Antwort. Aber wenn manche Leute das Wort "Inferenz" hören, denken sie "kausale Inferenz". Vielleicht möchten Sie auch etwas dazu sagen, auch wenn (oder gerade deshalb) ISLR sich nicht darauf konzentriert.
generic_user

1
Ich denke, dass Inferenz in der Welt des tiefen Lernens so ziemlich dasselbe ist wie Vorhersage, z. blogs.nvidia.com/blog/2016/08/22/…
user1893354

1
Dies scheint mir eine sehr gute Antwort zu sein.
gung - Reinstate Monica

3
Ich glaube, diese Antwort ist falsch, insbesondere "der Inferenzansatz gibt Ihnen eine Überlebenswahrscheinlichkeit, der Klassifikator gibt Ihnen die Wahl zwischen Leben oder Sterben", insbesondere der erste Teil. Die Berechnung der Überlebenswahrscheinlichkeit eines Passagiers ist eine Vorhersage, insbesondere eine probabilistische. Im kontinuierlichen Fall wäre es eine Dichtevorhersage. Wir können dann diese vorhergesagte Wahrscheinlichkeit einschränken, um eine harte Klassifizierung zu erhalten , ja. ...
S. Kolassa - Setzen Sie Monica

3
... Während bei der Vorhersage die Ergebnisse vorhergesagt werden , geht es bei der Folgerung darum, die Beziehung der Eingaben zum Ergebnis zu verstehen : Welche Eingaben haben eine solche Beziehung und wie können wir eine "wahre" Beziehung von der zufälligen Kovariation unterscheiden (bei der p Werte sind) Komm herein)? Kann mir jemand erklären, wo ich mich irre?
S. Kolassa - Setzen Sie Monica

11

Im Allgemeinen stellen wir uns bei der Datenanalyse vor, dass es eine Art "Datenerzeugungsprozess" gibt, der zu den Daten führt, und Inferenz bezieht sich auf das Lernen über die Struktur dieses Prozesses, während Vorhersage bedeutet, dass die von ihm stammenden Daten tatsächlich prognostiziert werden können . Oft gehören beide zusammen, aber nicht immer.

Ein Beispiel, bei dem beide Hand in Hand gehen, wäre das einfache lineare Regressionsmodell

Y.ich=β0+β1xich+ϵich.

β0β1


3
"Aber das Modell führt nicht unbedingt zu aussagekräftigen Einsichten darüber, was sich hinter den Kulissen abspielt." Der Begriff " Black Box " fällt mir ein. :)
Alexis

oder mehrschichtige neuronale Netze
Shihab Shahriar Khan

"Aber es gibt andere Modelltypen, bei denen man vernünftige Vorhersagen treffen kann, aber das Modell führt nicht unbedingt zu aussagekräftigen Einsichten darüber, was sich hinter den Kulissen abspielt." Das von Ihnen definierte Inferenzproblem besteht nach wie vor darin, die Parameter des Modells zu bestimmen. Ich verstehe nicht, warum Sie diesen Satz mit "Aber" beginnen und warum Sie diesen Satz sogar im Hinblick auf Ihre Definition von Schlussfolgerung und Vorhersage geschrieben haben.
19.

1
Die Verwendung von "aber" liegt daran, dass sowohl die Beschreibung der vorhergehenden als auch der folgenden Modelle korrekt ist. Das folgende Modell unterscheidet sich jedoch von der Art des ersteren in einer Weise, die Sie nicht erwartet hätten, bis Sie die Unterscheidung zwischen Vorhersage und Schlussfolgerung begriffen haben das wird illustriert. Ich bin bereits mit der Unterscheidung vertraut, dennoch finde ich dieses Beispiel aufschlussreich und hilfreich. +1
gung - Reinstate Monica

10

Auf Seite 20 des Buches geben die Autoren ein schönes Beispiel, anhand dessen ich den Unterschied verstehe.

Hier ist der Absatz aus dem Buch: Eine Einführung in das statistische Lernen

"Zum Beispiel , in einer Immobilien - Einstellung, kann man versuchen , Werte von Häusern auf Eingaben wie Kriminalitätsraten, Zoning, Abstand von einem Fluss, Luftqualität, Schulen, Einkommensniveau der Gemeinschaft, die Größe der Häuser zu beziehen, und so weiter. In diesem Fall könnte es interessant sein, wie sich die einzelnen Eingabevariablen auf die Preise auswirken - das heißt, wie viel mehr ist ein Haus wert, wenn es einen Blick auf den Fluss hat? Dies ist ein Inferenzproblem , oder es könnte einfach interessant sein bei der Vorhersage des Werts eines Hauses aufgrund seiner Merkmale: Ist dieses Haus unter- oder überbewertet? Dies ist ein Vorhersageproblem . "


5

ytx1,tx2,t

yt=f(x1,t-1,x2,t-1)+εt

Wenn Sie nun die Einkommensdaten erhalten, z. B. persönliche verfügbare Einkommensreihen von BEA, und die Variable für die Jahreszeit erstellen, können Sie die Funktion f schätzen und dann die neuesten Werte des Bevölkerungseinkommens und der Jahreszeit in diese einstecken Funktion. Dies ergibt die Vorhersage für das nächste Quartal des Umsatzes des Geschäfts.

f/x2tβ2x2,t-1

xKorreliert ist es schwieriger, den Einfluss des Prädiktors vom Einfluss anderer Prädiktoren zu trennen. Für die Vorhersage spielt dies keine Rolle. Alles, was Sie interessiert, ist die Qualität der Vorhersage.


3

Stellen Sie sich vor, Sie sind ein Arzt auf einer Intensivstation. Sie haben einen Patienten mit starkem Fieber, einer bestimmten Anzahl von Blutzellen, einem bestimmten Körpergewicht und hundert verschiedenen Daten und möchten vorhersagen, ob er oder sie überleben wird. Wenn ja, wird er seiner Frau diese Geschichte über sein anderes Kind verheimlichen, wenn nicht, ist es wichtig, dass er sie preisgibt, solange er kann.

Der Arzt kann diese Vorhersage auf der Grundlage der Daten früherer Patienten vornehmen, die er in seiner Abteilung hatte. Basierend auf seinen Software-Kenntnissen kann er entweder eine generalisierte lineare Regression (glm) oder ein neuronales Netz (nn) vorhersagen.

1. Verallgemeinertes lineares Modell

Es gibt viel zu viele korrelierte Parameter für den GLM. Um zu einem Ergebnis zu gelangen, muss der Arzt Annahmen treffen (Linearität usw.) und entscheiden, welche Parameter wahrscheinlich einen Einfluss haben. Der GLM wird ihn mit einem T-Test der Signifikanz für jeden seiner Parameter belohnen, damit er starke Beweise dafür sammeln kann, dass Geschlecht und Fieber einen signifikanten Einfluss haben, das Körpergewicht nicht unbedingt.

2. Neuronales Netz

Das neuronale Netz schluckt und verdaut alle Informationen, die in der Stichprobe ehemaliger Patienten enthalten sind. Es ist unerheblich, ob Prädiktoren korreliert sind und ob der Einfluss des Körpergewichts nur in der vorliegenden Stichprobe oder im Allgemeinen von Bedeutung zu sein scheint (zumindest nicht in Bezug auf das Fachwissen des Arztes) hat anzubieten). Es wird nur ein Ergebnis berechnet.

Was ist besser

Welche Methode zu wählen ist, hängt von dem Blickwinkel ab, aus dem Sie das Problem betrachten: Als Patient würde ich das neuronale Netz bevorzugen, das alle verfügbaren Daten verwendet, um zu erraten, was mit mir ohne starke und offensichtlich falsche Annahmen wie Linearität passieren wird. Als Arzt, der einige Daten in einem Journal darstellen möchte, benötigt er p-Werte. Die Medizin ist sehr konservativ: Sie werden nach p-Werten fragen. Der Arzt möchte daher mitteilen, dass in einer solchen Situation das Geschlecht einen wesentlichen Einfluss hat. Für den Patienten spielt das keine Rolle. Verwenden Sie einfach den Einfluss, den die Stichprobe für am wahrscheinlichsten hält.

In diesem Beispiel möchte der Patient eine Vorhersage, die wissenschaftliche Seite des Arztes möchte eine Schlussfolgerung. Wenn Sie ein System verstehen wollen, ist Inferenz meistens gut. Wenn Sie eine Entscheidung treffen müssen, bei der Sie das System nicht verstehen können, muss die Vorhersage ausreichen.


1
"Als Patient würde ich das neuronale Netz vorziehen ..." Sie scheinen die Tatsache zu ignorieren, dass große Datenmengen in der klinischen Wissenschaft äußerst schwierig zu beschaffen sein können. Datensätze mit nur mehreren Beobachtungen pro Gruppe sind aus Sicherheits-, Datenschutz- und ethischen Gründen keine Seltenheit. Wenn Sie vertretbare Annahmen zum Datenerzeugungsprozess treffen können, können Sie die Daten weitaus effizienter nutzen.
Frans Rodenburg

Dies sollte ein hypothetisches Szenario sein, in dem man leicht nachvollziehen kann, warum das scheinbar gleiche Problem zu Inferenzfragen und Vorhersageproblemen führen kann und warum sie nicht dasselbe sind. Ich habe keine Methoden vorgeschlagen, um die Überlebenschancen von Patienten tatsächlich vorherzusagen, und ja, ich bin mir sehr wohl bewusst, wie schwierig es sein kann, zuverlässige klinische Daten von spürbarer Größe zu erhalten. Nach meiner Meinung helfen gute Annahmen / Kenntnisse des Datenerzeugungsprozesses sowohl bei der Vorhersage als auch bei der Schlussfolgerung, weshalb sie nicht viel zur Unterscheidung beider beitragen.
Bernhard

1

Sie sind hier nicht allein. Nachdem ich die Antworten gelesen habe, bin ich nicht mehr verwirrt - nicht weil ich den Unterschied verstehe, sondern weil ich verstehe, dass er im Auge des Betrachters liegt und verbal induziert wird. Ich bin mir jetzt sicher, dass diese beiden Begriffe eher politische als wissenschaftliche Definitionen sind. Nehmen Sie zum Beispiel die Erklärung aus dem Buch, das die Colleges als eine gute Erklärung zu verwenden versuchten: "Wie viel mehr wird ein Haus wert sein, wenn es einen Blick auf den Fluss hat? Dies ist ein Schlußfolgerungsproblem." Aus meiner Sicht ist dies absolut ein Vorhersageproblem. Sie sind Bauunternehmer und möchten das beste Grundstück für den Bau der nächsten Häuser auswählen. Sie müssen zwischen zwei Orten in der gleichen Stadt wählen, einen in der Nähe des Flusses, den nächsten in der Nähe des Bahnhofs. Sie möchten vorhersagendie Preise für beide Standorte. Oder Sie möchten schließen . Sie werden die genauen Methoden der Statistik anwenden, aber Sie benennen den Prozess. :)


Die Vorstellung, dass ein Blick auf den Fluss einen bestimmten Preis erfordert, ist eine kausale Interpretation. Vorhersage ist hinsichtlich der Kausalität agnostisch: Ich kann Effekte von Ursachen, Ursachen von Effekten oder 1 Effekt von einem anderen Effekt mit ähnlichen Ursachen vorhersagen. Betrachten Sie meinen Freund Billy, der 5'10 "groß ist und einen identischen Zwilling hat, Bobby, den ich noch nie getroffen habe. Trotzdem kann ich voraussagen, dass Bobby 5'10" groß ist. Ich kann nicht unbedingt vorhersagen, dass Billy ebenfalls größer sein wird.
gung - Reinstate Monica

Das Beispiel, das Sie zitieren, ist einfach ein schlechtes Beispiel, deshalb ist es verwirrend. Der Unterschied zwischen Inferenz und Prädikton ist definitiv mehr als "Politik".
Richard Hardy

1

Es gibt gute Studien, die belegen, dass ein starker Indikator dafür, ob Kreditnehmer ihre Kredite zurückzahlen, die Verwendung von Filz ist, um ihre Böden vor Kratzern durch Möbelbeine zu schützen. Diese "gefühlte" Variable ist eine eindeutige Hilfe für ein Vorhersagemodell, bei dem das Ergebnis aus Rückzahlung und Ausfall besteht. Wenn die Kreditgeber jedoch einen größeren Einfluss auf dieses Ergebnis haben möchten, denken sie, dass sie dies tun können, indem sie Filz so weit wie möglich verteilen.

"Wie wahrscheinlich ist es, dass dieser Kreditnehmer zurückzahlt?" ist ein Vorhersageproblem; "Wie kann ich das Ergebnis beeinflussen?" ist ein kausales Inferenzproblem.


-1

y = f (x) dann

Vorhersage (was ist der Wert von Y mit einem gegebenen Wert von x: wenn spezifischer Wert von x, was könnte der Wert von Y sein?

Inferenz (wie sich y mit der Änderung von x ändert): Was könnte die Auswirkung auf Y sein, wenn sich x ändert

Vorhersagebeispiel: Angenommen, y repräsentiert das Gehalt einer Person. Wenn wir Eingaben wie jahrelange Erfahrung, Abschluss als Eingabevariablen bereitstellen, sagt unsere Funktion das Gehalt des Mitarbeiters voraus.

Inferenzbeispiel: Angenommen, die Lebenshaltungskosten ändern sich, und wie hoch ist dann die Änderung des Gehalts?


Ich verstehe nicht, warum diese Antwort zwei Ablehnungen verdient.
gung - Wiedereinsetzung von Monica
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.