Was bedeutet Bayesian Hypothesis Testing im Rahmen der Inferenz- und Entscheidungstheorie?

Mein Hintergrund liegt hauptsächlich im maschinellen Lernen und ich habe versucht zu lernen, was das Testen der Bayes'schen Hypothese bedeutet. Ich bin mit der Bayes'schen Interpretation der Wahrscheinlichkeit einverstanden und im Kontext probabilistischer grafischer Modelle damit vertraut. Was mich jedoch verwirrt, ist die Bedeutung des Wortes "Hypothese" im Zusammenhang mit statistischer Folgerung.

Ich glaube, ich bin meistens verwirrt über den Wortschatz, den ich beim maschinellen Lernen gewohnt bin, im Vergleich zu dem, was normalerweise in Statistik und Inferenz verwendet wird.

Im Rahmen des überwachten Lernens , denke ich normalerweise von der Hypothese als Vorhersagefunktion , die Beispiele auf ihre Etiketten dh Karten $h:\mathcal{X} \rightarrow \mathcal{Y}$ . Es scheint mir jedoch, dass der Begriff Hypothese in den Lesungen, die ich tue, nicht die gleiche Bedeutung hat. Lassen Sie mich einen Auszug der Lesungen einfügen, die ich gerade lese:

Wenn Sie sorgfältig lesen, heißt es auch:

Es gibt ein anderes Modell für die beobachteten Daten ...

wo sie das Wort Modell verwenden. Das Wort Modell lässt mich an eine Reihe von Funktionen denken, bei denen wir eine bestimmte Vorhersagefunktion auswählen. dh eine Hypothesenklasse der Funktion. Zum Beispiel könnte die Hypothesenklasse quadratischer Funktionen sein (Polynom 2. Grades). Es scheint mir jedoch, dass sie das Wortmodell und die Hypothese als Synonyme in diesem Auszug verwenden (wobei es sich für mich um völlig unterschiedliche Wörter handelt).$\mathcal{H_{d2}}$

Dann wird erwähnt, dass wir die Hypothese vorziehen können (eine völlig vernünftige Sache, die man in einer bayesianischen Umgebung machen kann):

$$p_H(H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

Wir können die Daten auch mit einer aktuellen Hypothese charakterisieren:

$$p_{y|H}( \cdot |H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

und aktualisieren Sie unsere aktuellen Überzeugungen anhand einiger Daten (und der Baye-Regel):

$$p_{H|y}(H_m|y), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

Ich bin jedoch eher daran gewöhnt, eine Bayes'sche Schätzung auf einen bestimmten Parameter (sagen wir ) einer Hypothesenklasse anzuwenden, als auf die gesamte Hypothesenklasse. Da es den Anschein hat, dass diese "Hypothesen" nicht die gleichen Hypothesen aus dem Kontext des maschinellen Lernens sind, an die ich gewöhnt bin, scheint es mir, dass diese Hypothesen einem bestimmten Parameter ähnlicher sind als einer Hypothesenklasse.$\theta$$\theta$

Zu diesem Zeitpunkt war ich überzeugt, dass "Hypothese" dasselbe bedeutete wie in der Vorhersagefunktion ( zum Beispiel parametrisiert durch einen Parameter ), aber ich glaube, ich habe mich geirrt ...$\theta$

Um meine Verwirrung noch schlimmer zu machen, wurde später bei dieser Lektüre für jedes beobachtete Trainingsbeispiel eine bestimmte "Hypothese" angegeben. Lassen Sie mich einen Auszug dessen einfügen, was ich meine:

Das verwirrt mich, weil es für mich keinen Sinn macht, für jeden angezeigten Beispielwert einen bestimmten Parameter anzugeben, wenn ich die Hypothese als Parameter interpretiere. Zu diesem Zeitpunkt kam ich zu dem Schluss, dass ich wirklich nicht wusste, was sie mit Hypothese meinten, und stellte diese Frage.

Ich habe jedoch nicht ganz aufgegeben, sondern nachgeforscht, was Hypothesen in der frequentistischen Statistik bedeuten, und das folgende Video der Khan-Akademie gefunden . Das Video macht für mich sehr viel Sinn (vielleicht bist du ein Frequentist! :) . Es scheint jedoch, dass sie eine Reihe von Daten erhalten (wie etwa ein "Beispielsatz") und basierend auf den Eigenschaften des Beispielsatzes entscheiden sie, ob sie die Nullhypothese zu den Daten akzeptieren oder ablehnen. Doch in dem Bayes - Kontext , dass wir lesen werden, scheint es mir , dass für jeden Datum [Punkt] Vektor , der beobachtet wird, sie „beschriftet“ mit einer Hypothese mit dem „Likelihood Ratio - Test“:

Die Art und Weise, wie sie jeder Datenstichprobe eine Hypothese zuweisen, scheint sogar eine überwachte Lernumgebung zu sein, in der wir jedem Trainingssatz ein Etikett hinzufügen. Ich glaube jedoch nicht, dass sie dies in diesem Zusammenhang tun. Was machen sie? Was bedeutet es, jeder Datenprobe eine Hypothese zuzuweisen? Was bedeutet eine Hypothese? Was bedeutet das Wort Modell?

Weiß jemand nach dieser langen Erklärung meiner Verwirrung im Grunde, was das Testen von Bayes'schen Hypothesen in diesem Zusammenhang bedeutet?

---

Wenn Sie eine Klarstellung oder etwas brauchen, um meine Frage zu verbessern oder um die Frage sinnvoll zu machen, helfe ich Ihnen gerne :)

---

Auf meiner Suche nach einer Antwort habe ich einige nützliche Dinge im Zusammenhang mit dem Testen statistischer Hypothesen gefunden:

Dieser Artikel bietet eine gute Einführung in das Thema, wenn Sie einen CS-Hintergrund haben (wie ich):

Was ist eine gute Einführung in das Testen statistischer Hypothesen für Informatiker?

Irgendwann fragte ich nach "Standardparametern" (die ich hätte definieren sollen, was ich meinte. Ich dachte, es sei ein Standardbegriff, aber das ist er nicht, deshalb werde ich hier darauf eingehen) und ich denke, was ich wirklich meinte, ist, wie es geht Sie geben Parameter für jede Hypothese an, die Sie haben. Wie entscheiden Sie beispielsweise, was Ihre Nullhypothese ist und welche Parameter sie hat? Dazu gibt es eine Frage:

Angabe der Nullhypothese beim Testen von Hypothesen

$\theta$

$$\mathcal{F}=\left\{ f(\cdot|\theta);\ \theta\in\Theta \right\}$$ $\theta$$H_0:\,\theta\in\Theta_0$$\mathcal{F}$ $$\mathcal{F}_0=\left\{ f(\cdot|\theta);\ \theta\in\Theta_0 \right\}$$ $\mathcal{M}$$\rho_0$$\rho_a$$\pi_0(\theta)$$\Theta_0$$\pi_a(\theta)$$\Theta$ $$\pi(m=0|x)=\dfrac{\rho_0\int_{\Theta_0} f(x|\theta)\pi_0(\theta)\text{d}\theta}{\rho_0\int_{\Theta_0} f(x|\theta)\pi_0(\theta)\text{d}\theta +(1-\rho_0)\int_{\Theta} f(x|\theta)\pi_a(\theta)\text{d}\theta}$$ wie Kevin Murphy 's.

$X\sim\mathcal{N}(\theta,1)$$H_0:\theta=0$$\theta=0$$\mathcal{N}(0,1)$$\theta$$\theta\sim\mathcal{N}(0,10)$$\rho_0=1/2$

$$\begin{align*}\pi(m=0|x)&=\dfrac{\frac{1}{\sqrt{2\pi}}\exp\{-x^2/2\}}{\frac{1}{\sqrt{2\pi}}\exp\{-x^2/2\} +\int_{\mathbb{R}} \frac{1}{\sqrt{2\pi}}\exp\{-(x-\theta)^2/2\}\frac{1}{\sqrt{2\pi\times10}}\exp\{-\theta^2/20\}\text{d}\theta}\\ &=\dfrac{\exp\{-x^2/2\}}{\exp\{-x^2/2\} +\frac{1}{\sqrt{11}}\exp\{-x^2/22\}} \end{align*}$$

Hervorragende Frage. Ich denke, Ihre Verwirrung könnte sich aus einigen grundlegenden Unterschieden zwischen der "frequentistischen" und der "bayesianischen" Perspektive ergeben. Ich habe viel Erfahrung mit der ersteren und bin neu in der späteren, daher könnte es mir auch helfen, ein paar einfache Beobachtungen zu machen. Ich habe Ihre Frage bearbeitet, um einige Unterschiede zu verdeutlichen - zumindest so, wie ich sie verstehe. Ich hoffe es macht dir nichts aus! Wenn ich etwas falsch gemacht habe, können Sie Ihre Frage erneut bearbeiten oder einen Kommentar zu dieser Antwort hinzufügen.

1) Auf die Gefahr, etwas zu elementar zu klingen: Ein Modell ist jede Aussage, die versucht, die Realität zu erklären, wie "Wenn ich Pfannkuchen zum Frühstück hatte, muss es Dienstag sein." Als solches ist ein Modell eine Hypothese. Ein berühmtes Zitat von George Box: "Alle Modelle sind falsch, einige Modelle sind nützlich." Damit ein Modell nützlich ist, muss es eine Möglichkeit geben, es zu testen. Geben Sie das Konzept konkurrierender Hypothesen und die Antwort auf eine Ihrer Fragen ein. Ich würde vorschlagen, dass "... im Kontext der statistischen Inferenz" eine Hypothese jedes Modell ist, das nützlich sein kann und mathematisch getestet werden kann. Das Testen von Hypothesen ist also ein Mittel, um zu entscheiden, ob ein Modell nützlich ist oder nicht. Zusammenfassend ist eine Hypothese ein Modell, das in Betracht gezogen wird. Es können unterschiedliche Parameterwerte derselben Funktion oder unterschiedliche Funktionen sein.

2) Ihr Kahn-Video ist ein Beispiel für das, was Bayesian als "Frequentist" -Ansatz für das Testen von Hypothesen bezeichnet. Es hat Sie möglicherweise verwirrt, wenn Sie versuchen, es auf Ihre Vorlesungsnotizen anzuwenden, die Bayesianisch sind. Ich habe versucht, eine einfache Unterscheidung zwischen der Anwendung der beiden Ansätze (die gefährlich sein können) zu finden. Ich denke, ich verstehe die philosophische Unterscheidung ziemlich gut. Nach dem, was ich gesehen habe, nimmt der "Frequentist" eine zufällige Komponente der Daten an und testet, wie wahrscheinlich es ist, dass den beobachteten Daten nicht zufällige Parameter zugewiesen werden. Der "Bayesian" nimmt an, dass die Daten fest sind, und bestimmt den wahrscheinlichsten Wert von Zufallsparametern. Dieser Unterschied führt zu unterschiedlichen Testmethoden.

Beim Testen von "Frequentist" -Hypothesen kann ein Modell nützlich sein, das einen Effekt erklärt, sodass es mit der "Nullhypothese" verglichen wird - dem Modell ohne Effekt. Es wird versucht, ein nützliches Modell zu erstellen, das sich gegenseitig ausschließt und keine Auswirkungen hat. Der Test geht dann von der Wahrscheinlichkeit aus, die Daten unter der Annahme keiner Wirkung zu beobachten. Wenn sich herausstellt, dass diese Wahrscheinlichkeit gering ist, wird die Nullhypothese verworfen und die Alternative ist alles, was übrig bleibt. (Beachten Sie, dass ein Purist die Nullhypothese niemals "akzeptieren" würde, sondern nur "nicht ablehnen" würde. Es mag klingen, als würden Engel auf einem Stecknadelkopf tanzen, aber die Unterscheidung ist eine fundamentale philosophische) sei das einfachste Beispiel: "Zwei Gruppen sind unterschiedlich."so groß oder größer wie durch ein zufälliges Experiment gemessen, vorausgesetzt, sie sind nicht verschieden. Dies ist normalerweise ein t-Test, bei dem die Nullhypothese lautet, dass die Differenz der Mittel Null ist. Der Parameter ist also der Mittelwert bei einem festen Wert von Null.

Der Bayesianer sagt: "Moment mal, wir haben diese Messungen durchgeführt und sie sind unterschiedlich. Wie wahrscheinlich ist das?" Sie berechnen die Wahrscheinlichkeit für jeden Wert des (jetzt) ​​zufälligen Parameters und wählen den höchsten als den wahrscheinlichsten aus. In gewissem Sinne ist also jeder mögliche Wert des Parameters ein separates Modell. Jetzt müssen sie jedoch entscheiden können, ob das Modell mit der höchsten Wahrscheinlichkeit unterschiedlich genug ist, um eine Rolle zu spielen. Aus diesem Grund haben Sie in Ihren Vorlesungsunterlagen die Kostenfunktion eingeführt. Um eine gute Entscheidung zu treffen, ist eine gewisse Annahme der Konsequenzen einer falschen Entscheidung erforderlich.

3) "Was bedeutet es, jeder Datenprobe eine Hypothese zuzuweisen?" Das glaube ich nicht. Seien Sie vorsichtig mit dem, was unter "Abtastpunkt" zu verstehen ist. Ich glaube, sie beziehen sich auf einen bestimmten Stichprobenvektor und möchten wissen, wie wahrscheinlich jede Hypothese für alle Stichprobenvektoren im Stichprobenraum ist. Die Gleichungen (14) und (15) zeigen, wie zwei Hypothesen für einen bestimmten Probenvektor verglichen werden. Sie vereinfachen also ein allgemeines Argument für den Vergleich mehrerer Hypothesen, indem sie zeigen, wie man nur zwei miteinander vergleicht.

Angenommen, Sie haben Daten aus einer Reihe von Feldern. Die Daten bestehen aus Länge (L), Breite (B), Höhe (H) und Volumen (V).

Wenn wir nicht viel über Kästchen / Geometrie wissen, können wir das Modell ausprobieren:

V = a*L + b*W + c*H + e

Dieses Modell hat drei Parameter (a, b, c), die variiert werden können, sowie einen Fehler- / Kostenbegriff (e), der beschreibt, wie gut die Hypothese zu den Daten passt. Jede Kombination von Parameterwerten würde als eine andere Hypothese angesehen. Der gewählte "Standard" -Parameterwert ist normalerweise Null, was im obigen Beispiel "keiner Beziehung" zwischen V und L, W, H entsprechen würde.

Man testet diese "Standard" -Hypothese, indem man prüft, ob e einen Grenzwert überschreitet, indem man normalerweise einen p-Wert unter der Annahme einer normalen Fehlerverteilung um die Modellanpassung berechnet. Wenn diese Hypothese zurückgewiesen wird, finden sie die Kombination von a, b, c-Parametern, die die Wahrscheinlichkeit maximiert, und präsentieren, dass dies die wahrscheinlichste Hypothese ist. Wenn sie bayesianisch sind, multiplizieren sie die Wahrscheinlichkeit mit dem Prior für jeden Satz von Parameterwerten und wählen die Lösung, die die hintere Wahrscheinlichkeit maximiert.

Offensichtlich ist diese Strategie insofern nicht optimal, als das Modell Additivität annimmt und die korrekte Hypothese verfehlt:

V = L*W*H + e

Bearbeiten: @Pinocchio

Vielleicht hat jemand der Behauptung widersprochen, dass das Testen von Hypothesen nicht optimal ist, wenn es keinen vernünftigen Grund gibt, eine / wenige Funktionen (oder wie Sie sagen: "Hypothesenklassen") aus unendlich vielen möglichen auszuwählen. Natürlich ist dies trivial wahr und "optimal" kann im begrenzten Sinne von "bester Anpassung angesichts der Kostenfunktion und der zur Verfügung gestellten Auswahlmöglichkeiten" verwendet werden. Dieser Kommentar hat es zu meiner Antwort gemacht, weil ich nicht mochte, wie das Problem der Modellspezifikation in Ihren Klassennotizen beschönigt wurde. Es ist das Hauptproblem der meisten wissenschaftlichen Mitarbeiter, für die es afaik keinen Algorithmus gibt.

Außerdem konnte ich p-Werte, Hypothesentests usw. erst verstehen, wenn ich die Vorgeschichte verstanden hatte. Vielleicht hilft es Ihnen auch. Es gibt mehrere Ursachen für Verwirrung beim Testen von Frequentist-Hypothesen (ich kenne die Geschichte der Bayes'schen Variante nicht so gut).

Es gibt das, was ursprünglich als "Hypothesentest" im Sinne von Neyman-Pearson bezeichnet wurde, "Signifikanztest", wie es von Ronald Fisher entwickelt wurde, und auch eine schlecht definierte, nie richtig begründete "Hybride" dieser beiden Strategien, die in den Wissenschaften weit verbreitet ist (welche kann beiläufig unter Verwendung des obigen Begriffs oder "Nullhypothesen-Signifikanzprüfung" bezeichnet werden. Ich würde zwar nicht empfehlen, eine Wikipedia-Seite als maßgeblich zu betrachten, aber viele Quellen, die diese Probleme diskutieren, finden Sie hier . Einige Hauptpunkte:

1. Die Verwendung einer "Standard" -Hypothese ist nicht Teil des ursprünglichen Hypothesentestverfahrens, vielmehr sollte der Benutzer Vorkenntnisse verwenden, um die betrachteten Modelle zu bestimmen. Ich habe noch nie eine ausdrückliche Empfehlung von Befürwortern dieses Modells gesehen, was zu tun ist, wenn wir keinen besonderen Grund haben, eine bestimmte Menge von Hypothesen zum Vergleich auszuwählen. Es wird oft gesagt, dass dieser Ansatz für die Qualitätskontrolle geeignet ist, wenn Toleranzen bekannt sind, mit denen einige Messungen verglichen werden können.

2. Es gibt keine alternative Hypothese unter dem "Signifikanztest" -Paradigma von Fisher, sondern nur eine Nullhypothese, die zurückgewiesen werden kann, wenn dies angesichts der Daten als unwahrscheinlich erachtet wird. Nach meiner Lektüre war sich Fisher selbst nicht sicher, ob es sich um Standard-Null-Hypothesen handelte. Ich konnte ihn nie finden, sich explizit zu der Sache zu äußern, aber er empfahl sicherlich nicht, dass dies die einzige Nullhypothese sein sollte.

3. Die Verwendung der Standard-Null-Hypothese wird manchmal als "Missbrauch" des Hypothesentests interpretiert, ist jedoch für die erwähnte beliebte Hybridmethode von zentraler Bedeutung. Es wird argumentiert, dass diese Praxis oft "eine nutzlose vorläufige" ist:

   "Der Forscher formuliert eine theoretische Vorhersage, im Allgemeinen die Richtung eines Effekts ... Wenn die Daten tatsächlich das vorhergesagte Richtungsergebnis anzeigen, scheint dies die Hypothese zu bestätigen. Der Forscher testet eine 'Strohmenschen'-Nullhypothese, dass der Effekt tatsächlich ist Wenn letzteres auf der Ebene von 0,05 (oder einer Variante) nicht verworfen werden kann, kann die offensichtliche Bestätigung der Theorie nicht behauptet werden ... Ein häufiger Fehler bei dieser Art von Test besteht darin, das tatsächlich erreichte Signifikanzniveau (z Ablehnung der Null der Strohperson) mit dem Bestätigungsniveau, das für die ursprüngliche Theorie erreicht wurde ... Die Stärke der Bestätigung hängt tatsächlich von [der Schärfe der numerischen Vorhersagen eines Forschers] ab, nicht vom Signifikanzniveau, das für eine Null der Strohperson erreicht wurde. "

   Die Nullhypothesentest Kontroverse in der Psychologie. David H Krantz. Zeitschrift der American Statistical Association; Dezember 1999; 94, 448; 1372-1381

Das Video der Khan-Akademie ist ein Beispiel für diese hybride Methode und hat den in diesem Zitat angegebenen Fehler begangen. Aus den in diesem Video verfügbaren Informationen können wir nur schließen, dass sich die injizierten Ratten von den nicht injizierten unterscheiden, während das Video behauptet, dass "das Medikament definitiv eine gewisse Wirkung hat". Ein wenig Nachdenken würde uns zu der Annahme führen, dass die getesteten Ratten möglicherweise älter als die nicht injizierten Ratten waren. Wir müssen plausible alternative Erklärungen ausschließen, bevor wir Beweise für unsere Theorie beanspruchen. Je weniger spezifisch die Vorhersage der Theorie ist , desto schwieriger ist es, dies zu erreichen.

Bearbeiten 2:

Vielleicht hilft es, das Beispiel aus Ihren Notizen einer medizinischen Diagnose zu nehmen. Angenommen, ein Patient kann entweder "normal" oder in einer "hypertensiven Krise" sein.

Wir haben vorab Informationen, dass sich nur 1% der Menschen in einer hypertensiven Krise befinden. Menschen in einer hypertensiven Krise haben einen systolischen Blutdruck, der einer Normalverteilung mit Mittelwert = 180 und sd = 10 folgt. In der Zwischenzeit haben normale Menschen einen Blutdruck von einer Normalverteilung mit Mittelwert = 120, SD = 10. Die Kosten für die Beurteilung einer normalen Person, wenn sie Null ist, die Kosten für das Fehlen einer Diagnose betragen 1, und die Kosten aufgrund von Nebenwirkungen aufgrund der Behandlung betragen 0,2, unabhängig davon, ob sie sich in einer Krise befinden oder nicht. Dann berechnet der folgende R-Code den Schwellenwert (eta) und das Wahrscheinlichkeitsverhältnis. Wenn das Wahrscheinlichkeitsverhältnis größer als der Schwellenwert ist, entscheiden wir uns für die Behandlung, wenn weniger als wir nicht tun:

#Prior probabilities
P0=.99 #Prior probability patient is normal
P1=1-P0 #Prior probability patient is in crisis

#Hypotheses
H0<-dnorm(x=50:250, mean=120, sd=10) #H0: Patient is normal
H1<-dnorm(x=50:250, mean=180, sd=10) #H1: Patient in hypertensive crisis

#Costs
C00=0 #Decide normal when normal
C01=1 #Decide normal when in crisis
C10=.2 #Decide crisis when normal
C11=.2 #Decide crisis when in crisis

#Threshold
eta=P0*(C10-C00)/ P1*(C01-C11)

#Blood Pressure Measurements
y<-rnorm(3, 150, 20)

#Calculate Likelihood of Each Datapoint Given Each Hypothesis
L0vec=dnorm(x=y, mean=120, sd=10) #Vector of Likelihoods under H0
L1vec=dnorm(x=y, mean=180, sd=10) #Vector of Likelihoods under H1

#P(y|H) is the product of the likelihoods under each hypothesis
L0<-prod(L0vec)
L1<-prod(L1vec)

#L(y) is the ratio of the two likelihoods
LikRatio<-L1/L0


#Plot
plot(50:250, H0, type="l", col="Green", lwd=4, 
     xlab=" Systolic Blood Pressure", ylab="Probability Density Given Model",
     main=paste0("L=",signif(LikRatio,3)," eta=", signif(eta,3)))
lines(50:250, H1, col="Red", lwd=4)
abline(v=y)

#Decision
if(LikRatio>eta){
  print("L > eta  ---> Decision: Treat Patient")
}else{
  print("L < eta  ---> Do Not Treat Patient")
}

Im obigen Szenario ist der Schwellenwert eta = 15,84. Wenn wir drei Blutdruckmessungen durchführen und 139,9237, 125,2278, 190,3765 erhalten, beträgt die Wahrscheinlichkeitsquote 27,6 zugunsten von H1: Patient in einer hypertensiven Krise. Da 27,6 größer als der Schwellenwert ist, würden wir uns für die Behandlung entscheiden. Die Grafik zeigt die normale Hypothese in grün und die hypertensive in rot. Vertikale schwarze Linien geben die Werte der Beobachtungen an.