Was ist der

In der Bayes'schen Wahrscheinlichkeitstheorie ist Wahrscheinlichkeit unser Ausdruck von Wissen über eine bestimmte Sache, nicht eine Eigenschaft dieser Sache. Ich sehe jedoch immer Leute behandeln $p$ als ein Parameter, der geschätzt werden muss. Sie haben einen Prior für eingerichtet $p$ , normalerweise in Form einer Beta-Funktion, und aktualisieren Sie diese dann, wenn "Realisierungen" dieser Variablen eingehen.

Sogar der große Bayesianer Jaynes erweckt manchmal den Eindruck, dass er "die Wahrscheinlichkeiten abschätzt" oder nach dem sucht $p$ welches passt am besten zu den Daten:

Jetzt wollen wir nur die Hypothesen berücksichtigen, die zur 'Bernoulli-Klasse' gehören. $B_m$ in denen gibt es $m$ mögliche Ergebnisse bei jedem Versuch und die Wahrscheinlichkeiten des bei aufeinanderfolgenden Wiederholungen des Experiments werden als unabhängig und stationär angesehen; $A_k$

Wahrscheinlichkeitstheorie, ET Jaynes, Seite 297

Das macht mich verwirrt, weil ist nicht eine Wahrscheinlichkeit , da es eine Eigenschaft der Zufallsvariable ist , und es ist nicht eine Frequenz , da die Variable ein einzelnes Ereignis darstellt. $p$

— Martin Drozdik
quelle

In dem zitierten Abschnitt liefert Jaynes tatsächlich eine Bayes'sche Behandlung der Interpretation und des Designs für die Schätzung von

p

$p$ ? Selbst ein großer Bayesianer kann möglicherweise ein Buch mit dem Titel "Wahrscheinlichkeitstheorie" schreiben, das sich sowohl mit der frequentistischen als auch mit der Bayes'schen Interpretation der Wahrscheinlichkeit befasst.

— AdamO

Wenn wir strenge Erkenntnistheoretiker sein wollen,

p

$p$ ist ein Glaube für den Bayesianer: etwas, das nicht festgelegt ist, aber Unsicherheiten aufweist, die mit einer Wahrscheinlichkeitsverteilung beschrieben werden können. Wenn wir unseren Glauben aktualisieren müssen, führen wir ein Experiment durch. Für sich genommen erzeugt das Experiment eine Wahrscheinlichkeit und folglich eine MLE, die alle frequentistischen Interpretationen aufweist, aber wenn es den Prior aktualisiert, können die Attribute des Seitenzahns sehr unterschiedlich sein. Der hintere Modus ist möglicherweise nicht der MLE, der hintere Median ist möglicherweise nicht die unverzerrte Schätzung des Medians.

— AdamO

Nur eine Einschränkung, die häufig interpretierte Interpretation des Experiments ist für die Bayesianer akzeptabel, wenn sie glauben, dass eine unendliche, unabhängige Replizierbarkeit ungefähr machbar ist.

— AdamO

Interessieren Sie sich speziell für die Bayes'sche Perspektive oder nur allgemein? So oder so,

p

$p$ ist ein Parameter, nichts weiter. Was macht es aus, wenn Sie es eine Wahrscheinlichkeit oder etwas anderes nennen? Wie Sie sagten, handelt es sich nicht um ein PDF, sondern nur um eine Realisierung oder Ausgabe eines PDF, wenn Sie so wollen.

— Digio

Ich denke, Sie verwechseln hier verschiedene Konzepte. Die Art des Parameters

p

$p$ (eine Realisierung eines diskreten einheitlichen rv) sollte unabhängig vom Inferenzrahmen sein, der diesen Parameter als feste oder zufällige Variable betrachtet. Was dann ein Bernoulli-Wohnmobil ist, ist wieder ein anderes Konzept, das meiner Meinung nach nicht allzu schwer zu erklären ist, aber sicherlich nicht direkt mit der Natur von zusammenhängt

p

$p$ .

— Digio

Antworten:

In der Bayes'schen Wahrscheinlichkeitstheorie ist Wahrscheinlichkeit unser Ausdruck von Wissen über eine bestimmte Sache, nicht eine Eigenschaft dieser Sache. Ich sehe jedoch immer Leute behandeln $p$ als ein Parameter, der geschätzt werden muss. Sie haben einen Prior für eingerichtet $p$ , normalerweise in Form einer Beta-Funktion, und aktualisieren Sie diese dann, wenn "Realisierungen" dieser Variablen eingehen.

Das ist irrelevant. Es hat nichts mit der Interpretation der Bedeutung von Wahrscheinlichkeit zu tun, da es nicht um Philosophie geht, sondern um ein genau definiertes mathematisches Objekt. Sie sehen Leute, die über die Schätzung des Wertes von diskutieren $p$ weil Sie in Statistikhandbücher und Statistiken schauen, geht es darum, Dinge abzuschätzen, aber $p$ a Parameter der Verteilung, kann sie bekannt oder unbekannt sein.

Wenn $X$ ist eine Bernoulli-Zufallsvariable mit der Wahrscheinlichkeit eines "Erfolgs" $p$ , dann $\Pr(X=1) = p$ per Definition. So ist ein Parameter dieser Verteilung, aber es ist auch Wahrscheinlichkeit „Erfolg“. $p$

Das macht mich verwirrt, weil ist nicht eine Wahrscheinlichkeit , da es eine Eigenschaft der Zufallsvariable ist , und es ist nicht eine Frequenz , da die Variable ein einzelnes Ereignis darstellt. $p$

Ja, Zufallsvariable beschreibt ein "einzelnes Ereignis". Wenn Sie also eine Münze werfen, ist das mögliche Ergebnis eine Zufallsvariable, da es unsicher ist. Nachdem Sie die Münze geworfen haben und das Ergebnis kennen, ist es nicht mehr zufällig, das Ergebnis ist sicher. In Bezug auf die Wahrscheinlichkeit betrachten Sie in einer frequentistischen Umgebung ein hypothetisches Szenario, in dem Sie das Münzwurf-Experiment sehr oft wiederholen würden und die Wahrscheinlichkeit gleich dem Anteil der Köpfe unter diesen Wiederholungen wäre. In der subjektiven Bayes'schen Umgebung ist die Wahrscheinlichkeit ein Maß dafür, wie sehr Sie glauben, dass Sie Köpfe beobachten werden.

Das Obige ist jedoch irrelevant, um zu hinterfragen, was ist. Dies ist ein Parameter, der auch der Wahrscheinlichkeit eines "Erfolgs" entspricht. Die Frage, wie Sie die Wahrscheinlichkeit interpretieren und was sie bedeutet, ist eine andere Frage. $p$

— Tim
quelle

$p$ ist ein Parameter, der die "Erfolgswahrscheinlichkeit" angibt, für die wir vorherige und hintere Wahrscheinlichkeitsverteilungen haben.

Wir können zum Beispiel eine Münze haben, für die wir nicht sicher sind, ob sie fair ist ( $p=0.5$ ) oder nicht ( $p\neq 0.5$ ). Trotzdem ist Fairness oder deren Fehlen eine Eigenschaft der Münze. Wir sind uns über diese Eigenschaft der Münze einfach nicht sicher.

Wir spezifizieren dann zum Beispiel eine Beta-Vorverteilung als vorherige Wahrscheinlichkeitsverteilung über die möglichen Erfolgswahrscheinlichkeiten in $[0,1]$ . Dieser Prior kann zum Beispiel inspiriert werden, indem man sich die Münze ansieht und beurteilt, ob sie "fair" aussieht. Wenn es fair aussieht, werden wir geneigt sein, einen Prior mit viel Wahrscheinlichkeitsmasse anzugeben $p=0.5$ .

In anderen Fällen, zum Beispiel, wenn wir uns vorher ein Bild über die Wahrscheinlichkeit machen, mit der ein Fußballspieler bei seiner nächsten Strafe erfolgreich sein wird - auch ein Bernoulli-Ergebnis, entweder ein Tor oder nicht -, neigen wir dazu, mehr Wahrscheinlichkeitsmasse aufzusetzen $p$ um 0,8, weil professionelle Fußballspieler bei den meisten Strafen punkten.

Wir werfen dann die Münze / beobachten den Spieler ein paar Mal und fassen die Informationen in der Wahrscheinlichkeitsfunktion zusammen, um das Update zu erhalten, dh das Posterior.

— Christoph Hanck
quelle

Vielen Dank für Ihre freundliche Antwort. Im ersten Satz sagen Sie jedoch, dass p eine Wahrscheinlichkeit ist. Soweit ich weiß, steht dies im Widerspruch zum Rest Ihrer Antwort, in der Sie p als eine Eigenschaft der physischen Welt behandeln (über Wissen über p sprechen, Prioritäten für p, ...). Wenn ich die Bayes'sche Wahrscheinlichkeitstheorie richtig verstehe, gibt es kein Konzept der "Wahrscheinlichkeitswahrscheinlichkeit".

— Martin Drozdik

Es tut mir leid, dass ich meine Ansicht nicht überzeugend erklärt habe, aber ich sehe das Problem nicht. Es ist eine Wahrscheinlichkeit, die im "frequentistischen" Sinne interpretiert werden kann - wenn Sie die Münze unendlich oft werfen, werden Köpfe angezeigt

p * 100 %

$p*100\%$ der Zeit, als

p

$p$ ist die Erfolgswahrscheinlichkeit.

— Christoph Hanck

Insbesondere im zweiten Absatz erwähnen Sie, dass Fairness eine Eigenschaft der Münze ist. Ich würde nicht zustimmen. Vielleicht ist der Ort des Massenschwerpunkts eine Eigenschaft der Münze, aber die Wahrscheinlichkeit ist in Ihrem Kopf. Sie können nicht unsicher sein, ob p = 0,5 ist oder nicht. In diesem Paradigma des Denkens haben Sie einfach ein p.

— Martin Drozdik

Der Massenmittelpunkt beeinflusst, wie oft Köpfe auftauchen, so dass das physikalische Merkmal der Münze den interessierenden Parameter beeinflusst.

— Christoph Hanck

Ich denke, hier wird ein kleiner Trick gemacht. Während Bayesianer eine bestimmte Definition der Wahrscheinlichkeit haben, wissen sie auch, dass es Frequentisten gibt. Bayesianer können anerkennen, dass eine Münze eine Eigenschaft hat,

p

$p$ , was wie folgt angegeben werden kann: "das Eigentum der Münze

p

$p$ ist das, was ein Frequentist als die 'Wahrscheinlichkeit' messen würde, dass es auf Köpfen landet, wenn er unendlich

— viele

Für eine Zufallsvariable $X \sim \operatorname{Bernoulli}(p)$ definiert auf einem Wahrscheinlichkeitsraum $(\Omega, \mathcal{F}, P)$ , der Parameter $p$ (eine Zahl) ist die Wahrscheinlichkeit eines bestimmten Ereignisses, nämlich des Ereignisses $\{X = 1\}$ . Das ist,

p = P. (X. = 1) .

$p = P(X = 1).$ Die einzelne Nummer

p

$p$ bestimmt vollständig die Verteilung von

X

$X$ da für jedes Borel-Set

B \subseteq R

$B \subseteq \mathbb{R}$ wir haben

\begin{aligned} P. (X. \in B.) & = 1_{B.} (0) P. (X. = 0) + 1_{B.} (1) P. (X. = 1) \\ = (1 - - p) 1_{B.} (0) + p 1_{B.} (1) . \end{aligned}

$\begin{aligned} P(X \in B) &= \mathbf{1}_B(0)P(X = 0) + \mathbf{1}_B(1) P(X = 1) \\ &= (1 - p) \mathbf{1}_B(0) + p \mathbf{1}_B(1). \end{aligned}$ (Hier

1_{B}

$\mathbf{1}_B$ ist die Anzeigefunktion von

B

$B$ .) Aus diesem Grund wird die Familie der Bernoulli-Verteilungen durch das Intervall parametrisiert

[0, 1]

$[0, 1]$ . Diese Tatsache ist unabhängig von einer frequentistischen oder bayesianischen Interpretation der Statistik: Sie ist nur eine Tatsache der Wahrscheinlichkeit.

Wenn wir Bayesianer sind, möchten wir den Parameter $p$ eine Zufallsvariable selbst mit einer vorherigen Verteilung zu sein. Formal können wir sagen, dass unser Parameter eine Zufallsvariable ist $\Pi$ unterstützt am $[0, 1]$ und wir haben

X. ∣ Π \sim Bernoulli (Π),

$X \mid \Pi \sim \operatorname{Bernoulli}(\Pi),$ was bedeutet, dass

\begin{aligned} P. (X. = 1 ∣ Π) & = Π, & P. (X. = 0 ∣ Π) & = 1 - - Π \end{aligned}

$\begin{aligned} P(X = 1 \mid \Pi) &= \Pi, & P(X = 0 \mid \Pi) &= 1 - \Pi \end{aligned}$ fast sicher (oder

\begin{aligned} P. (X. = 1 ∣ Π = p) & = p, & P. (X. = 0 ∣ Π = p) & = 1 - - p \end{aligned}

$\begin{aligned} P(X = 1 \mid \Pi = p) &= p, & P(X = 0 \mid \Pi = p) &= 1 - p \end{aligned}$ für jeden

p \in [0, 1]

$p \in [0, 1]$ ). In diesem Fall der Parameter

Π

$\Pi$ (eine Zufallsvariable) ist die bedingte Wahrscheinlichkeit des Ereignisses

{X = 1}

$\{X = 1\}$ gegeben

Π

$\Pi$ . Diese bedingte Wahrscheinlichkeit zusammen mit der Verteilung von

Π

$\Pi$ (die vorherige Verteilung) bestimmt vollständig die Verteilung von

X

$X$ schon seit

\begin{aligned} P (X \in B) & = E [P (X \in B ∣ Π)]] \\ = E. [1_{B.} (0) P. (X. = 0 ∣ Π) + 1_{B.} (1) P. (X. = 1 ∣ Π)]] \\ = E. [(1 - - Π) 1_{B.} (0) + Π 1_{B.} (1)]] \\ = (1 - - E. [Π]]) 1_{B.} (0) + E. [Π]] 1_{B.} (1) \end{aligned}

$\begin{aligned} P(X \in B) &= E[P(X \in B \mid \Pi)] \\ &= E[\mathbf{1}_B(0)P(X = 0 \mid \Pi) + \mathbf{1}_B(1) P(X = 1 \mid \Pi)] \\ &= E[(1 - \Pi) \mathbf{1}_B(0) + \Pi \mathbf{1}_B(1)] \\ &= (1 - E[\Pi]) \mathbf{1}_B(0) + E[\Pi] \mathbf{1}_B(1) \end{aligned}$ für jedes Borel-Set

B \subseteq R

$B \subseteq \mathbb{R}$ .

In jedem Fall, ob frequentistisch oder bayesianisch, ist der übliche Parameter der Bernoulli-Daten die Wahrscheinlichkeit (entweder marginal oder bedingt) eines Ereignisses.

— Artem Mavrin
quelle