Parameter gegen latente Variablen

Ich habe schon früher danach gefragt und mich wirklich schwer getan, herauszufinden, was einen Modellparameter ausmacht und was ihn zu einer latenten Variablen macht. Wenn man sich also verschiedene Themen zu diesem Thema auf dieser Website ansieht, scheint der Hauptunterschied zu sein:

Latente Variablen werden nicht beobachtet, haben aber eine zugehörige Wahrscheinlichkeitsverteilung, da sie Variablen und Parameter sind, die ebenfalls nicht beobachtet werden und mit denen keine Verteilung verbunden ist, die meines Wissens Konstanten sind und einen festen, aber unbekannten Wert haben, den wir versuchen finden. Außerdem können wir den Parametern Prioritäten zuweisen, um unsere Unsicherheit über diese Parameter darzustellen, obwohl nur ein einziger echter Wert damit verbunden ist oder zumindest das, was wir annehmen. Ich hoffe ich bin soweit richtig?

Nun habe ich mir dieses Beispiel für eine Bayesianische gewichtete lineare Regression aus einer Zeitschrift angesehen und mich wirklich bemüht, zu verstehen, was ein Parameter und was eine Variable ist:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Hier werden und beobachtet, aber nur wird als Variable behandelt, dh es ist eine Verteilung zugeordnet. $x$ $y$ $y$

Die Modellierungsannahmen lauten nun:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Die Varianz von wird also gewichtet. $y$

Es gibt auch eine vorherige Verteilung von und , die Normal- bzw. Gammaverteilungen sind. $\beta$ $w$

Die volle Log-Wahrscheinlichkeit ergibt sich also aus:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Nun, wie ich es verstehe, sind sowohl als auch Modellparameter. In dem Artikel werden sie jedoch weiterhin als latente Variablen bezeichnet. Meine Argumentation ist und sind beide Teil der Wahrscheinlichkeitsverteilung für die Variable und sie sind Modellparameter. Die Autoren behandeln sie jedoch als latente Zufallsvariablen. Ist das korrekt? Wenn ja, wie lauten die Modellparameter? $\beta$ $w$ $\beta$ $w$ $y$

Das Papier finden Sie hier ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Das Papier ist Automatic Outlier Detection: Ein Bayesianischer Ansatz von Ting et al.

— Luca
quelle

Es kann hilfreich sein, ein Zitat zum Artikel (und möglicherweise einen Link) aufzulisten. Ein Teil des Problems ist, dass das, was genau das ist, sich von der häufigen und der bayesianischen Perspektive unterscheidet. Aus der Bayes - Sicht ein Parameter hat eine Verteilung hat - es ist nicht nur etwas auf Unsicherheit repräsentieren hinzugefügt ist.

— gung - Reinstate Monica

Ich dachte, es wäre unfair, da die Leute denken würden, dass sie die Zeitung lesen, ohne die Dinge zu erklären, aber ich habe es jetzt gesagt.

— Luca

Warum können Sie einer latenten Variablen keine Priorität zuweisen? Ich bin ein Bayesianischer Neuling, aber es scheint so, als ob Sie dazu in der Lage sein sollten.

— robin.datadrivers

Ich denke man kann und muss das natürlich im Bayes'schen Setup. Ich bin mir jedoch nicht sicher, warum

oder

in dieser Einstellung Variablen sind. Für mich sehen sie wie Parameter des Modells aus. Ich kann nicht sagen, was dazu führt, dass in diesem Setup "

eine Variable und kein Parameter ist. Ich bin auch ein Neuling, wie Sie deutlich sehen können ...

w

$w$

β

$\beta$

w

$w$

— Luca

Vielen Dank, @Luca. Es wäre nicht gut, wenn die Leute die Zeitung lesen müssten , aber es ist schön, sie als Kontext zu haben. Ich denke, du hast das richtig gemacht.

— gung - Reinstate Monica

In der Arbeit und im Allgemeinen sind (Zufalls-) Variablen alles, was aus einer Wahrscheinlichkeitsverteilung gezogen wird. Latente (zufällige) Variablen sind diejenigen, die Sie nicht direkt beobachten ( $y$ wird beobachtet, $\beta$ ist nicht, aber beide sind rv). Aus einer latenten Zufallsvariablen können Sie eine posteriore Verteilung erhalten, deren Wahrscheinlichkeitsverteilung von den beobachteten Daten abhängt.

Andererseits ist ein Parameter fest, auch wenn Sie seinen Wert nicht kennen. Die Maximum-Likelihood-Schätzung gibt beispielsweise den wahrscheinlichsten Wert Ihres Parameters an. Aber es gibt Ihnen einen Punkt, keine vollständige Verteilung, weil feste Dinge keine Verteilungen haben! (Sie können eine Verteilung festlegen, wie sicher Sie über diesen Wert sind oder in welchem Bereich Sie sich befinden. Dies entspricht jedoch nicht der Verteilung des Werts selbst, der nur vorhanden ist, wenn es sich bei dem Wert tatsächlich um einen Zufallswert handelt Variable)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

In diesem Satz:

Diese Aktualisierungsgleichungen müssen iterativ ausgeführt werden, bis alle Parameter und die vollständige Protokollwahrscheinlichkeit zu konstanten Werten konvergieren

In der Theorie sprechen sie über die beiden Parameter und nicht über die Zufallsvariablen, da Sie in EM dies tun, um die Parameter zu optimieren.

— alberto
quelle

Die Frage betraf latente Variablen.

— Tim

behoben, ich hoffe es ist jetzt klarer.

— Alberto