Was ist Modellidentifizierbarkeit?

Ich weiß, dass mit einem Modell, das nicht identifizierbar ist, die Daten durch mehrere unterschiedliche Zuweisungen zu den Modellparametern generiert werden können. Ich weiß, dass es manchmal möglich ist, Parameter so einzuschränken, dass alle identifizierbar sind, wie im Beispiel in Cassella & Berger, 2. Aufl., Abschnitt 11.2.

Wie kann ich bei einem bestimmten Modell beurteilen, ob es identifizierbar ist oder nicht?

identifiability

— Jack Tanner
quelle

Aus Gründen der Identifizierbarkeit sprechen wir über einen Parameter (der ein Vektor sein könnte), der sich über einen Parameterraum , und über eine Familie von Verteilungen (der Einfachheit halber sei an PDFs gedacht), die mit indiziert sind und in der Regel wie $\theta$ $\Theta$ $\theta$ . Zum Beispiel könnte und könnte sein $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

was bedeuten würde, dass. Um das Modellidentifizieren ist, die Transformationdie abbildetzusollteeine Eins-zu-eins. Wenn Sie ein Modell in Ihrer Runde haben, können Sie dies am einfachsten überprüfen, indem Sie mit der Gleichung (diese Gleichheit sollte für (fast) allein derRundegelten)

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$ support ) und zu versuchen, mit Algebra (oder einem anderen Argument) zu zeigen, dass gerade eine solche Gleichung impliziert, dass tatsächlich

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

Wenn Sie mit diesem Plan erfolgreich sind, ist Ihr Modell identifizierbar. Machen Sie mit Ihrem Geschäft weiter. Wenn Sie dies nicht tun, ist Ihr Modell entweder nicht identifizierbar oder Sie müssen ein anderes Argument finden. Die Intuition ist die gleiche, ungeachtet dessen: In einem identifizierbaren Modell ist es unmöglich, dass zwei unterschiedliche Parameter (die Vektoren sein könnten) dieselbe Wahrscheinlichkeitsfunktion hervorrufen.

Dies ist sinnvoll, denn wenn für feste Daten zwei eindeutige Parameter die gleiche Wahrscheinlichkeit hervorrufen würden, wäre es unmöglich, die beiden Kandidatenparameter allein anhand der Daten zu unterscheiden. In diesem Fall ist es unmöglich , den wahren Parameter zu identifizieren .

$f_{\theta_{1}} = f_{\theta_{2}}$

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

$f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) Nette, umfassende, bodenständige Erklärung. Die Analogien, die Sie zeichnen, verdeutlichen die Konzepte.

— Kardinal

Sie haben die Frage, die ich gestellt habe, sicherlich beantwortet, aber ich bin zu unerfahren, um Ihre Antwort wirklich zu verstehen. Wenn Sie eine Erklärung kennen, die für einen Anfänger besser ist, lassen Sie es mich bitte wissen.

— Jack Tanner

@ Kardinal, danke. Für Jack, okay, ich verstehe. Wie wäre es damit: Wenn etwas darüber noch nicht klar ist und Sie mich darauf hinweisen, dann kann ich versuchen, es noch weiter zu konkretisieren. Wenn Sie möchten, können Sie auch eine andere Frage schreiben, in der eine Erklärung für "Laien" oder Beispiele für diese Ideen angefordert werden. Ich denke, es ist fair zu sagen, dass Identifizierbarkeit ein Thema ist, das normalerweise nach der typischen Einführungsphase des Studiums auftaucht. Wenn Sie also einen Kontext angeben möchten, warum Sie jetzt auf dieses Problem stoßen, könnte dies potenziellen Antwortenden helfen.

y_{i j} = μ + α_{1} + α_{2} + \dots + α_{k} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

$\Sigma$ $\Sigma$ $\Sigma$

$\Sigma$

Wenn Sie ein Maximum-Likelihood-Problem haben, wissen Sie, dass die asymptotische Kovarianzmatrix Ihrer Schätzungen der Umkehrung der bei der MLE ausgewerteten Fischerinformationen entspricht. Die Überprüfung der Fischerinformationsmatrix auf (ungefähre) Singularität ist daher auch eine vernünftige Methode zur Beurteilung der Identifizierbarkeit. Dies funktioniert auch, wenn die theoretischen Fischerinformationen schwierig zu berechnen sind, da es häufig möglich ist, einen konsistenten Schätzer der Fischerinformationsmatrix numerisch sehr genau anzunähern, indem beispielsweise das erwartete äußere Produkt der Bewertungsfunktion durch das beobachtete durchschnittliche äußere Produkt geschätzt wird .

$\Sigma$

— Makro
quelle

(+1) Gut gemacht. Ich hatte nicht einmal daran gedacht, mich dieser Frage aus dieser Richtung zu nähern.

Ein Grund, warum die Idee, eine Kovarianzmatrix basierend auf simulierten Daten zu berechnen, besonders einfach ist, ist, dass man die Daten sowieso simulieren sollte, um einen Cook-Gelman-Rubin- Check durchzuführen.

— Jack Tanner