Wie ist die Verteilung des (willkürlich) gewichteten Maximum Likelihood Estimator?

7

Angenommen, Sie beobachten den Vektor unabhängiger Variablen und abhängiger Variablen mit der Wahrscheinlichkeit . Angenommen, die sind unabhängig. Sie außerdem an, Sie erhalten positive Gewichte , die beliebig sind, und berechnen den gewichteten Maximum Likelihood Estimator (WMLE?): Wie ist die Verteilung der WMLE, ? $X_i$ $y_i$ $l\left(\theta;X_i,y_i\right)$ $y_i$ $w_i$

\hat{θ} = \arg max_{θ} \sum_{1 \leq i \leq n} w_{i} \log l (θ; X_{i}, y_{i}) .

$\hat{\theta} = \arg \max_{\theta} \sum_{1\le i\le n} w_i \log l\left(\theta;X_i,y_i\right).$

\hat{θ}

$\hat{\theta}$

Wenn ich die Frage weiter komplizieren darf, ohne sie in zwei Teile zu teilen, sind zwei Fälle zu berücksichtigen:

Die $w_i$ sind völlig unabhängig von den $X_i$ und $y_i$ .
Die $w_i$ hängen in irgendeiner Weise von der abhängigen Variablen $y_i$ ab (möglicherweise deterministisch oder stochastisch).

— steveo'america
quelle

2

Im Allgemeinen hat Ihre Frage keine Antwort. Es gibt mehrere Gründe.

1) Angenommen, alle . Selbst in diesem Fall hängt die Verteilung der MLE-Schätzung von der Verteilung der Daten ab, dh von der Funktion . Zum Beispiel kann nachgewiesen werden, dass in der exponentiellen Verteilungsfamilie in Kombination mit einigen weiteren Einschränkungen die MLE-Schätzung asymptotisch normal ist. Sobald jedoch außerhalb der Exponentialfamilie liegt, kann alles passieren. $w_i = 1$ $l(\theta;x,y)$ $l(\theta;x,y)$

2) Selbst wenn in der Exponentialfamilie liegt, ist es sehr wahrscheinlich, dass das Vorhandensein von Gewichten (insbesondere wenn sie von x und Y abhängig sind) die Ergebnisse der asymptotischen Verteilung ungültig macht. $l(\theta;x,y)$

— Nik Tuzov
quelle

Nehmen wir an, wir arbeiten innerhalb der Exponential Family. Gibt es Ergebnisse für den Fall der völligen Unabhängigkeit der Gewichte und des ?

X, y

$X, y$

— Steveo'america

1

Ich denke, Sie nähern sich einem falschen Ende. Es gibt Möglichkeiten, Beobachtungsgewichte einzubeziehen, aber soweit ich weiß, weisen die Leute den Loglikelihood-Begriffen nicht nur Gewichte zu. In den mir bekannten Ergebnissen gehen sie davon aus, dass die Antwortvarianz zwischen den Beobachtungen nicht gleich ist und möglicherweise von X abhängt. Dann schreiben sie die entsprechende Wahrscheinlichkeit auf und sehen, wohin sie führt. Ein Beispiel finden Sie hier: stats.stackexchange.com/questions/118243/…

— Nik Tuzov

2

Im Allgemeinen ist die Antwort von Nik Tuzov richtig, aber einige Details sind nicht vollständig richtig. Zusammenfassend ist die Verteilung der WMLE unbekannt. Sie können die tatsächliche Gleichung für die MLE (Gewichte oder keine) aufschreiben und die vollständige Ableitung schreiben, um das Maximum der Extrempunkte zu bestimmen. Dies gibt Ihnen eine rechnerische Antwort - aber ohne das spezifische Wissen über die zugrunde liegende Verteilung können Sie diese nicht ausführen.

Tatsächlich ändert das Vorhandensein der Gewichte nicht viel an der Frage, da Sie nur noch die Ableitung berechnen müssen. Die typische Verwendung von LE in der angewandten Wissenschaft erfolgt genau mit Gewichten, die von den als Poissonian verteilten Y-Think-Zählexperimenten / -ergebnissen abhängen, mit den damit verbundenen Unsicherheiten, die als Gewichte wirken.

In der praktischen Anwendung, in der die LE numerisch durchgeführt wird, ist eine typische Annäherung eine parabolische Form um den Maximalwert. Sie können dies entweder als "Normalverteilung" oder als erstes nicht verschwindendes Element der Taylor-Erweiterung interpretieren. Aber abgesehen von Sonderfällen ist es nicht genau (und kann sogar numerisch viel besser bestimmt werden).

Also: In einfachen Fällen können Sie für die zugrunde liegende Verteilung möglicherweise eine analytische Beschreibung für die resultierende Verteilung ableiten - wo die Reihe tatsächlich konvergiert. Ansonsten: nein, also generell auch: nein.

— Cherub
quelle