Welche Intuition steckt dahinter, Vollständigkeit in einer Statistik als unmöglich zu definieren, um daraus einen unverzerrten Schätzer von

21

In der klassischen Statistik gibt es die Definition, dass eine Statistik $T$ eines Datensatzes $y_1, \ldots, y_n$ für einen Parameter $\theta$ als vollständig definiert ist. Es ist unmöglich, daraus nichttrivial einen unverzerrten Schätzer von $0$ zu bilden . Das heißt, hat die einzige Möglichkeit , $E h(T (y )) = 0$ für alle $\theta$ sind zu haben , $h$ seine $0$ fast sicher.

Gibt es eine Intuition dahinter? Es scheint eine eher mechanische Art zu sein, dies zu definieren. Ich bin mir bewusst, dass dies bereits gefragt wurde, habe mich aber gefragt, ob es eine sehr leicht verständliche Intuition gibt, die es den Einführungsschülern erleichtert, das Material zu verdauen.

— user1398057
quelle

2

Das ist eine sehr gute Frage, ich musste mich selbst damit befassen. Es stellt sich heraus, dass der Grund dafür, dass es sich um eine solche mechanische Definition handelt und für einen Standardpraktiker wie mich nicht intuitiv aussagekräftig erscheint, darin besteht, dass sie in erster Linie zum Nachweis grundlegender Beiträge in der mathematischen Statistik verwendet wird. Insbesondere ergab meine kurze Suche, dass das Lehmann-Scheffé- Theorem und das Basu- Theorem die Vollständigkeit einer Statistik erfordern, um zu gelten. Dies sind Beiträge aus der Mitte der 1950er Jahre. Ich kann Ihnen keine intuitive Erklärung anbieten - aber wenn Sie wirklich eine erstellen möchten, vielleicht die Beweise assoziieren

— Jeremias K

18

Ich werde versuchen, die andere Antwort hinzuzufügen. Erstens ist Vollständigkeit eine technische Bedingung, die hauptsächlich durch die sie verwendenden Theoreme gerechtfertigt ist. Beginnen wir also mit einigen verwandten Konzepten und Theoremen, in denen sie vorkommen.

Sei $X=(X_1,X_2,\dotsc,X_n)$ ein Vektor von iid-Daten, für den wir eine Verteilung $f(x;\theta), \theta \in \Theta$ modellieren wobei der Parameter $\theta$ , der die Daten regelt, unbekannt ist. $T=T(X)$ ist ausreichend, wenn die bedingte Verteilung von $X \mid T$ nicht vom Parameter $\theta$ abhängt . $V=V(X)$ istnebensächlich,wenn die Verteilung von $V$ nicht von $\theta$ abhängt(innerhalb der Familie $f(x;\theta)$ ). $U=U(X)$ ist einunverzerrter Schätzer von Null,wenn seine Erwartung ungeachtet von $\theta$ thgr; Null ist. $S=S(X)$ ist einevollständige Statistik,wenn ein unverzerrter Schätzer von Null, der auf $S$ basiert, identisch Null ist, dh wenn $\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ dann $g(S)=0$ ae (für alle $\theta$ ).

Angenommen, Sie haben zwei verschiedene unverzerrte Schätzer für $\theta$ basierend auf der ausreichenden Statistik $T$ , $g_1(T), g_2(T)$ . Das heißt, in Symbolen

E g_{1} (T) = θ, E g_{2} (T) = θ

$\E g_1(T)=\theta ,\\ \E g_2(T)=\theta$ und

P (g_{1} (T) \neq g_{2} (T)) > 0

$\DeclareMathOperator{\P}{\mathbb{P}} \P(g_1(T) \not= g_2(T) ) > 0$ (für alle

θ

$\theta$ ). Dann ist

g_{1} (T) - g_{2} (T)

$g_1(T)-g_2(T)$ ein unverzerrter Schätzer von Null, der nicht identisch Null ist, was beweist, dass

T

$T$ nicht vollständig ist. Die Vollständigkeit einer ausreichenden Statistik

T

$T$ gibt uns also die Möglichkeit, dass es nur einen eindeutigen unverzerrten Schätzer für

θ

$\theta$ basierend auf

T

$T$ . Das kommt dem Lehmann-Scheffé-Theorem schon sehr nahe.

Schauen wir uns einige Beispiele an. Angenommen, $X_1, \dotsc, X_n$ sind nun im Intervall $(\theta, \theta+1)$ gleichförmig . Wir können zeigen, dass ( $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ die Ordnungsstatistik ist) das Paar ausreichend ist, aber es ist nicht vollständig, weil die Differenz $(X_{(1)}, X_{(n)})$ $X_{(n)}-X_{(1)}$ ist nebensächlich, wir können seine Erwartung berechnen, es sei $c$ (was nur eine Funktion von $n$ ), und dann wird $X_{(n)}-X_{(1)} -c$ ein unverzerrter Schätzer von Null sein das ist nicht identisch Null. Daher ist unsere ausreichende Statistik in diesem Fall nicht vollständig und ausreichend. Und wir können sehen, was das bedeutet: Es gibt Funktionen der ausreichenden Statistik, die nicht überinformativ sind $\theta$ (im Kontext des Modells). Dies kann nicht mit einer vollständig ausreichenden Statistik geschehen. es ist in gewissem Sinne maximal informativ, da keine Funktionen davon nicht informativ sind. Wenn andererseits eine Funktion der minimal ausreichenden Statistik mit der Erwartung Null vorliegt, die als Rauschausdruck angesehen werden könnte , haben die Störungs- / Rauschausdrücke in Modellen die Erwartung Null. Wir könnten also sagen, dass nicht vollständige ausreichende Statistiken Rauschen enthalten .

Sehen Sie sich in diesem Beispiel noch einmal den Bereich $R=X_{(n)}-X_{(1)}$ an. Da seine Verteilung nicht von $\theta$ abhängt , enthält es allein keine Informationen über $\theta$ . Aber zusammen mit der ausreichenden Statistik macht es! Wie? Betrachten Sie den Fall, in dem $R=1$ beobachtet wird. Dann haben wir im Kontext unseres (als wahr bekannten) Modells die perfekte Kenntnis von $\theta$ ! Wir können nämlich mit Sicherheit sagen, dass $\theta = X_{(1)}$ . Sie können jeden anderen Wert für überprüfen $\theta$ dann führt dies dazu, dass entweder $X_{(1)}$ oder $X_{(n)}$ unter dem angenommenen Modell eine unmögliche Beobachtung ist. Wenn wir dagegen $R=0.1$ , ist der Bereich der möglichen Werte für $\theta$ ziemlich groß (Übung ...).

In diesem Sinne enthält die Zusatzstatistik $R$ einige Informationen über die Genauigkeit, mit der wir $\theta$ basierend auf diesen Daten und diesem Modell schätzen können . In diesem und anderen Beispielen übernimmt die Zusatzstatistik $R$ "die Rolle der Stichprobengröße". Normalerweise benötigen Konfidenzintervalle und solche die Stichprobengröße $n$ , aber in diesem Beispiel können wir ein bedingtes Konfidenzintervall erstellen, das nur mit $R$ berechnet wird , nicht mit $n$ (Übung). Dies war eine Idee von Fisher, von der Inferenz abhängig gemacht werden sollte eine zusätzliche Statistik.

Nun, Basus Theorem: Wenn $T$ vollständig genug ist, dann ist es unabhängig von irgendwelchen Hilfsstatistiken. Das heißt, eine auf einer vollständig ausreichenden Statistik basierende Folgerung ist einfacher, da wir keine bedingte Folgerung berücksichtigen müssen. Die Konditionierung auf eine von $T$ unabhängige Statistik ändert natürlich nichts.

Dann ein letztes Beispiel, um mehr Intuition zu vermitteln. Ändern Sie unser Beispiel für die Gleichverteilung in eine Gleichverteilung für das Intervall $(\theta_1, \theta_2)$ (mit $\theta_1<\theta_2$ ). In diesem Falldie Statistik $(X_{(1)}, X_{(n)})$ istvollständig und ausreichend. Was hat sich geändert? Wir können sehen, dass Vollständigkeit wirklich eine Eigenschaft desModells ist. Im ersten Fall hatten wir einen eingeschränkten Parameterraum. Diese Einschränkung zerstörte die Vollständigkeit, indem sie Zusammenhänge in die Auftragsstatistik einführte. Durch die Aufhebung dieser Einschränkung haben wir Vollständigkeit erhalten! In gewissem Sinne bedeutet Unvollständigkeit, dass der Parameterraum nicht groß genug ist, und wir können hoffen, durch Vergrößerung die Vollständigkeit wiederherzustellen (und damit den Rückschluss zu erleichtern).

Einige andere Beispiele, bei denen ein Mangel an Vollständigkeit durch Einschränkungen des Parameterraums verursacht wird,

siehe meine Antwort auf: Was für Informationen sind Fisher-Informationen?
Sei $X_1, \dotsc, X_n$ iid $\mathcal{Cauchy}(\theta,\sigma)$ (ein Standortskalenmodell). Dann reicht die Bestellstatistik aber nicht aus. Aber jetzt vergrößern Sie dieses Modell auf ein vollständig nichtparametrisches Modell, das immer noch von einer vollständig nicht spezifizierten Distribution $F$ . Dann ist die Auftragsstatistik ausreichend und vollständig.
Für Exponentialfamilien mit kanonischem Parameterraum (das heißt, so groß wie möglich) ist die minimale ausreichende Statistik ebenfalls vollständig. In vielen Fällen führt die Einführung von Einschränkungen des Parameterraums wie bei gekrümmten Exponentialfamilien jedoch zu einer Zerstörung der Vollständigkeit.

Ein sehr relevantes Papier ist eine Interpretation der Vollständigkeit und Basus Theorem.

— kjetil b halvorsen
quelle

7

Aus der Theorie der besten (minimalen Varianz) unverzerrten Schätzer kann eine gewisse Intuition hervorgehen.

Wenn dann ist ein bester unverzerrter Schätzer von iff unkorreliert ist mit allen unvoreingenommenen Schätzer von Null. $E_\theta W=\tau(\theta)$ $W$ $\tau(\theta)$ $W$

$W$ $W'$ $E_\theta W'=E_\theta W=\tau(\theta)$ $W'=W+(W'-W)$ $Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$ $W'$ $Var_\theta W'\geq Var_\theta W$

$W$ $U$ $E_\theta U=0$ $\phi_a:=W+aU$ $\tau(\theta)$

V a r_{θ} ϕ_{a} := V a r_{θ} W + 2 a C o v_{θ} (W, U) + a^{2} V a r_{θ} U .

$Var_\theta \phi_a:=Var_\theta W+2aCov_\theta(W,U)+a^2Var_\theta U.$

θ_{0} \in Θ

$\theta_0\in\Theta$

C o v_{θ_{0}} (W, U) < 0

$Cov_{\theta_0}(W,U)<0$

V a r_{θ} ϕ_{a} < V a r_{θ} W

$Var_\theta \phi_a<Var_\theta W$

a \in (0, - 2 C o v_{θ_{0}} (W, U) / V a r_{θ_{0}} U)

$a\in(0,-2Cov_{\theta_0}(W,U)/Var_{\theta_0} U)$

W

$W$

Das Ergebnis besagt intuitiv, dass ein Schätzer, der optimal ist, nicht durch Hinzufügen von Rauschen verbessert werden kann. Dies bedeutet, dass er mit einem Schätzer kombiniert wird, der im Durchschnitt nur Null ist (ein unparteiischer Schätzer von Null) ).

$W$ $Cov_\theta(W,0)=0$

— Christoph Hanck
quelle