Warum ist der Standardfehler eines Anteils für ein gegebenes n für 0,5 am größten?

Der Standardfehler eines Anteils ist der größte, den er für ein gegebenes N haben kann, wenn der fragliche Anteil 0,5 beträgt, und wird kleiner, je weiter der Anteil von 0,5 entfernt ist. Ich kann sehen, warum dies so ist, wenn ich die Gleichung für den Standardfehler eines Anteils betrachte, aber ich kann dies nicht weiter erklären.

Gibt es eine Erklärung jenseits der mathematischen Eigenschaften der Formel? Wenn ja, warum gibt es weniger Unsicherheit bezüglich der geschätzten Anteile (für ein gegebenes N), wenn sie sich 0 oder 1 nähern?

Hintergrund und Terminologie

Um ganz klar zu sein, worüber wir sprechen, lassen Sie uns einige Konzepte und Begriffe festlegen. Ein schönes Modell für Proportionen ist die binäre Urne: Sie enthält Kugeln, die entweder silberfarben ("Erfolg") oder fuchsia ("Misserfolg") gefärbt sind. Der Anteil der Silberkugeln in der Urne ist (aber dies ist nicht der "Anteil", über den wir sprechen werden). $p$

Diese Urne bietet eine Möglichkeit, einen Bernoulli-Versuch zu modellieren . Um eine Erkenntnis zu erhalten , mischen Sie die Kugeln gründlich und ziehen Sie eine blind heraus, wobei Sie ihre Farbe beobachten. Um zusätzliche Erkenntnisse zu erhalten, stellen Sie zuerst die Box wieder her, indem Sie den gezogenen Ball zurückgeben, und wiederholen Sie dann den Vorgang eine vorgegebene Anzahl von Malen. Die Folge von Realisierungen kann durch die Anzahl ihrer Erfolge X zusammengefasst werden . Es ist eine Zufallsvariable, deren Eigenschaften vollständig durch n und p bestimmt werden . Die Verteilung von X wird als Binomialverteilung ( n , p ) bezeichnet . Der Anteil (experimentell oder "Probe")$n$$X$$n$$p$$X$$(n,p)$ist das Verhältnis .$X/n$

Diese Zahlen sind Balkendiagramme von Wahrscheinlichkeitsverteilungen für verschiedene Binomialverhältnisse . Am bemerkenswertesten ist ein konsistentes Muster, unabhängig von n , in denen die Verteilungen schmaler (und die Balken entsprechend höher) als P bewegt sich von 1 / 2 abwärts.$X/n$$n$$p$$1/2$

Die Standardabweichung von ist der in der Frage erwähnte Standardproportionsfehler . Für jedes gegebene n kann diese Menge nur von p abhängen . Nennen wir es se ( p ) . Durch das Wechseln der Rollen der Bälle - nennen Sie die silbernen "Misserfolge" und die fuchsiafarbenen "Erfolge" - ist es leicht zu erkennen, dass se ( p ) = se ( 1 - p ) . Somit ist die Situation, in der p = 1 - p - das ist, p = 1 $X/n$$n$$p$$\operatorname{se}(p)$$\operatorname{se}(p) = \operatorname{se}(1-p)$$p=1-p$ muss etwas Besonderes sein. Die Fragewie se ( p ) variiertwenn p bewegt sich von 1 / 2 in Richtung einer Extremwert, beispielsweise 0 .$p=1/2$$\operatorname{se}(p)$$p$$1/2$$0$

Wissen gegen Verstehen

Weil jeder Figuren wie diese früh in ihrer Ausbildung hat sich gezeigt, jeder „kennt“ die Breiten der Parzellen - die durch gemessen --must ab , wenn p bewegt sich von 1 / 2 . Aber dieses Wissen ist wirklich nur Erfahrung, während die Frage ein tieferes Verständnis sucht. Ein solches Verständnis ergibt sich aus einer sorgfältigen Analyse der Binomialverteilungen, wie sie Abraham de Moivre vor etwa 300 Jahren vorgenommen hat. (Sie waren im Geiste denen ähnlich, die ich in einer Diskussion des zentralen Grenzwertsatzes vorgestellt habe .) Ich denke jedoch, dass einige relativ einfache Überlegungen ausreichen könnten, um darauf hinzuweisen, dass die Breiten in der Nähe am breitesten sein müssen$\operatorname{se}(p)$$p$$1/2$ .$p=1/2$

Eine einfache intuitive Analyse

Es ist klar, dass wir erwarten sollten, dass der Anteil der Erfolge im Experiment nahe bei . Der Standardfehler betrifft, wie weit von dieser Erwartung entfernt das tatsächliche Ergebnis X / n vernünftigerweise angenommen werden kann. Gesetzt, ohne Verlust der Allgemeinheit, dass p zwischen ist 0 und 1 / 2 , was es dauern würde , erhöhen X / n von p ? Typischerweise waren um p n der in einem Experiment gezogenen Kugeln Silber und (daher) um ( 1 - p ) $p$$X/n$$p$$0$$1/2$$X/n$$p$$pn$$(1-p)n$waren fuchsia. Um mehr Silberkugeln zu erhalten, mussten einige dieser Fuchsia-Ergebnisse unterschiedlich sein. Wie wahrscheinlich ist es, dass der Zufall auf diese Weise funktioniert? Die offensichtliche Antwort ist, dass wenn p klein ist, es nie sehr wahrscheinlich ist, dass wir eine silberne Kugel ziehen werden. Daher sind unsere Chancen, Silberkugeln anstelle von Fuchsia-Kugeln zu zeichnen, immer gering. Wir könnten vernünftigerweise hoffen, dass durch reines Glück ein Teil p der Fuchsia-Ergebnisse unterschiedlich gewesen sein könnte, aber es scheint unwahrscheinlich, dass sich viel mehr als das geändert hätte. Somit ist es plausibel, dass X nicht um viel mehr als p × ( 1 - p ) n variieren würde . Gleichermaßen$p n$$p$$p$$X$$p\times (1-p)n$ würde nicht viel mehr variieren als p ( 1 - p ) n / n = p ( 1 - p ) .$X/n$$p(1-p)n/n = p(1-p)$

Die Auflösung

Somit erscheint die magische Kombination . $p(1-p)$ Dies setzt sich praktisch die Frage: Offensichtlich ist diese Menge Peaks bei und verringert sich auf Null bei p = 0 oder p = 1 . Es bietet eine intuitive und dennoch quantitative Rechtfertigung für Behauptungen, dass "ein Extrem begrenzter ist als das andere" oder andere derartige Bemühungen, das zu beschreiben, was wir wissen.$p=1/2$$p=0$$p=1$

Allerdings ist nicht ganz korrekter Wert: es weist lediglich die Art und Weise, uns mitzuteilen , welche Menge sollte zur Abschätzung der Ausbreitung von Materie X . Wir haben die Tatsache ignoriert , dass das Glück auch gegen uns zu handeln neigt: wie einige der pinkfarbenen Kugeln konnte Silber gewesen, einige der silbernen Kugeln haben könnte gewesen fuchsia. Die rigorose Berücksichtigung aller Möglichkeiten kann kompliziert werden, aber das Ergebnis ist, dass anstelle von p ( 1 - p ) n eine vernünftige Grenze dafür verwendet wird, wie viel X von seiner Erwartung p n abweichen könnte$p(1-p)$$X$$p(1-p)n$$X$$pn$Um alle möglichen Ergebnisse richtig zu berücksichtigen, müssen wir die Quadratwurzel . (Für eine genauere Darstellung des Grundes besuchen Sie bitte (https://stats.stackexchange.com/a/3904).Wenn Siedurchndividieren, erfahren Sie, dass zufällige Variationen des AnteilsX/nselbst in der Größenordnung von$\sqrt{p(1-p)n}$$n$$X/n$das ist der Standardfehler vonX/n.$\sqrt{p(1-p)n}/n = \sqrt{\frac{p(1-p)}{n}},$$X/n$

Betrachten Sie die Funktion p (1-p) für 0 <= p <= 1. Mit Hilfe der Berechnung können Sie sehen, dass bei p = 1/2 1/4 der Maximalwert ist. Wenn Sie sehen, dass dies für das Binomial ist, das sich auf die Standardabweichung der Schätzung des Anteils bezieht, der sqrt (p (1-p) / n) ist, dann ist p = 1/2 das Maximum. Wenn p = 1 oder 0 ist, ist der Standardfehler 0, da Sie immer alle Einsen bzw. alle Nullen erhalten. Wenn Sie sich also 0 oder 1 nähern, besagt ein Kontinuitätsargument, dass sich der Standardfehler 0 nähert, wenn sich p 0 oder 1 nähert. Tatsächlich nimmt er monoton ab, wenn sich p 0 oder 1 nähert. Für großes n sollte der geschätzte Anteil nahe am tatsächlichen liegen Anteil.

Die Binomialverteilung ist tendenziell ungefähr symmetrisch (für großes ist sie ungefähr normal ).$n$

Da das Verhältnis zwischen 0 und 1 liegen muss, wird die Unsicherheit durch diese Grenzen eingeschränkt. Wenn das mittlere Verhältnis nicht genau in der Mitte liegt, ist eine dieser Grenzen einschränkender als die andere.

$p$$\min[\,p\,,1-p\,]$