Wie kann man Freiheitsgrade verstehen?

Aus Wikipedia gibt es drei Interpretationen der Freiheitsgrade einer Statistik:

In der Statistik ist die Anzahl der Freiheitsgrade die Anzahl der Werte in der endgültigen Berechnung einer Statistik, die frei variieren können .

Schätzungen statistischer Parameter können auf unterschiedlichen Mengen von Informationen oder Daten basieren. Die Anzahl unabhängiger Informationen , die in die Schätzung eines Parameters eingehen, wird als Freiheitsgrade (df) bezeichnet. Im Allgemeinen sind die Freiheitsgrade einer Schätzung eines Parameters gleich der Anzahl der unabhängigen Bewertungen, die in die Schätzung eingehen , abzüglich der Anzahl der Parameter, die als Zwischenschritte bei der Schätzung des Parameters selbst verwendet werden (was bei Stichprobenvarianz gleich ist) eins, da der Mittelwert der Stichprobe der einzige Zwischenschritt ist).

Mathematisch gesehen sind Freiheitsgrade die Dimension der Domäne eines Zufallsvektors oder im Wesentlichen die Anzahl der "freien" Komponenten: Wie viele Komponenten müssen bekannt sein, bevor der Vektor vollständig bestimmt werden kann .

Die kühnen Worte sind das, was ich nicht ganz verstehe. Wenn möglich, helfen einige mathematische Formulierungen, das Konzept zu verdeutlichen.

Stimmen auch die drei Interpretationen überein?

Dies ist eine subtile Frage. Es braucht einen nachdenklichen Menschen , um diese Zitate nicht zu verstehen! Obwohl sie andeutend sind, stellt sich heraus, dass keine von ihnen genau oder allgemein korrekt ist. Ich habe nicht die Zeit (und hier ist kein Platz), um eine vollständige Darstellung zu geben, aber ich möchte einen Ansatz und eine darin enthaltene Einsicht mitteilen.

Wo entsteht das Konzept der Freiheitsgrade (DF)? Die Zusammenhänge, in denen es in elementaren Behandlungen zu finden ist, sind:

• Der Student-T-Test und seine Varianten wie der Welch- oder Satterthwaite -Test lösen das Behrens-Fisher-Problem (bei dem zwei Populationen unterschiedliche Varianzen aufweisen).

• Die Chi-Quadrat-Verteilung (definiert als die Summe der Quadrate unabhängiger Standardnormalen), die in die Stichprobenverteilung der Varianz einbezogen wird .

• Der F-Test (der Verhältnisse der geschätzten Varianzen).

• Der Chi-Quadrat-Test umfasst seine Verwendungen in (a) Testen der Unabhängigkeit in Kontingenztabellen und (b) Testen der Anpassungsgüte von Verteilungsschätzungen.

Im Geiste reichen diese Tests von der Genauigkeit (Student-T-Test und F-Test für Normalvariablen) bis hin zu guten Annäherungen (Student-T-Test und Welch / Satterthwaite-Test für nicht allzu verzerrte Daten) ) auf asymptotischen Näherungen beruhen (Chi-Quadrat-Test). Ein interessanter Aspekt von einigen von diesen ist das Auftreten von nichtintegralen "Freiheitsgraden" (der Welch / Satterthwaite-Test und, wie wir sehen werden, der Chi-Quadrat-Test). Dies ist von besonderem Interesse , weil es der erste Hinweis ist , dass DF ist nicht eine der Dinge behaupten.

Wir können über einige der Ansprüche in der Frage sofort verfügen. Da die "endgültige Berechnung einer Statistik" nicht genau definiert ist (es hängt anscheinend davon ab, welchen Algorithmus man für die Berechnung verwendet), kann es sich nur um einen vagen Vorschlag handeln und verdient keine weitere Kritik. In ähnlicher Weise sind weder "Anzahl unabhängiger Bewertungen, die in die Schätzung einfließen" noch "Anzahl der als Zwischenschritte verwendeten Parameter" genau definiert.

"Unabhängige Informationen, die in eine Schätzung einfließen", sind schwierig zu behandeln, da es zwei verschiedene, aber eng miteinander verbundene Sinne von "unabhängig" gibt, die hier relevant sein können. Eines ist die Unabhängigkeit von Zufallsvariablen; der andere ist funktionale Unabhängigkeit. Als Beispiel für Letzteres nehmen wir an, dass wir morphometrische Messungen von Subjekten sammeln - beispielsweise der Einfachheit halber die drei Seitenlängen , , , Oberflächen und Volumina von eine Reihe von Holzklötzen. Die drei Seitenlängen können als unabhängige Zufallsvariablen betrachtet werden, aber alle fünf Variablen sind abhängige RVs. Die fünf sind auch abhängig, weil dieY Z ω ∈ R 5 f ω g ω f ω ( X ( ψ ) , ... , V ( ψ ) ) = 0 g ω ( X ( ψ ) , ... , V ( ψ ) ) = 0 ψ ω f g ω ( X , S , V $X$$Y$$Z$V = X Y Z ( X , Y , Z , S , V ) R$S=2(XY+YZ+ZX)$$V=XYZ$ funktional Codomäne ( nicht die "Domäne"!) der vektorwertigen Zufallsvariablen eine dreidimensionale Mannigfaltigkeit in nachzeichnet . (Somit gibt es lokal an jedem Punkt zwei Funktionen und für die und für Punkte "nahe" und die Ableitungen von und werden mit bewertet$(X,Y,Z,S,V)$$\mathbb{R}^5$$\omega\in\mathbb{R}^5$$f_\omega$$g_\omega$$f_\omega(X(\psi),\ldots,V(\psi))=0$$g_\omega(X(\psi),\ldots,V(\psi))=0$$\psi$$\omega$$f$$g$$\omega$linear unabhängig sind) jedoch -. Hier ist der Kicker - für viele Wahrscheinlichkeitsmaße auf den Blöcken, Teilmengen der Variablen wie sind abhängig als Zufallsvariablen aber funktionell unabhängig.$(X,S,V)$

Nachdem wir über diese potenziellen Unklarheiten informiert wurden, halten wir den Chi-Quadrat-Fit-Test für die Prüfung zurück , weil (a) es einfach ist, (b) es eine der häufigsten Situationen ist, in denen die Leute wirklich etwas über DF wissen müssen, um das zu bekommen p-Wert richtig und (c) es wird oft falsch verwendet. Hier ist eine kurze Zusammenfassung der am wenigsten kontroversen Anwendung dieses Tests:

• Sie haben eine Sammlung von Datenwerten , die als Stichprobe einer Grundgesamtheit betrachtet werden.$(x_1, \ldots, x_n)$

• Sie haben einige Parameter einer Verteilung geschätzt . Zum Beispiel schätzte man den Mittelwert und Standardabweichung einer Normalverteilung hypothesizing, dass die Population normalverteilt ist aber nicht zu wissen (im Vorfeld der Daten zu erhalten) , was oder sein könnte.θ 1 θ 2 = θ p θ 1 θ $\theta_1, \ldots, \theta_p$$\theta_1$$\theta_2 = \theta_p$$\theta_1$$\theta_2$

• Im Voraus haben Sie einen Satz von "Fächern" für die Daten erstellt. (Es kann problematisch sein, wenn die Klassen anhand der Daten bestimmt werden, obwohl dies häufig der Fall ist.) Bei Verwendung dieser Klassen werden die Daten auf die Anzahl der Zählungen in jeder Klasse reduziert. Vorweggenommen, was die wahren Werte von könnten, haben Sie es so angeordnet, dass (hoffentlich) jeder Behälter ungefähr die gleiche Zählung erhält. (Binning mit gleicher Wahrscheinlichkeit stellt sicher, dass die Chi-Quadrat-Verteilung wirklich eine gute Annäherung an die wahre Verteilung der Chi-Quadrat-Statistik ist, die beschrieben werden soll.)( θ $k$$(\theta)$

• Sie haben viele Daten - genug, um sicherzustellen, dass fast alle Fächer eine Anzahl von 5 oder mehr haben sollten. (Wir hoffen, dass dadurch die Stichprobenverteilung der Statistik durch eine gewisse Verteilung angemessen approximiert werden kann.)χ $\chi^2$$\chi^2$

Mithilfe der Parameterschätzungen können Sie die erwartete Anzahl in jedem Bin berechnen. Die Chi-Quadrat-Statistik ist die Summe der Verhältnisse

$$\frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

Viele Behörden sagen, dass dies (in sehr enger Annäherung) eine Chi-Quadrat-Verteilung haben sollte. Aber es gibt eine ganze Familie solcher Verteilungen. Sie werden durch einen Parameter oft als "Freiheitsgrade" bezeichnet wird. Die Standardüberlegung zur Bestimmung von sieht so aus$\nu$$\nu$

Ich habe zählt. Das sind Daten. Aber es gibt ( funktionale ) Beziehungen zwischen ihnen. Zunächst weiß ich im Voraus, dass die Summe der Zählungen gleich muss . Das ist eine Beziehung. Ich habe zwei (oder , allgemein) Parameter aus den Daten geschätzt . Das sind zwei (oder ) zusätzliche Beziehungen, was Gesamtbeziehungen ergibt . Vorausgesetzt, sie (die Parameter) sind alle ( funktional ) unabhängig, so dass nur ( funktional ) unabhängige "Freiheitsgrade" verbleiben : das ist der Wert, der für .k n p p p + 1 k - p - 1 $k$$k$$n$$p$$p$$p+1$$k-p-1$$\nu$

Das Problem mit dieser Argumentation (die Art der Berechnung, auf die die Zitate in der Frage hinweisen) ist, dass sie falsch ist, es sei denn, es gelten einige spezielle zusätzliche Bedingungen. Darüber hinaus haben diese Bedingungen nichts mit der Unabhängigkeit (funktional oder statistisch), mit der Anzahl der "Komponenten" der Daten, mit der Anzahl der Parameter oder mit irgendetwas anderem zu tun, worauf in der ursprünglichen Frage Bezug genommen wurde.

Lassen Sie mich Ihnen ein Beispiel zeigen. (Um es so klar wie möglich zu machen, verwende ich eine kleine Anzahl von Behältern, aber das ist nicht wesentlich.) Generieren wir 20 unabhängige und identisch verteilte (iid) Standardnormalvariablen und schätzen ihren Mittelwert und ihre Standardabweichung mit den üblichen Formeln ( Mittelwert = Summe / Anzahl usw. ) Um die Passgenauigkeit zu testen, erstellen Sie vier Bins mit Schnittpunkten in den Quartilen einer Standardnormalen: -0,675, 0, +0,657. Verwenden Sie die Bin-Zählwerte, um eine Chi-Quadrat-Statistik zu erstellen. Wiederholen, wenn es die Geduld erlaubt; Ich hatte Zeit für 10.000 Wiederholungen.

Die Standard-Weisheit über DF besagt, dass wir 4 Klassen und 1 + 2 = 3 Bedingungen haben, was bedeutet, dass die Verteilung dieser 10.000 Chi-Quadrat-Statistiken einer Chi-Quadrat-Verteilung mit 1 DF folgen sollte. Hier ist das Histogramm:

Die dunkelblaue Linie zeigt die PDF-Datei einer -Verteilung - die, von der wir dachten, dass sie funktionieren würde -, während die dunkelrote Linie die einer -Verteilung darstellt (was gut wäre rate mal, wenn dir jemand sagen würde, dass falsch ist). Weder passt die Daten.≤ 2 ( 2 ) ν = $\chi^2(1)$$\chi^2(2)$$\nu=1$

Möglicherweise liegt das Problem an der geringen Größe der Datensätze ( = 20) oder möglicherweise an der geringen Größe der Anzahl der Fächer. Das Problem besteht jedoch auch bei sehr großen Datenmengen und einer größeren Anzahl von Behältern fort: Es ist nicht nur ein Misserfolg, eine asymptotische Annäherung zu erreichen.$n$

Die Sache lief schief, weil ich zwei Anforderungen des Chi-Quadrat-Tests verletzt habe:

1. Sie müssen die Maximum-Likelihood- Schätzung der Parameter verwenden. (Diese Anforderung kann in der Praxis leicht verletzt werden.)

2. Sie müssen diese Schätzung auf die Zählungen stützen , nicht auf die tatsächlichen Daten! (Dies ist entscheidend .)

Das rote Histogramm zeigt die Chi-Quadrat-Statistik für 10.000 separate Iterationen gemäß diesen Anforderungen. Sicher genug, es folgt sichtbar der -Kurve (mit einer akzeptablen Menge an Stichprobenfehlern), wie wir es uns ursprünglich erhofft hatten.$\chi^2(1)$

Der Punkt dieses Vergleichs - den Sie hoffentlich schon gesehen haben - ist, dass der richtige DF für die Berechnung der p-Werte von vielen anderen Faktoren abhängt als den Dimensionen der Mannigfaltigkeiten, der Anzahl der funktionalen Beziehungen oder der Geometrie der Normalvariablen . Es gibt eine subtile, heikle Wechselwirkung zwischen bestimmten funktionalen Abhängigkeiten, wie sie in mathematischen Beziehungen zwischen Größen und Verteilungen der Daten, ihrer Statistiken und der daraus gebildeten Schätzer zu finden sind. Dementsprechend kann es nicht der Fall sein, dass DF in Bezug auf die Geometrie multivariater Normalverteilungen oder in Bezug auf funktionale Unabhängigkeit oder als Anzahl von Parametern oder irgendetwas anderem dieser Art angemessen erklärbar ist.

Wir werden also zu dem Schluss gebracht, dass "Freiheitsgrade" lediglich eine Heuristik sind , die vorschlägt, wie die Stichprobenverteilung einer (t-, Chi-Quadrat- oder F-) Statistik sein sollte, aber nicht dispositiv ist. Der Glaube, dass es dispositiv ist, führt zu ungeheuren Fehlern. (Der Top-Hit bei Google bei der Suche nach "Chi-Quadrat-Anpassungsgüte" ist beispielsweise eine Webseite von einer Ivy League-Universität , die das meiste davon völlig falsch macht! Insbesondere eine Simulation auf der Grundlage ihrer Anweisungen zeigt, dass das Chi-Quadrat Wert, den es empfiehlt, da 7 DF tatsächlich 9 DF haben.)

Angesichts dieses differenzierten Verständnisses lohnt es sich, den betreffenden Wikipedia-Artikel erneut zu lesen: In seinen Details macht es die Dinge richtig und zeigt auf, wo die DF-Heuristik tendenziell funktioniert und wo sie entweder eine Annäherung darstellt oder überhaupt nicht zutrifft.

---

Eine gute Darstellung des hier dargestellten Phänomens (unerwartet hohe DF in Chi-Quadrat-GOF-Tests) findet sich in Band II von Kendall & Stuart, 5. Auflage . Ich bin dankbar für die Gelegenheit, die diese Frage bietet, um mich auf diesen wunderbaren Text zurückzuführen, der voller nützlicher Analysen steckt.

---

Bearbeiten (Jan 2017)

Hier ist RCode, um die folgende Abbildung zu erstellen: "Die Standard-Weisheit über DF ..."

#
# Simulate data, one iteration per column of `x`.
#
n <- 20
n.sim <- 1e4
bins <- qnorm(seq(0, 1, 1/4))
x <- matrix(rnorm(n*n.sim), nrow=n)
#
# Compute statistics.
#
m <- colMeans(x)
s <- apply(sweep(x, 2, m), 2, sd)
counts <- apply(matrix(as.numeric(cut(x, bins)), nrow=n), 2, tabulate, nbins=4)
expectations <- mapply(function(m,s) n*diff(pnorm(bins, m, s)), m, s)
chisquared <- colSums((counts - expectations)^2 / expectations)
#
# Plot histograms of means, variances, and chi-squared stats.  The first
# two confirm all is working as expected.
#
mfrow <- par("mfrow")
par(mfrow=c(1,3))
red <- "#a04040"  # Intended to show correct distributions
blue <- "#404090" # To show the putative chi-squared distribution
hist(m, freq=FALSE)
curve(dnorm(x, sd=1/sqrt(n)), add=TRUE, col=red, lwd=2)
hist(s^2, freq=FALSE)
curve(dchisq(x*(n-1), df=n-1)*(n-1), add=TRUE, col=red, lwd=2)
hist(chisquared, freq=FALSE, breaks=seq(0, ceiling(max(chisquared)), 1/4), 
     xlim=c(0, 13), ylim=c(0, 0.55), 
     col="#c0c0ff", border="#404040")
curve(ifelse(x <= 0, Inf, dchisq(x, df=2)), add=TRUE, col=red, lwd=2)
curve(ifelse(x <= 0, Inf, dchisq(x, df=1)), add=TRUE, col=blue, lwd=2)
par(mfrow=mfrow)

Oder einfach: Die Anzahl der Elemente in einem numerischen Array, die Sie ändern dürfen, damit der Wert der Statistik unverändert bleibt.

# for instance if:
x + y + z = 10

ändern Sie können zum Beispiel x und y zufällig, aber man kann es nicht ändern z (Sie können, aber nicht zufällig, deshalb bist du nicht frei , es zu ändern - siehe Harvey Kommentar), weil Sie den Wert ändern werden der Statistik (Σ = 10). Also, in diesem Fall ist df = 2.

Das Konzept ist mit ein wenig Allgemeinwissen über dimensionale euklidische Geometrie, Teilräume und orthogonale Projektionen überhaupt nicht schwer mathematisch zu präzisieren .$n$

Wenn eine orthogonale Projektion von zu einem dimensionalen Unterraum und ein beliebiger ist , dann ist in , und sind orthogonal und ist in dem orthogonalen Komplement von . Die Dimension dieses orthogonalen Komplements ist . Wenn frei ist, in einem dimensionalen Raum zu variieren, dann ist frei, in einem zu variierenR n p L x n P x L x - P x P x x - P x ∈ L ⊥ L L ⊥ n - p x n x - P x n - P x - P x n - p$P$$\mathbb{R}^n$$p$$L$$x$$n$$Px$$L$$x - Px$$Px$$x - Px \in L^{\perp}$$L$$L^{\perp}$$n-p$$x$$n$$x - Px$$n-p$ dimensionaler Raum. Aus diesem Grund sagen wir , dass hat Freiheitsgrade .$x - Px$$n-p$

Diese Überlegungen sind für die Statistik wichtig , da wir, wenn ein n- dimensionaler Zufallsvektor und L ein Modell seines Mittelwerts ist, dh der Mittelwertvektor E ( X ) in L ist , X - P X den Vektor der Residuen nennen , und wir verwenden die Residuen, um die Varianz zu schätzen. Der Vektor der Residuen hat n - p Freiheitsgrade, dh er ist auf einen Unterraum der Dimension n - p beschränkt .$X$$n$$L$$E(X)$$L$$X-PX$$n-p$$n-p$

Sind die Koordinaten von unabhängig und normalverteilt mit der gleichen Varianz σ 2 dann$X$$\sigma^2$

• Die Vektoren und X - P X sind unabhängig.$PX$$X - PX$
• Wenn die Verteilung der Quadratnorm des Vektors der Residuen | | X - P X | | 2 ist eine χ 2 -Verteilung mit dem Skalenparameter σ 2 und einem anderen Parameter, der zufällig die Freiheitsgrade n - p sind .$E(X) \in L$$||X - PX||^2$$\chi^2$$\sigma^2$$n-p$

Die Beweisskizze für diese Tatsachen ist unten angegeben. Die beiden Ergebnisse sind von zentraler Bedeutung für die Weiterentwicklung der statistischen Theorie auf der Grundlage der Normalverteilung. Beachten Sie auch, dass die -Verteilung aus diesem Grund die entsprechende Parametrisierung hat. Es ist auch eine Γ- Verteilung mit Skalenparameter 2 σ 2 und Formparameter ( n - p ) / 2 , aber im obigen Kontext ist es natürlich, hinsichtlich der Freiheitsgrade zu parametrisieren.$\chi^2$$\Gamma$$2\sigma^2$$(n-p)/2$

Ich muss zugeben, dass ich keinen der aus dem Wikipedia-Artikel zitierten Abschnitte als besonders aufschlussreich empfinde, aber sie sind auch nicht wirklich falsch oder widersprüchlich. Sie sagen ungenau und im Allgemeinen locker, dass wir, wenn wir die Schätzung des Varianzparameters auf der Grundlage von Residuen berechnen, die Berechnung auf einen Vektor stützen, der sich nur in einem Raum der Dimension frei ändern kann - p .$n-p$

Über die Theorie der linearen Normalmodelle hinaus kann die Verwendung des Konzepts der Freiheitsgrade verwirrend sein. Beispielsweise wird bei der Parametrisierung der -Verteilung verwendet, ob ein Verweis auf irgendetwas vorliegt, das Freiheitsgrade haben könnte oder nicht. Wenn wir statistische Analysen von kategorialen Daten betrachten, kann es zu Verwirrung darüber kommen, ob die "unabhängigen Teile" vor oder nach einer Tabellierung gezählt werden sollen. Darüber hinaus ist es für Nebenbedingungen, selbst für normale Modelle, die keine Nebenraum-Nebenbedingungen sind, nicht offensichtlich, wie das Konzept der Freiheitsgrade erweitert werden kann. Typischerweise gibt es unter dem Namen effektive Freiheitsgrade verschiedene Vorschläge .$\chi^2$

Bevor andere Verwendungen und Bedeutungen von Freiheitsgraden in Betracht gezogen werden, empfehle ich dringend, sich im Kontext linearer Normalmodelle damit vertraut zu machen. Eine Referenz, die sich mit dieser Modellklasse befasst, ist Ein erster Kurs in linearer Modelltheorie , und im Vorwort des Buches finden sich zusätzliche Referenzen zu anderen klassischen Büchern über lineare Modelle.

Beweis der obigen Ergebnisse: Sei , beachte, dass die Varianzmatrix σ 2 I ist und wähle eine orthonormale Basis z 1 , … , z p von L und eine orthonormale Basis z p + 1 , … , z n von L ⊥ . Dann ist z 1 , ... , z n eine orthonormale Basis von R n . Sei ˜ $\xi = E(X)$$\sigma^2 I$$z_1, \ldots, z_p$$L$$z_{p+1}, \ldots, z_n$$L^{\perp}$$z_1, \ldots, z_n$$\mathbb{R}^n$$\tilde{X}$bezeichnen die -vector der Koeffizienten von X in dieser Basis, also ~ X i = Z T i X . Dies kann auch als ˜ X = Z T X geschrieben werden, wobei Z die orthogonale Matrix mit den z i in den Spalten ist. Dann müssen wir verwenden, dass ˜ X eine Normalverteilung mit dem Mittelwert Z T ξ und, da Z orthogonal ist, die Varianzmatrix σ 2$n$$X$

$$\tilde{X}_i = z_i^T X.$$ $\tilde{X} = Z^T X$$Z$$z_i$$\tilde{X}$$Z^T \xi$$Z$$\sigma^2 I$. Dies folgt aus allgemeinen linearen Transformationsergebnissen der Normalverteilung. Die Basis wurde so gewählt, daß die Koeffizienten von sind ~ X i für i = 1 , ... , p , und die Koeffizienten von X - P X sind ~ X i für i = p + 1 , ... , n . Da die Koeffizienten unkorreliert und gemeinsam normal sind, sind sie unabhängig, und dies bedeutet , dass P X = p Σ$PX$$\tilde{X}_i$$i= 1, \ldots, p$$X - PX$$\tilde{X}_i$$i= p+1, \ldots, n$ und X-PX= n ≤ i = p + 1 ≤ X izi sind unabhängig. Außerdem | | X-PX| | 2= n ≤ i = p + 1 ≤ X 2 i . Wenn& xgr;egrLdannE( ~ X $$PX = \sum_{i=1}^p \tilde{X}_i z_i$$ $$X - PX = \sum_{i=p+1}^n \tilde{X}_i z_i$$ $$||X - PX||^2 = \sum_{i=p+1}^n \tilde{X}_i^2.$$ $\xi \in L$ für i = p + 1 , … , n, weil dann z i ∈ L ⊥ und damit z i ⊥ ξ . In diesem Fall | | X - P X | | 2 ist die Summe von n - p unabhängigen N ( 0 , σ 2$E(\tilde{X}_i) = z_i^T \xi = 0$$i = p +1, \ldots, n$$z_i \in L^{\perp}$$z_i \perp \xi$$||X - PX||^2$$n-p$$N(0, \sigma^2)$-verteilte Zufallsvariablen, deren Verteilung per Definition eine -Verteilung mit den Skalenparametern σ 2 und n - p Freiheitsgraden ist.$\chi^2$$\sigma^2$$n-p$

Es unterscheidet sich wirklich nicht von der Art und Weise, wie der Begriff "Freiheitsgrade" in einem anderen Bereich verwendet wird. Angenommen, Sie haben vier Variablen: die Länge, die Breite, die Fläche und den Umfang eines Rechtecks. Weißt du wirklich vier Dinge? Nein, denn es gibt nur zwei Freiheitsgrade. Wenn Sie die Länge und die Breite kennen, können Sie die Fläche und den Umfang ableiten. Wenn Sie die Länge und die Fläche kennen, können Sie die Breite und den Umfang ableiten. Wenn Sie die Fläche und den Umfang kennen, können Sie die Länge und die Breite (bis zur Drehung) ableiten. Wenn Sie alle vier haben, können Sie entweder sagen, dass das System konsistent ist (alle Variablen stimmen überein) oder inkonsistent (kein Rechteck könnte tatsächlich alle Bedingungen erfüllen). Ein Quadrat ist ein Rechteck ohne Freiheitsgrad.

In der Statistik wird es unscharfer, aber die Idee ist immer noch dieselbe. Wenn alle Daten, die Sie als Eingabe für eine Funktion verwenden, unabhängige Variablen sind, haben Sie so viele Freiheitsgrade wie Eingaben. Aber wenn sie in irgendeiner Weise abhängig sind, so dass Sie, wenn Sie n - k Eingänge hätten, die verbleibenden k herausfinden könnten, dann haben Sie tatsächlich nur n - k Freiheitsgrade. Und manchmal müssen Sie dies berücksichtigen, damit Sie sich nicht davon überzeugen können, dass die Daten zuverlässiger oder prädiktiver sind als sie wirklich sind, indem Sie mehr Datenpunkte zählen, als Sie wirklich unabhängige Datenbits haben.

(Aus einem Beitrag unter http://www.reddit.com/r/math/comments/9qbut/could_someone_explain_to_me_what_degrees_of/c0dxtbq?context=3 .)

Darüber hinaus versuchen alle drei Definitionen fast, dieselbe Botschaft zu vermitteln.

Ich mag den ersten Satz von The Little Handbook of Statistical Practice wirklich . Kapitel Freiheitsgrade

Eine der Fragen, die ein Lehrer vor einem mathematisch nicht anspruchsvollen Publikum am meisten fürchtet, lautet: "Was genau sind Freiheitsgrade?"

Ich denke, Sie können sich beim Lesen dieses Kapitels ein gutes Bild über Freiheitsgrade machen.

Wikipedia behauptet, dass Freiheitsgrade eines zufälligen Vektors als die Dimensionen des Vektor-Unterraums interpretiert werden können. Ich möchte Schritt für Schritt vorgehen, ganz grundsätzlich als Teilantwort und Ausarbeitung des Wikipedia-Eintrags.

$[a\,b\,c]^T$$[1\,1\,1]^T$$\bar{x}=1/3(a+b+c)$$[\bar x \, \bar x \, \bar x]^T$$\vec{1}$$[1\,1\,1]^T$$1\,\text{degree of freedom}$$(n − 1)$$n − 1\,\text{degrees of freedom}$$n$$3$$\mathbb{R}^3$$[\bar{x}\,\bar{x}\,\bar{x}]^T$$[a\,b\,c]^T$$[\bar{x}\,\bar{x}\,\bar{x}]^T$

$$[\bar{x}\, \bar{x}\,\bar{x}]\, \begin{bmatrix} a-\bar{x}\\b-\bar{x}\\c-\bar{x}\end{bmatrix}=$$

$$= \bigg[\tiny\frac{(a+b+c)}{3}\, \bigg(a-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(b-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$=\tiny \frac{(a+b+c)}{3}\bigg[ \bigg(\tiny a-\frac{(a+b+c)}{3}\bigg)+ \bigg(b-\frac{(a+b+c)}{3}\bigg)+ \bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$= \tiny \frac{(a+b+c)}{3}\bigg[\tiny \frac{1}{3} \bigg(\tiny 3a-(a+b+c)+ 3b-(a+b+c)+3c-(a+b+c)\bigg)\bigg]$$

$$=\tiny\frac{(a+b+c)}{3}\bigg[\tiny\frac{1}{3} (3a-3a+ 3b-3b+3c-3c)\bigg]\large= 0$$

$[\bar{x}\,\bar{x}\,\bar{x}]^T$$\frac 1 {\sigma^2} \Big((X_1-\bar X)^2 + \cdots + (X_n - \bar X)^2 \Big) \sim \chi^2_{n-1}$

$[35\,50\,80]^T$$55$$[55\,\,55\,\,55]^T$$55x + 55y + 55z = D$$D = -9075$

$55$$[1\,\,1\,\,1]^T$$55$$\mathbb{R}^2$$2\,\text{degrees of freedom}$$\mathbb{R}^3$$[55\,\,55\,\,55]^T$

$[55\,\,55\,\,55]^T$$[35\,\,50\,\,80]^T$$[80\,\,80\,\,5]$$[90\,\,15\,\,60]$$2\,\text{df}$$55$$[1\,\,1\,\,1]^T$$1\,\text{df}$$[55\,\,55\,\,55]^T$

In meinem Unterricht benutze ich eine "einfache" Situation, die Ihnen dabei helfen könnte, sich zu wundern und vielleicht ein Bauchgefühl dafür zu entwickeln, was ein Freiheitsgrad bedeuten kann.

Es ist eine Art "Forrest Gump" -Ansatz für das Thema, aber es ist den Versuch wert.

$X_1, X_2, \ldots, X_{10}\sim N(\mu,\sigma^2)$$\mu$$\sigma^2$

$\mu$$\sigma^2$$\mu$$\mu$$\mu$$\bar X$

$\sigma^2$$\sigma^2$$X_1$$X_{10}$

$\mu$$\sigma^2$$\mu$$\mu$$\sigma^2$

$\mu$$\bar X$$\mu$$\bar X$$\sigma^2$$S^2$$\sigma$

$\mu$$\sigma 2$$\bar X$$\mu$$S^2$$\sigma^2$

Aber Sie könnten auf verschiedenen Ebenen falsch liegen, von ein bisschen falsch bis wirklich, wirklich, wirklich miserabel falsch (auch bekannt als "Bye-bye, Gehaltsscheck; bis nächste Woche!").

$\bar X$$\mu$$S^2=2$$S^2=20,000,000$$\sigma^2$$\sigma^2$$\bar X$ zu variieren.

$\mu$$\sigma^2$$\mu$$\sigma^2$

Wie kannst du es bemerken?

$\mu$$\sigma$

Und hier ist die lästige Handlung dieser lysergischen Geschichte: Er erzählt es Ihnen, nachdem Sie Ihre Wette platziert haben. Vielleicht, um dich aufzuklären, vielleicht, um dich vorzubereiten, vielleicht, um dich zu verspotten. Wie kannst du das wissen?

$\mu$$\sigma^2$$\bar X$$S^2$$\mu$$\sigma^2$

$\mu$$\bar X$$(\bar X - \mu)$

$X_i\sim N(\mu,\sigma^2)$$\bar X\sim N(\mu,\sigma^2/10)$$(\bar X - \mu)\sim N(0,\sigma^2/10)$

$$\frac{\bar X - \mu}{\sigma/\sqrt{10}} \sim N(0,1)$$ $\mu$$\sigma^2$

$\mu$$(X_i-\mu)$$N(0,\sigma^2)$$\mu$$\bar X$$X_i$$\bar X$$Var(\bar X) = \sigma^2/10 < \sigma^2 = Var(X_i)$$\bar X$$\mu$$X_i$

$(X_i-\mu)/\sigma\sim N(0,1)$$\mu$$\sigma^2$

$\mu$$\sigma^2$

[Ich denke lieber, dass Sie an Letzteres denken.]

Ja da ist!

$\mu$$X_i$$\sigma$

$$\frac{(X_i-\mu)^2}{\sigma^2} = \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2$$ $Z^2$$Z\sim N(0,1)$$\mu$$\sigma^2$

$$\frac{(\bar X-\mu)^2}{\sigma^2/10} = \left(\frac{\bar X-\mu}{\sigma/\sqrt{10}}\right)^2 = \left(N(0,1)\right)^2 \sim\chi^2$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\mu}{\sigma/\sqrt{10}}\right)^2 =\sum_{i=1}^{10} \left(N(0,1)\right)^2 =\sum_{i=1}^{10} \chi^2.$$ $X_1, \ldots, X_{10}$). Jede dieser einzelnen Chi-Quadrat-Verteilungen ist ein Beitrag zur Höhe der zufälligen Variabilität, mit der Sie rechnen müssen, bei ungefähr der gleichen Höhe des Beitrags zur Summe.

Der Wert jedes Beitrags ist mathematisch nicht mit den anderen neun identisch, aber alle haben dasselbe erwartete Verteilungsverhalten. In diesem Sinne sind sie irgendwie symmetrisch.

Jedes dieser Chi-Quadrate ist ein Beitrag zur Menge der reinen, zufälligen Variabilität, die Sie in dieser Summe erwarten sollten.

Wenn Sie 100 Beobachtungen hätten, wäre die obige Summe wahrscheinlich größer, nur weil es mehr Quellen für Beiträge gibt .

Jede dieser "Beitragsquellen" mit demselben Verhalten kann als Freiheitsgrad bezeichnet werden .

Machen Sie jetzt einen oder zwei Schritte zurück und lesen Sie die vorherigen Absätze erneut, falls erforderlich, um dem plötzlichen Eintreffen des gewünschten Freiheitsgrades Rechnung zu tragen .

$\mu$$\sigma^2$

Die Sache ist, Sie fangen an, sich auf das Verhalten dieser 10 äquivalenten Variabilitätsquellen zu verlassen. Wenn Sie 100 Beobachtungen hätten, hätten Sie 100 unabhängige Quellen für streng zufällige Schwankungen in Bezug auf diese Summe.

$\chi^2_{10}$$\chi^2_1$

$\mu$$\sigma^2$

$\mu$$\sigma^2$

Die Dinge werden merkwürdig (Hahahaha; erst jetzt!), Wenn Sie sich gegen Gott auflehnen und versuchen, alleine zurechtzukommen, ohne zu erwarten, dass er Sie bevormunden wird.

$\bar X$$S^2$$\mu$$\sigma^2$

$\bar X$$S^2$$\mu$$\sigma^2$

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\bar X}{S/\sqrt{10}}\right)^2,$$

$\mu$$(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\bar X) = 0$$\sum_{i=1}^{10}X_i-10 \bar X =10 \bar X - 10 \bar X = 0$

$\sum_{i=1}^{10}(X_i-\bar X)^2 \le \sum_{i=1}^{10}(X_i-\mu)^2$

$$\frac{X_i-\bar X}{S/\sqrt{10}}$$ $$\frac{(X_i-\bar X)^2}{S^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}}$$

"War es alles für nichts?"

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[X_i-\mu+\mu-\bar X]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[(X_i-\mu)-(\bar X-\mu)]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-2(X_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\sum_{i=1}^{10} \frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-10\frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\frac{(\bar X-\mu)^2}{\sigma^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} +\frac{(\bar X-\mu)^2}{\sigma^2/10}.$$

Der erste Term hat eine Chi-Quadrat-Verteilung mit 10 Freiheitsgraden und der letzte Term eine Chi-Quadrat-Verteilung mit einem Freiheitsgrad (!).

Wir teilen einfach ein Chi-Quadrat mit 10 unabhängigen, sich gleich verhaltenden Variabilitätsquellen in zwei Teile auf, die beide positiv sind: Ein Teil ist ein Chi-Quadrat mit einer Variabilitätsquelle und der andere kann bewiesen werden (Glaubenssprung? Win by WO? ) auch ein Chi-Quadrat mit 9 (= 10-1) unabhängigen, sich gleich verhaltenden Variabilitätsquellen sein, wobei beide Teile voneinander unabhängig sind.

Dies ist bereits eine gute Nachricht, da wir jetzt die Distribution haben.

$\sigma^2$

$$S^2=\frac{1}{10-1}\sum_{i=1}^{10} (X_i-\bar X)^2,$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\frac{\sum_{i=1}^{10} (X_i-\bar X)^2}{\sigma^2} =\frac{(10-1)S^2}{\sigma^2} \sim\chi^2_{(10-1)}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\frac{S}{\sigma}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{S^2}{\sigma^2}}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{\frac{(10-1)S^2}{\sigma^2}}{(10-1)}}} =\frac{N(0,1)}{\sqrt{\frac{\chi^2_{(10-1)}}{(10-1)}}},$$ $(10-1)$

$t$

[^ 1]: @whuber sagte in den Kommentaren unten, dass Gosset nicht rechnete, sondern vermutete ! Ich weiß wirklich nicht, welches Kunststück für diese Zeit überraschender ist.

$t$$(10-1)$$\bar X$$\mu$$S^2$$\bar X$

Es geht los. Mit einer Menge technischer Details, die grob hinter den Teppich gekehrt wurden, aber nicht nur von Gottes Eingreifen abhängen, um Ihren gesamten Gehaltsscheck gefährlich zu setzen.

Eine intuitive Erklärung für Freiheitsgrade ist, dass sie die Anzahl unabhängiger Informationen darstellen, die in den Daten zur Schätzung eines interessierenden Parameters (dh einer unbekannten Größe) verfügbar sind .

Als Beispiel in einem einfachen linearen Regressionsmodell der Form:

$$Y_i=\beta_0 + \beta_1\cdot X_i + \epsilon_i,\quad i=1,\ldots, n$$

$\epsilon_i$$\sigma$$\beta_0$$\beta_1$$n$$n-2$$n-2$$\sigma$

$n$$X_1,\dots,X_n$$\sum_{i=1}^n (X_i-\overline{X}_n)^2\sim \mathcal{X}^2_{n-1}$$\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$$n-1$$(\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i)$

Weitere Informationen finden Sie hier

Für mich war die erste Erklärung, die ich verstand:

Wenn Sie einen statistischen Wert wie Mittelwert oder Variation kennen, wie viele Datenvariablen müssen Sie kennen, bevor Sie den Wert jeder Variablen kennen können?

Dies ist das Gleiche wie bei aL3xa, jedoch ohne dass einem Datenpunkt eine besondere Rolle zukommt und in der Nähe des in der Antwort angegebenen dritten Falls. Auf diese Weise wäre das gleiche Beispiel:

Wenn Sie den Mittelwert von Daten kennen, müssen Sie die Werte für alle außer einem Datenpunkt kennen, um den Wert für alle Datenpunkte zu kennen.

$x$$y$$V_{x,y}=V_x+V_y$$V_x=SD_x^2$$V_{x,y}$$SD_{x,y}=\sqrt{SD_x^2+SD_y^2}$$SD_x=\sqrt{\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$$n=1$$x_1-\bar{x}=0$$\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}\rightarrow \dfrac{0}{0}$$x$$n=2$$x_1$$x_2$$\bar{x}=\dfrac{x_1+x_2}{2}$$\bar{x}$$x_1$$x_2$$n$$\bar{x}$$n$$n-1$