So führen Sie einen Test mit R durch, um festzustellen, ob die Daten der Normalverteilung entsprechen

Ich habe einen Datensatz mit folgender Struktur:

a word | number of occurrence of a word in a document | a document id 

Wie kann ich einen Test für die Normalverteilung in R durchführen? Wahrscheinlich ist es eine einfache Frage, aber ich bin ein R-Neuling.

Wenn ich Ihre Frage richtig verstehe, können Sie einen Shapiro-Wilk-Test und einige qqplots verwenden, um zu testen, ob Wortvorkommen in einer Reihe von Dokumenten einer Normalverteilung entsprechen. Zum Beispiel,

## Generate two data sets
## First Normal, second from a t-distribution
words1 = rnorm(100); words2 = rt(100, df=3)

## Have a look at the densities
plot(density(words1));plot(density(words2))

## Perform the test
shapiro.test(words1); shapiro.test(words2)

## Plot using a qqplot
qqnorm(words1);qqline(words1, col = 2)
qqnorm(words2);qqline(words2, col = 2)

Die qqplot-Befehle geben Folgendes aus:

Sie können sehen, dass der zweite Datensatz durch die schweren Schwänze eindeutig nicht normal ist ( Weitere Informationen ).

Im Shapiro-Walk-Normalitätstest ist der p-Wert für den ersten Datensatz (> .9) groß, für den zweiten Datensatz (<.01) jedoch sehr klein. Dies führt dazu, dass Sie die Nullhypothese für die Sekunde ablehnen.

Angenommen, Ihr Dataset heißt wordsund enthält eine countsSpalte, können Sie das Histogramm zeichnen, um eine Visualisierung der Verteilung zu erhalten:

hist(words$counts, 100, col="black")

Dabei ist 100 die Anzahl der Fächer

Sie können auch einen normalen QQ-Plot mit erstellen

qqnorm(words$counts)

Schließlich können Sie auch den Shapiro-Wilk-Test für die Normalität verwenden

shapiro.test(word$counts)

Schauen Sie sich diese Diskussion an: Normalitätstests: 'Im Wesentlichen nutzlos?'

Kein Test zeigen Ihnen , dass Ihre Daten haben eine Normalverteilung - es wird nur in der Lage sein , Ihnen zu zeigen , wenn die Daten ausreichend nicht mit einem normalen ist , dass Sie die Null ablehnen würden.

Aber Zählungen sind in jedem Fall nicht normal, sondern positive ganze Zahlen - wie hoch ist die Wahrscheinlichkeit, dass eine Beobachtung aus einer Normalverteilung einen Wert annimmt, der keine ganze Zahl ist? (... das ist ein Ereignis der Wahrscheinlichkeit 1).

Warum sollten Sie in diesem Fall auf Normalität prüfen? Es ist offensichtlich falsch.

[In einigen Fällen ist es möglicherweise nicht unbedingt wichtig, dass Sie feststellen, dass Ihre Daten nicht normal sind. Echte Daten werden niemals (oder fast nie) tatsächlich aus einer Normalverteilung entnommen.]

Wenn Sie wirklich einen Test durchführen müssen, ist der Shapiro-Wilk-Test ( ?shapiro.test) ein guter allgemeiner Test für die Normalität, der häufig verwendet wird.

Eine formalere Art, die Normalität zu betrachten, besteht darin, zu testen, ob sich Kurtosis und Schiefe signifikant von Null unterscheiden.

Dazu benötigen wir:

kurtosis.test <- function (x) {
m4 <- sum((x-mean(x))^4)/length(x)
s4 <- var(x)^2
kurt <- (m4/s4) - 3
sek <- sqrt(24/length(x))
totest <- kurt/sek
pvalue <- pt(totest,(length(x)-1))
pvalue 
}

für Kurtosis und:

skew.test <- function (x) {
m3 <- sum((x-mean(x))^3)/length(x)
s3 <- sqrt(var(x))^3
skew <- m3/s3
ses <- sqrt(6/length(x))
totest <- skew/ses
pt(totest,(length(x)-1))
pval <- pt(totest,(length(x)-1))
pval
}

für Schiefe.

Beide Tests sind einseitig, sodass Sie den p-Wert mit 2 multiplizieren müssen, um zweiseitig zu sein. Wenn Ihr p-Wert größer als eins wird, müssen Sie 1-kurtosis.test () anstelle von kurtosis.test verwenden.

Wenn Sie weitere Fragen haben, senden Sie eine E-Mail an j.bredman@gmail.com

Neben dem Shapiro-Wilk-Test des Statistikpakets bietet das Nortest-Paket (verfügbar auf CRAN) weitere Normalitätstests.

Mit dem nortestPaket von R können folgende Tests durchgeführt werden:

• Führen Sie einen Anderson-Darling-Normalitätstest durch

  ad.test(data1)

• Cramér-von-Mises-Test auf Normalität durchführen

  cvm.test(data1)

• Führen Sie einen Pearson-Chi-Quadrat-Test für die Normalität durch

  pearson.test(data1)

• Führen Sie einen Shapiro-Francia-Test auf Normalität durch

  sf.test(data1)

Mit dem normtestPaket können viele andere Tests durchgeführt werden . Siehe Beschreibung unter https://cran.r-project.org/web/packages/normtest/normtest.pdf