Statistiken und Big Data

2

Interpretation von Residuen und Null-Abweichungen in GLM R

Wie interpretiert man die Null- und Restabweichung in GLM in R? Wie wir sagen, dass kleinere AIC besser ist. Gibt es eine ähnliche und schnelle Interpretation auch für die Abweichungen? Nullabweichung: 1146,1 bei 1077 Freiheitsgraden Restabweichung: 4589,4 bei 1099 Freiheitsgraden AIC: 11089

47 generalized-linear-model deviance

3

So verwenden Sie die Pearson-Korrelation korrekt mit Zeitreihen

Ich habe 2 Zeitreihen (beide glatt), die ich überkreuzen möchte, um zu sehen, wie korreliert sie sind. Ich beabsichtige, den Pearson-Korrelationskoeffizienten zu verwenden. Ist das angebracht Meine zweite Frage ist, dass ich die 2 Zeitreihen so probieren kann, wie es mir gefällt. dh ich kann wählen, wie viele Datenpunkte ich …

47 time-series correlation pearson-r smoothing

3

Naive Bayes verstehen

Von StatSoft, Inc. (2013), Electronic Statistics Textbook , "Naive Bayes Classifier" : Betrachten Sie das in der obigen Abbildung gezeigte Beispiel, um das Konzept der Naive Bayes-Klassifizierung zu veranschaulichen. Wie angegeben, können die Objekte als GRÜN oder ROT klassifiziert werden. Meine Aufgabe ist es, neue Fälle bei ihrem Eintreffen zu …

47 machine-learning naive-bayes

5

Statistischer Rückschluss, wenn die Stichprobe die Grundgesamtheit ist

Stellen Sie sich vor, Sie müssen über die Anzahl der Kandidaten berichten, die jährlich einen bestimmten Test ablegen. Es scheint ziemlich schwierig zu sein, den beobachteten Prozentsatz des Erfolgs beispielsweise bei einer breiteren Population zu bestimmen, da die Zielpopulation spezifisch ist. Sie können also davon ausgehen, dass diese Daten die …

47 hypothesis-testing population sampling

5

Wenn der t-Test und die ANOVA für zwei Gruppen gleich sind, warum sind ihre Annahmen nicht gleich?

Ich bin mir sicher, dass ich das komplett um meinen Kopf gewickelt habe, aber ich kann es einfach nicht herausfinden. Der t-Test vergleicht zwei Normalverteilungen mit der Z-Verteilung. Aus diesem Grund wird bei den DATEN von Normalität ausgegangen. ANOVA entspricht einer linearen Regression mit Dummy-Variablen und verwendet wie OLS Quadratsummen. …

47 distributions regression normality-assumption t-test anova

4

Warum minimieren wir die negative Wahrscheinlichkeit, wenn sie der Maximierung der Wahrscheinlichkeit entspricht?

Diese Frage hat mich lange Zeit verwirrt. Ich verstehe die Verwendung von "log" zur Maximierung der Wahrscheinlichkeit, daher frage ich nicht nach "log". Meine Frage ist, warum wir diese NLL erfunden haben, da die Maximierung der Protokollwahrscheinlichkeit der Minimierung der "negativen Protokollwahrscheinlichkeit" (NLL) entspricht. Warum nutzen wir die "positive Wahrscheinlichkeit" …

47 maximum-likelihood likelihood

2

Warum verwenden Convolutional Neural Networks keine Support Vector Machine zur Klassifizierung?

In den letzten Jahren sind Convolutional Neural Networks (CNNs) zum Stand der Technik für die Objekterkennung in der Computersicht geworden. Typischerweise besteht ein CNN aus mehreren Faltungsschichten, gefolgt von zwei vollständig verbundenen Schichten. Eine Intuition dahinter ist, dass die Faltungsschichten eine bessere Darstellung der Eingabedaten lernen und die vollständig verbundenen …

46 machine-learning neural-networks svm deep-learning conv-neural-network

6

Sind Residuen "vorhergesagt minus tatsächlich" oder "tatsächlich minus vorhergesagt"?

Ich habe gesehen, dass "Residuen" unterschiedlich definiert sind als "vorhergesagte minus tatsächliche Werte" oder "tatsächliche minus vorausgesagte Werte". Um zu veranschaulichen, dass beide Formeln weit verbreitet sind, vergleichen Sie die folgenden Websuchen: Rest "vorhergesagt minus tatsächlich" Rest "Ist minus vorhergesagt" In der Praxis macht es fast keinen Unterschied, da das …

46 residuals terminology error

2

Warum neigt das Testen von Frequentist-Hypothesen dazu, die Nullhypothese bei ausreichend großen Stichproben abzulehnen?

Ich habe gerade diesen Artikel über den Bayes-Faktor gelesen, als ich auf diese Passage gestoßen bin Das Testen von Hypothesen mit Bayes-Faktoren ist robuster als das Testen von häufig auftretenden Hypothesen, da die Bayes-Form eine Verzerrung der Modellauswahl vermeidet, Belege zugunsten der Nullhypothese auswertet, Modellunsicherheit einschließt und das Vergleichen von …

46 hypothesis-testing frequentist

2

Warum darf sich ein Bayesianer die Residuen nicht ansehen?

Im Artikel "Diskussion: Sollen Ökologen zu Bayesianern werden?" Brian Dennis gibt eine überraschend ausgewogene und positive Einschätzung der Bayes'schen Statistik, wenn es sein Ziel zu sein scheint, die Menschen davor zu warnen. In einem Absatz jedoch, ohne irgendwelche Zitate oder Begründungen, sagt er: Sie sehen, Bayesianer dürfen sich ihre Residuen …

46 bayesian residuals frequentist likelihood-principle

2

Was sagt die Inverse der Kovarianzmatrix über Daten aus? (Intuitiv)

Ich bin neugierig auf die Natur von . Kann jemand etwas intuitives über "Was sagt Σ - 1 über Daten?"Σ−1Σ−1\Sigma^{-1}Σ−1Σ−1\Sigma^{-1} Bearbeiten: Danke für die Antworten Nach einigen großartigen Kursen möchte ich einige Punkte hinzufügen: Es ist ein Maß für Information, dh ist eine Informationsmenge entlang der Richtung x .xTΣ−1xxTΣ−1xx^T\Sigma^{-1}xxxx Dualität: …

46 bayesian maximum-likelihood covariance matrix

7

Warum ist "statistisch signifikant" nicht genug?

Ich habe meine Datenanalyse abgeschlossen und "statistisch signifikante Ergebnisse" erhalten, was mit meiner Hypothese übereinstimmt. Ein Student der Statistik sagte mir jedoch, dies sei eine vorzeitige Schlussfolgerung. Warum? Muss mein Bericht noch etwas anderes enthalten?

46 hypothesis-testing statistical-significance spss p-value

3

Hängt die optimale Anzahl der Bäume in einer zufälligen Gesamtstruktur von der Anzahl der Prädiktoren ab?

Kann jemand erklären, warum wir eine große Anzahl Bäume in zufälligen Wäldern benötigen, wenn die Anzahl der Prädiktoren groß ist? Wie können wir die optimale Anzahl von Bäumen bestimmen?

46 machine-learning random-forest

3

Lineares Modell mit logarithmisch transformierter Antwort vs. verallgemeinertes lineares Modell mit logarithmischer Verknüpfung

In diesem Artikel mit dem Titel "AUSWAHL VON GENERALISIERTEN LINEAREN MODELLEN FÜR MEDIZINISCHE DATEN" schreiben die Autoren: In einem verallgemeinerten linearen Modell wird der Mittelwert durch die Verknüpfungsfunktion transformiert, anstatt die Antwort selbst zu transformieren. Die beiden Transformationsmethoden können zu sehr unterschiedlichen Ergebnissen führen. Beispielsweise ist der Mittelwert der logarithmisch …

46 generalized-linear-model model-selection lognormal

3

Was ist die Intuition hinter bedingten Gaußschen Verteilungen?

Angenommen, . Dann ist die bedingte Verteilung von unter der Voraussetzung , dass multivariate Normalverteilung mit dem Mittelwert:X∼N2(μ,Σ)X∼N2(μ,Σ)\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})X1X1X_1X2=x2X2=x2X_2 = x_2 E[P(X1|X2=x2)]=μ1+σ12σ22(x2−μ2)E[P(X1|X2=x2)]=μ1+σ12σ22(x2−μ2) E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2) und Varianz:Var[P(X1|X2=x2)]=σ11−σ212σ22Var[P(X1|X2=x2)]=σ11−σ122σ22{\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}} Es ist sinnvoll, dass die Varianz abnimmt, da wir mehr …

46 normal-distribution multivariate-analysis intuition