Statistiken und Big Data inference

2

Warum ist die Fisher Information Matrix positiv semidefinit?

Lassen Sie . Die Fisher Information Matrix ist definiert als:θ ∈ Rnθ∈Rn\theta \in R^{n} ich( θ )ich , j= - E[ ∂2Log( f( X| θ))∂θich∂θj∣∣∣θ ]ich(θ)ich,j=-E[∂2Log⁡(f(X|θ))∂θich∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Wie kann ich nachweisen, dass die Fisher Information Matrix positiv semidefinit ist?

18 inference linear-algebra fisher-information

3

Was ist der Unterschied zwischen einem „statistischen Experiment“ und einem „statistischen Modell“?

Ich verfolge AW van der Vaart, asymptotische Statistik (1998). Er spricht von statistischen Experimenten und behauptet, dass sie sich von einem statistischen Modell unterscheiden, definiert aber keines von beiden. Meine Frage: Was ist (1) ein statistisches Experiment, (2) ein statistisches Modell und (3) was ist der Hauptbestandteil, der das statistische …

17 mathematical-statistics inference experiment-design descriptive-statistics model

3

Haben deskriptive Statistiken p-Werte?

Ich werde gebeten, die p-Werte für deskriptive Statistiken zu finden. Ich verstehe jedoch, dass p-Werte für Teststatistiken sind. Wenn ich mich nicht irre, ist ein p-Wert die Wahrscheinlichkeit, einen so extremen Wert wie die Teststatistik zu beobachten, wenn die Nullhypothese wahr wäre.

17 hypothesis-testing descriptive-statistics inference

3

Enthalten das pdf und das pmf und das cdf die gleichen Informationen?

Enthalten das pdf und das pmf und das cdf die gleichen Informationen? Für mich gibt das pdf die gesamte Wahrscheinlichkeit an einem bestimmten Punkt an (im Grunde der Bereich unter der Wahrscheinlichkeit). Die pmf geben die Wahrscheinlichkeit eines bestimmten Punktes an. Die cdf geben die Wahrscheinlichkeit unter einem bestimmten Punkt …

17 probability distributions pdf inference cdf

3

Verwendung der Regularisierung bei statistischen Inferenzen

Ich kenne die Vorteile der Regularisierung bei der Erstellung von Vorhersagemodellen (Bias vs. Varianz, Vermeidung von Überanpassung). Aber ich frage mich, ob es eine gute Idee ist, auch Regularisierungen durchzuführen (Lasso, Grat, elastisches Netz), wenn der Hauptzweck des Regressionsmodells darin besteht, auf die Koeffizienten zu schließen (zu sehen, welche Prädiktoren …

17 inference lasso ridge-regression elastic-net selectiveinference

4

Kriegsgeschichten, in denen aufgrund statistischer Informationen falsche Entscheidungen getroffen wurden?

Ich denke, es ist fair zu sagen, dass Statistik eine angewandte Wissenschaft ist. Wenn also Durchschnittswerte und Standardabweichungen berechnet werden, liegt das daran, dass jemand versucht, einige Entscheidungen auf der Grundlage dieser Zahlen zu treffen. Ich hoffe, ein guter Statistiker zu sein, wenn er "spüren" kann, wann den Beispieldaten vertraut …

16 references inference descriptive-statistics history fallacy

2

Was sind "Koeffizienten linearer Diskriminanten" in LDA?

In verwende Rich die ldaFunktion aus der Bibliothek, MASSum die Klassifizierung durchzuführen. Wie ich LDA verstehe, wird dem Eingang die Bezeichnung zugewiesen , die maximiert , richtig?xxxyyyp(y|x)p(y|x)p(y|x) Aber wenn ich das Modell , in das verstehe ich die Ausgabe von nicht ganz , x=(Lag1,Lag2)x=(Lag1,Lag2)x=(Lag1,Lag2)y= D i r e c t …

16 r discriminant-analysis inference

2

Sind wir Frequentisten wirklich nur implizite / unwissende Bayesianer?

Für ein gegebenes Inferenzproblem wissen wir, dass sich ein Bayes'scher Ansatz normalerweise sowohl in der Form unterscheidet als auch aus einem fequentistischen Ansatz resultiert. Frequentisten (in der Regel auch ich) weisen häufig darauf hin, dass für ihre Methoden keine vorherige Verwendung erforderlich ist und sie daher eher "datengesteuert" als "urteilsgesteuert" …

15 bayesian inference likelihood likelihood-ratio frequentist

2

Warum ist die posteriore Verteilung in der Bayes'schen Folgerung oft unlösbar?

Ich habe ein Problem zu verstehen, warum Bayesian Inference zu unlösbaren Problemen führt. Das Problem wird oft so erklärt: Was ich nicht verstehe, ist, warum dieses Integral zuerst ausgewertet werden muss: Es scheint mir, dass das Ergebnis des Integrals einfach eine Normalisierungskonstante ist (wie der Datensatz D gegeben ist). Warum …

15 bayesian inference

2

Wann sollte man aufhören, ein Modell zu verfeinern?

Ich habe in den letzten 3 Jahren Statistiken aus vielen Büchern studiert und dank dieser Seite viel gelernt. Dennoch bleibt für mich eine grundlegende Frage offen. Es mag eine sehr einfache oder eine sehr schwierige Antwort geben, aber ich weiß, dass es ein tiefes Verständnis der Statistik erfordert. Bei der …

15 modeling inference aic

2

Sind Stichprobenverteilungen für Rückschlüsse zulässig?

Einige Bayesianer greifen häufig auftretende Folgerungen mit der Begründung an, dass "es keine eindeutige Stichprobenverteilung gibt", da dies von den Absichten des Forschers abhängt (Kruschke, Aguinis, & Joo, 2012, S. 733). Angenommen, ein Forscher beginnt mit der Datenerfassung, doch seine Finanzierung wurde nach 40 Teilnehmern unerwartet gekürzt. Wie würden hier …

15 distributions inference frequentist

1

Minimierung der Verzerrung bei der erklärenden Modellierung, warum? (Galit Shmuelis "Erklären oder Vorhersagen")

Diese Frage bezieht sich auf Galit Shmuelis Aufsatz "To Explain or to Predict" . Im Einzelnen schreibt Professor Shmueli in Abschnitt 1.5, "Erklärung und Vorhersage sind unterschiedlich": Bei der erklärenden Modellierung liegt der Schwerpunkt auf der Minimierung der Verzerrung, um die genaueste Darstellung der zugrunde liegenden Theorie zu erhalten. Das …

15 predictive-models inference bias unbiased-estimator explanatory-models

1

Welche Mehrfachvergleichsmethode kann für ein älteres Modell verwendet werden: lsmeans oder glht?

Ich analysiere einen Datensatz unter Verwendung eines gemischten Effektmodells mit einem festen Effekt (Bedingung) und zwei zufälligen Effekten (Teilnehmer aufgrund des innerhalb des Motivs und des Paares). Das Modell wurde mit dem erzeugten lme4Paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Als nächstes führte ich einen Likelihood-Ratio-Test dieses Modells gegen das Modell ohne festen Effekt (Bedingung) …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

5

Was bedeutet es, dass eine lineare Regression statistisch signifikant ist, aber ein sehr niedriges Quadrat aufweist?

Ich verstehe das so, dass das Modell einzelne Datenpunkte schlecht vorhersagt, aber einen festen Trend festgestellt hat (z. B. steigt y, wenn x steigt).

14 regression inference r-squared linear

4

Folgerung für den skeptischen (aber nicht mathematisch abgeneigten) Leser

Ich habe gerade einen Vortrag über statistische Inferenz ("Vergleichen von Proportionen und Mitteln") gesehen, der Teil eines Online-Kurses zur Einführung in die Statistik ist. Das Material ergab für mich so wenig Sinn wie immer (inzwischen muss ich dieses Zeug Dutzende Male gesehen haben, verteilt über die letzten drei Jahrzehnte). Ich …

14 references inference point-estimation

Als «inference» getaggte Fragen