Statistiken und Big Data chi-squared

1

Ich habe das Modell mit optimiert caret, aber dann das Modell mit dem gbmPaket erneut ausgeführt. Nach meinem Verständnis sollten das verwendete caretPaket gbmund die Ausgabe identisch sein. Nur ein kurzer Testlauf mit data(iris)zeigt jedoch eine Diskrepanz im Modell von etwa 5% unter Verwendung von RMSE und R ^ 2 …

12 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

5

Wie führt man eine Imputation von Werten in einer sehr großen Anzahl von Datenpunkten durch?

Ich habe einen sehr großen Datensatz und es fehlen ungefähr 5% zufällige Werte. Diese Variablen sind miteinander korreliert. Der folgende Beispiel-R-Datensatz ist nur ein Spielzeugbeispiel mit Dummy-korrelierten Daten. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

2

Warum verwendet der Unabhängigkeitstest die Chi-Quadrat-Verteilung?

Der -Anpassungstest verwendet die folgende Statistik : Im Test wird dies gewährt Wenn die Bedingungen erfüllt sind, verwendet man die - -Verteilung , um den p-Wert zu berechnen, der bei der dass wahr ist, in einer repräsentativen Stichprobe der gleichen Größe beobachtet werden würde.χ2χ2\chi^2χ20=∑i=1n(Oi−Ei)2Eiχ02=∑i=1n(Oi−Ei)2Ei \chi_0^2=\sum_{i=1}^n\frac{(O_i-E_i)^2}{E_i} χ2χ2\chi^2H0H0H_0 Damit jedoch eine Statistik …

12 hypothesis-testing chi-squared

2

Der

Ich habe gerade in einem angesehenen (populären) Wissenschaftsmagazin (PM, 02/2013, S.36) über ein interessantes Experiment gelesen (leider ohne Quelle). Es erregte meine Aufmerksamkeit, weil ich intuitiv die Bedeutung des Ergebnisses bezweifelte, aber die bereitgestellten Informationen für die Reproduktion der statistischen Tests ausreichten. Die Forscher fragten sich, ob Erkältung bei kaltem …

12 hypothesis-testing chi-squared experiment-design proportion biostatistics

2

Anpassen des p-Wertes für die adaptive sequentielle Analyse (für den Chi-Quadrat-Test)?

Ich möchte wissen, welche statistische Literatur für das folgende Problem relevant ist, und vielleicht sogar eine Idee, wie man es löst. Stellen Sie sich folgendes Problem vor: Wir haben 4 mögliche Behandlungen für einige Krankheiten. Um herauszufinden, welche Behandlung besser ist, führen wir eine spezielle Studie durch. In der Studie …

12 hypothesis-testing chi-squared p-value multiple-comparisons sequential-analysis

1

Was machst du, wenn deine Freiheitsgrade über das Ende deiner Tische hinausgehen?

Die Freiheitsgrade in meiner F-Tabelle sind für meine große Stichprobe nicht hoch genug. Wenn ich beispielsweise ein F mit 5 und 6744 Freiheitsgraden habe, wie finde ich den kritischen Wert von 5% für eine ANOVA? Was wäre, wenn ich einen Chi-Quadrat-Test mit großen Freiheitsgraden machen würde? [Eine Frage wie diese …

11 chi-squared degrees-of-freedom f-distribution tables

1

Für welche Art von Merkmalsauswahl kann der Chi-Quadrat-Test verwendet werden?

Hier frage ich, was andere üblicherweise tun, um den Chi-Quadrat-Test für die Merkmalsauswahl für das Ergebnis beim überwachten Lernen zu verwenden. Wenn ich das richtig verstehe, testen sie die Unabhängigkeit zwischen jedem Merkmal und dem Ergebnis und vergleichen die p-Werte zwischen den Tests für jedes Merkmal? In http://en.wikipedia.org/wiki/Pearson%27s_chi-squared_test , Der …

11 hypothesis-testing chi-squared feature-selection independence scikit-learn

1

Wie interpretiere ich die Restfarben auf einem Mosaikplot?

Dies ist eine Mosaikdarstellung des hierHairEyeColor beschriebenen Kontingenztabellendatensatzes . Wie interpretiere ich die Farben, die Residuen darstellen? Was ist der Unterschied zwischen hohen und positiven Pearson-Residuen (blau dargestellt) und niedrigen und negativen roten Residuen?

11 data-visualization chi-squared residuals contingency-tables

1

Testen Sie das GLM-Modell mit Null und Modellabweichungen

Ich habe ein glm-Modell in R erstellt und es mithilfe einer Test- und Trainingsgruppe getestet. Ich bin daher zuversichtlich, dass es gut funktioniert. Die Ergebnisse von R sind: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -2.781e+00 1.677e-02 -165.789 < 2e-16 *** Coeff_A 1.663e-05 5.438e-06 3.059 0.00222 ** log(Coeff_B) 8.925e-01 …

11 r generalized-linear-model chi-squared

2

p-Wert-Subtilität: größer-gleich vs. größer

Während ich Wassermanns Buch All of Statistics lese, bemerke ich eine feine Subtilität in der Definition von p-Werten, die ich nicht verstehen kann. Informell definiert der Wassermann den p-Wert als [..] die Wahrscheinlichkeit (unter H0H0H_0 ), einen Wert der Teststatistik zu beobachten, der gleich oder extremer als der tatsächlich beobachtete …

11 hypothesis-testing chi-squared p-value

1

Verteilung des Verhältnisses abhängiger Chi-Quadrat-Zufallsvariablen

Angenommen, X=X1+X2+⋯+XnX=X1+X2+⋯+Xn X = X_1 + X_2+\cdots+ X_n wobei Xi∼N(0,σ2)Xi∼N(0,σ2)X_i \sim N(0,\sigma^2) unabhängig sind. Meine Frage ist, was Distribution macht Z=X2X21+X22+⋯+X2nZ=X2X12+X22+⋯+Xn2 Z = \frac{X^2}{X_1^2 + X_2^2 + \cdots + X_n^2} Folgen? Ich weiß von hier, dass das Verhältnis zweier Chi-Quadrat-Zufallsvariablen als W ausgedrückt wirdWW+YWW+Y\frac{W}{W + Y} folgt einer Beta-Verteilung. Ich …

11 normal-distribution chi-squared beta-distribution ratio

1

Fisher's Exact Test und hypergeometrische Verteilung

Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung, aber …

11 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Ordnungsstatistik (z. B. Minimum) der unendlichen Sammlung von Chi-Quadrat-Variablen?

Dies ist mein erstes Mal hier. Bitte lassen Sie mich wissen, ob ich meine Frage in irgendeiner Weise klären kann (einschließlich Formatierung, Tags usw.). (Und hoffentlich kann ich später bearbeiten!) Ich habe versucht, Referenzen zu finden und mich mithilfe der Induktion zu lösen, bin aber bei beiden gescheitert. Ich versuche …

11 distributions chi-squared exponential order-statistics minimum

2

Warum verwendet der McNemar-Test Chi-Quadrat und nicht die Normalverteilung?

Mir ist gerade aufgefallen, dass der nicht exakte McNemar-Test die asymptotische Chi-Quadrat-Verteilung verwendet. Da der genaue Test (für die Tabelle mit zwei Fällen) jedoch von der Binomialverteilung abhängt, ist es nicht üblich, die normale Annäherung an die Binomialverteilung vorzuschlagen. Vielen Dank.

11 distributions binomial chi-squared normal-distribution

4

Mehrere Chi-Quadrat-Tests

Ich habe klassifizierte Daten in einer 2 x 2 x 6-Tabelle. Nennen wir die Dimensionen response, Aund B. Ich passe eine logistische Regression an die Daten mit dem Modell an response ~ A * B. Eine Analyse der Abweichung dieses Modells besagt, dass beide Begriffe und ihre Interaktion von Bedeutung …

11 categorical-data logistic multiple-comparisons chi-squared

Als «chi-squared» getaggte Fragen