Statistiken und Big Data weighted-data

5

Umgang mit hierarchischen / verschachtelten Daten beim maschinellen Lernen

Ich werde mein Problem mit einem Beispiel erklären. Angenommen, Sie möchten das Einkommen einer Person anhand einiger Attribute vorhersagen: {Alter, Geschlecht, Land, Region, Stadt}. Sie haben einen Trainingsdatensatz wie diesen train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) …

29 regression machine-learning multilevel-analysis correlation dataset spatial paired-comparisons cross-correlation clustering aic bic dependent-variable k-means mean standard-error measurement-error errors-in-variables regression multiple-regression pca linear-model dimensionality-reduction machine-learning neural-networks deep-learning conv-neural-network computer-vision clustering spss r weighted-data wilcoxon-signed-rank bayesian hierarchical-bayesian bugs stan distributions categorical-data variance ecology r survival regression r-squared descriptive-statistics cross-section maximum-likelihood factor-analysis likert r multiple-imputation propensity-scores distributions t-test logit probit z-test confidence-interval poisson-distribution deep-learning conv-neural-network residual-networks r survey wilcoxon-mann-whitney ranking kruskal-wallis bias loss-functions frequentist decision-theory risk machine-learning distributions normal-distribution multivariate-analysis inference dataset factor-analysis survey multilevel-analysis clinical-trials

2

Vorspannungskorrektur in der gewichteten Varianz

Für die ungewichtete Varianz existiert die vorspannungskorrigierte Stichprobenvarianz, wenn der Mittelwert aus denselben Daten geschätzt wurde: Var(X):=1Var ( X) : = 1n∑ich( xich- μ )2Var(X): =1n∑ich(xich-μ)2\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2Var ( X) : = 1n - 1∑ich( xich- E[ X] )2Var(X): =1n-1∑ich(xich-E[X])2\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2 Ich beschäftige mich mit dem gewichteten Mittelwert und …

22 variance unbiased-estimator weighted-mean weighted-data bias-correction

2

Hinzufügen von Gewichten zur logistischen Regression für unausgeglichene Daten

Ich möchte eine logistische Regression mit unausgeglichenen Daten modellieren (9: 1). Ich wollte die Gewichtsoption in der glmFunktion in R ausprobieren , bin mir aber nicht zu 100% sicher, was sie bewirkt. Nehmen wir an, meine Ausgabevariable ist c(0,0,0,0,0,0,0,0,0,1). jetzt möchte ich der "1" 10 mal mehr gewicht geben. Also …

21 regression logistic classification unbalanced-classes weighted-data

2

Analyse der gewichteten Hauptkomponenten

Nach einiger Suche finde ich sehr wenig über die Einbeziehung von Beobachtungsgewichten / Messfehlern in die Hauptkomponentenanalyse. Was ich finde, stützt sich tendenziell auf iterative Ansätze zur Einbeziehung von Gewichtungen (z . B. hier ). Meine Frage ist, warum dieser Ansatz notwendig ist? Warum können wir die Eigenvektoren der gewichteten …

17 pca measurement-error weighted-data

1

Gewichtete Varianz, noch einmal

Unvoreingenommene gewichtete Varianz wurde hier und anderswo bereits angesprochen , aber es scheint immer noch eine überraschende Menge an Verwirrung zu geben. Es scheint einen Konsens über die Formel zu geben, die sowohl im ersten Link als auch im Wikipedia-Artikel vorgestellt wird . Dies sieht auch aus wie die von …

17 variance weighted-mean weighted-data

1

So etwas wie eine gewichtete Korrelation?

Ich habe einige interessante Daten über die populärsten gestreamten Musikkünstler, die nach Orten in ungefähr 200 Kongressbezirke unterteilt sind. Ich möchte sehen, ob es möglich ist, eine Person nach ihren musikalischen Vorlieben zu befragen und festzustellen, ob sie "wie ein Demokrat zuhört" oder "wie ein Republikaner zuhört". (Natürlich ist das …

14 correlation prediction pooling weighted-data

1

Definition der gewichteten kleinsten Quadratgewichte: R lm Funktion vs.

Kann mir jemand sagen, warum ich durch Rgewichtete kleinste Quadrate und manuelle Lösung durch Matrixoperation unterschiedliche Ergebnisse erhalte ? Insbesondere versuche ich, manuell zu lösen , wobei die Diagonalmatrix für Gewichte ist, die Datenmatrix ist, die Antwort ist Vektor. WAx=WbWAx=Wb\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf bWW\mathbf WAA\mathbf Abb\mathbf b …

9 r regression least-squares weighted-regression weighted-data

1

Richtige Gleichung für die gewichtete unverzerrte Probenkovarianz

Ich suche nach der richtigen Gleichung, um die gewichtete unverzerrte Stichproben-Kovarianz zu berechnen. Internetquellen sind zu diesem Thema ziemlich selten und verwenden alle unterschiedliche Gleichungen. Die wahrscheinlichste Gleichung, die ich gefunden habe, ist folgende: qj k= ∑N.i = 1wich( ∑N.i = 1wich)2- ∑N.i = 1w2ich∑N.i = 1wich( xi j- x¯j) …

9 covariance unbiased-estimator weighted-data

2

Varianz des gewichteten Mittelwerts größer als der ungewichtete Mittelwert

Ein Rezensent von mir fragt nach einem Grund, warum ich ungewichtete Daten anstelle von gewichteten Daten verwendet habe. Ich habe das Problem mit einem Statistiker besprochen, und seine Antwort war in etwa so Wenn Sie unabhängige Beobachtungen haben und den Gesamtmittelwert nehmen, ist seine Varianz immer kleiner als die Varianz …

8 variance weighted-mean weighted-data

2

Wie ist die Verteilung des (willkürlich) gewichteten Maximum Likelihood Estimator?

Angenommen, Sie beobachten den Vektor unabhängiger Variablen und y_i- abhängiger Variablen mit der Wahrscheinlichkeit l \ left (\ theta; X_i, y_i \ right) . Angenommen, die y_i sind unabhängig. Nehmen Sie außerdem an, Sie erhalten positive Gewichte , w_i, die beliebig sind, und berechnen den gewichteten Maximum Likelihood Estimator (WMLE?): …

7 estimation maximum-likelihood weighted-data weights

Als «weighted-data» getaggte Fragen