Statistiken und Big Data robust

1

Ich habe zwei Gruppen von Probanden, A und B, jede mit einer Größe von ungefähr 400 und ungefähr 300 Prädiktoren. Mein Ziel ist es, ein Vorhersagemodell für eine binäre Antwortvariable zu erstellen. Mein Kunde möchte das Ergebnis der Anwendung des von A auf B erstellten Modells sehen. (In seinem Buch …

17 pca logistic predictive-models robust

4

Robuster T-Test für den Mittelwert

Ich versuche, die Null gegen die lokale Alternative E [ X ] > 0 für eine Zufallsvariable X zu testen, die einem leichten bis mittleren Versatz und einer Kurtosis der Zufallsvariablen unterliegt. Gemäß den Vorschlägen von Wilcox in "Einführung in die robuste Schätzung und das Testen von Hypothesen" habe ich …

17 hypothesis-testing t-test finance robust

1

Robuster PCA vs. robuster Mahalanobis-Abstand zur Erkennung von Ausreißern

Robustes PCA (wie von Candes et al. 2009 oder besser Netrepalli et al. 2014 entwickelt ) ist eine beliebte Methode für die multivariate Ausreißererkennung. Aufgrund einer robusten, regulierten Schätzung der Kovarianzmatrix kann der Mahalanobis-Abstand jedoch auch für die Ausreißererkennung verwendet werden . Ich bin neugierig auf die (negativen) Vorteile einer …

17 pca outliers covariance-matrix robust anomaly-detection

3

Anpassung der t-Verteilung in R: Skalierungsparameter

Wie passe ich die Parameter einer t-Verteilung an, dh die Parameter, die dem Mittelwert und der Standardabweichung einer Normalverteilung entsprechen? Ich nehme an, sie heißen 'Mittelwert' und 'Skalierung / Freiheitsgrade' für eine t-Verteilung. Der folgende Code führt häufig zu Fehlern bei der Optimierung. library(MASS) fitdistr(x, "t") Muss ich x zuerst …

17 r distributions maximum-likelihood fitting robust

1

Definition und Konvergenz iterativ neu gewichteter kleinster Quadrate

Ich habe iterativ die kleinsten Quadrate (IRLS) neu gewichtet, um Funktionen der folgenden Form zu minimieren: J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) Dabei ist die Anzahl der Instanzen von , die robuste Schätzung, die ich möchte, und ist eine geeignete robuste Straffunktion. Nehmen wir an, es ist …

16 estimation least-squares robust irls

2

Schätzparameter einer Normalverteilung: Median statt Mittelwert?

Der übliche Ansatz zur Schätzung der Parameter einer Normalverteilung besteht darin, den Mittelwert und die Standardabweichung / Varianz der Stichprobe zu verwenden. Wenn es jedoch einige Ausreißer gibt, sollten der Median und die mediane Abweichung vom Median viel robuster sein, oder? Bei einigen Datensätzen, die ich ausprobiert habe, scheint die …

15 normal-distribution estimation outliers robust unbiased-estimator

1

Warum unterscheiden sich rlm () - Regressionskoeffizientenschätzungen von lm () in R?

Ich benutze rlm im R MASS-Paket, um ein multivariates lineares Modell zu regressieren. Es funktioniert gut für eine Reihe von Samples, aber ich erhalte Quasi-Null-Koeffizienten für ein bestimmtes Modell: Call: rlm(formula = Y ~ X1 + X2 + X3 + X4, data = mymodel, maxit = 50, na.action = na.omit) …

15 r multiple-regression robust

2

Was ist ein robuster statistischer Test? Was ist ein leistungsfähiger statistischer Test?

Einige statistische Tests sind robust und andere nicht. Was genau bedeutet Robustheit? Überraschenderweise konnte ich auf dieser Seite keine solche Frage finden. Darüber hinaus werden manchmal die Robustheit und die Leistungsfähigkeit eines Tests gemeinsam erörtert. Und intuitiv konnte ich nicht zwischen den beiden Konzepten unterscheiden. Was ist ein leistungsfähiger Test? …

14 statistical-significance power robust

3

Crashkurs in robuster Mittelwertschätzung

Ich habe eine Menge (ungefähr 1000) Schätzungen, und alle sollen Schätzungen der langfristigen Elastizität sein. Etwas mehr als die Hälfte davon wird mit Methode A und der Rest mit Methode B geschätzt. Irgendwo las ich so etwas wie "Ich denke, Methode B schätzt etwas ganz anderes als Methode A, weil …

14 mean outliers robust references

3

Können CART-Modelle robust gemacht werden?

Ein Kollege in meinem Büro sagte mir heute: "Baummodelle sind nicht gut, weil sie von extremen Beobachtungen erfasst werden." Eine Suche hier ergab diesen Thread , der im Grunde den Anspruch unterstützt. Was mich zu der Frage führt: In welcher Situation kann ein CART-Modell robust sein und wie wird dies …

14 regression classification robust cart

3

Wie berechnet man den Qn-Skalenschätzer von Rousseeuw und Croux (1993) für große Stichproben?

Sei so dass für eine sehr kurze Stichprobe wie berechnet werden kann aus dem Auffinden der ten Ordnung statischer paarweiser Differenzen: Qn=Cn.{|Xi−Xj|;i<j}(k)Qn=Cn.{|Xi−Xj|;i<j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)}{1,3,6,2,7,5}{1,3,6,2,7,5}\{1,3,6,2,7,5\}kkk 7 6 5 3 2 1 1 6 5 4 2 1 2 5 4 3 1 3 4 3 2 5 2 1 …

13 data-transformation scales robust optimal-scaling

4

Gute Form, um Ausreißer zu entfernen?

Ich arbeite an Statistiken für Software-Builds. Ich habe Daten für jeden Build auf Pass / Fail und abgelaufene Zeit und wir generieren ~ 200 davon / Woche. Die Erfolgsquote lässt sich leicht zusammenfassen. Ich kann sagen, dass 45% einer Woche vergangen sind. Aber ich möchte auch die verstrichene Zeit zusammenfassen …

12 outliers robust average

1

Warum nicht jedes Mal eine robuste Regression?

Beispiele auf dieser Seite zeigen, dass die einfache Regression stark von Ausreißern beeinflusst wird und dies durch Techniken der robusten Regression überwunden werden kann: http://www.alastairsanderson.com/R/tutorials/robust-regression-in-R/ . Ich glaube, lmrob und ltsReg sind andere robuste Regressionstechniken. Warum sollte man nicht jedes Mal eine robuste Regression (wie rlm oder rq) durchführen, anstatt …

12 regression multiple-regression robust

1

Robuste Schätzung der Kurtosis?

Ich verwende den üblichen Schätzer für Kurtosis, , aber ich bemerke, dass selbst kleine Ausreißer in meiner empirischen Verteilung , dh kleine Spitzen weit vom Zentrum entfernt, beeinflussen es enorm. Gibt es einen Kurtosis-Schätzer, der robuster ist?K.^= μ^4σ^4K.^=μ^4σ^4\hat{K}=\frac{\hat{\mu}_4}{\hat{\sigma}^4}

11 outliers robust moments kurtosis

2

Robuste multivariate Gaußsche Anpassung in R.

Ich muss eine verallgemeinerte Gaußsche Verteilung an eine 7-dim-Punktwolke anpassen, die eine beträchtliche Anzahl von Ausreißern mit hoher Hebelwirkung enthält. Kennen Sie ein gutes R-Paket für diesen Job?

11 r distributions normal-distribution robust

Als «robust» getaggte Fragen