Statistiken und Big Data

2

Warum ist ein Cutoff von P> 0,5 für die logistische Regression nicht „optimal“?

VORWORT: Es interessiert mich nicht, ob ein Cutoff verwendet wird oder nicht oder wie man einen Cutoff auswählen sollte. Meine Frage ist rein mathematisch und aus Neugier. Die logistische Regression modelliert die hintere bedingte Wahrscheinlichkeit von Klasse A gegenüber Klasse B und passt zu einer Hyperebene, in der die hinteren …

13 logistic predictive-models unbalanced-classes

2

Wie definiere ich einen Ablehnungsbereich ohne UMP?

Betrachten Sie das lineare Regressionsmodell y=Xβ+uy=Xβ+u\mathbf{y}=\mathbf{X\beta}+\mathbf{u} , u∼N(0,σ2I)u∼N(0,σ2I)\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I}) , E(u∣X)=0E(u∣X)=0E(\mathbf{u}\mid\mathbf{X})=\mathbf{0} . Sei vs .H 1 : σ 2 0 & ne; σ 2H0:σ20=σ2H0:σ02=σ2H_0: \sigma_0^2=\sigma^2H1:σ20≠σ2H1:σ02≠σ2H_1: \sigma_0^2\neq\sigma^2 Wir können ableiten, dass , wobei . Und ist die typische Notation für die Vernichtermatrix, , wobei die abhängige Variable ist \ mathbf {y} …

13 regression hypothesis-testing mathematical-statistics inference

3

Einfache lineare Regression, p-Werte und der AIC

Mir ist klar, dass dieses Thema schon einige Male vorgekommen ist , aber ich bin mir immer noch unsicher, wie ich meine Regressionsergebnisse am besten interpretieren kann. Ich habe einen sehr einfachen Datensatz, bestehend aus einer Spalte mit x-Werten und einer Spalte mit y-Werten , aufgeteilt in zwei Gruppen nach …

13 regression p-value least-squares aic

2

Warum Gruppen-Lasso anstelle von Lasso verwenden?

Ich habe gelesen, dass das Gruppen-Lasso für die Variablenauswahl und die Sparsamkeit in einer Gruppe von Variablen verwendet wird. Ich möchte die Intuition hinter dieser Behauptung kennen. Warum wird Gruppenlasso dem Lasso vorgezogen? Warum ist der Lösungsweg des Gruppen-Lassos nicht stückweise linear?

13 regression feature-selection lasso regularization

3

Warum ist eine hochpositive Kurtosis für Hypothesentests problematisch?

Ich habe gehört (leider kann kein Link zu einem Text angegeben werden, was mir gesagt wurde), dass eine hohe positive Kurtosis von Residuen für genaue Hypothesentests und Konfidenzintervalle problematisch sein kann (und daher Probleme mit statistischen Schlussfolgerungen). Ist das wahr und wenn ja, warum? Würde eine hohe positive Kurtosis von …

13 statistical-significance p-value assumptions kurtosis

3

Ersetzen von Variablen durch WoE (Weight of Evidence) in der logistischen Regression

Dies ist eine Frage zu einer Praxis oder Methode, die von einigen meiner Kollegen befolgt wird. Bei der Erstellung eines logistischen Regressionsmodells habe ich gesehen, dass Personen kategoriale Variablen (oder fortlaufende Variablen, die in Gruppen zusammengefasst sind) durch ihre jeweilige Beweiskraft (Weight of Evidence, WoE) ersetzen. Dies soll eine monotone …

13 regression logistic categorical-data modeling

4

Was ist / sind die "mechanischen" Unterschiede zwischen multipler linearer Regression mit Verzögerungen und Zeitreihen?

Ich habe einen Abschluss in Wirtschaftswissenschaften und studiere derzeit einen Master in Datentechnik. Während ich die lineare Regression (LR) und dann die Zeitreihenanalyse (TS) studierte, kam mir eine Frage in den Sinn. Warum eine völlig neue Methode erstellen, dh Zeitreihen (ARIMA), anstatt mehrere lineare Regressionen zu verwenden und verzögerte Variablen …

13 regression time-series multiple-regression least-squares arima

1

Was ist der optimale Schwellenwert für F1? Wie berechne ich es?

Ich habe die Funktion h2o.glm () in R verwendet, die zusammen mit anderen Statistiken eine Kontingenztabelle im Ergebnis enthält. Die Kontingenztabelle trägt die Überschrift "Kreuztabelle basierend auf dem optimalen Schwellenwert für F1 ". Wikipedia definiert F1 Score oder F Score als harmonisches Mittel für Präzision und Erinnerung. Wird Precision and …

13 threshold

2

Formel für 95% -Konfidenzintervall für

Ich habe in stats.stackexchange gegoogelt und gesucht, aber ich kann die Formel zum Berechnen eines 95% -Konfidenzintervalls für einen -Wert für eine lineare Regression nicht finden. Kann es jemand bereitstellen?R2R2R^2 Nehmen wir einmal an, ich hätte die folgende lineare Regression in R ausgeführt. Wie würde ich ein 95% -Konfidenzintervall für …

13 r regression confidence-interval inference r-squared

3

Theoretische Ergebnisse hinter künstlichen neuronalen Netzen

Ich habe gerade über künstliche neuronale Netze in Courseras Kurs Maschinelles Lernen gesprochen und möchte gerne mehr über die dahinter stehende Theorie erfahren. Ich finde die Motivation, dass sie die Biologie imitieren, etwas unbefriedigend. Auf der Oberfläche scheint es, dass wir auf jeder Ebene Kovariaten durch eine lineare Kombination ersetzen. …

13 machine-learning neural-networks theory

4

Merkmalsskalierung und mittlere Normalisierung

Ich nehme am maschinellen Lernkurs von Andrew Ng teil und konnte die Antwort auf diese Frage nach mehreren Versuchen nicht richtig beantworten. Bitte helfen Sie, das Problem zu lösen, obwohl ich das Level durchlaufen habe. Angenommen, m=4m=4m=4 Schüler haben eine Klasse besucht und die Klasse hatte eine Zwischenprüfung und eine …

13 machine-learning self-study normalization

2

Was ist die Interpretation der Kovarianz von Regressionskoeffizienten?

Die lm-Funktion in R kann die geschätzte Kovarianz von Regressionskoeffizienten ausgeben. Was geben uns diese Informationen? Können wir das Modell jetzt besser interpretieren oder Probleme diagnostizieren, die im Modell vorhanden sein könnten?

13 r multiple-regression least-squares

2

Wie findet man den Mittelwert einer Summe abhängiger Variablen?

Ich weiß, dass der Mittelwert der Summe unabhängiger Variablen die Summe der Mittelwerte jeder unabhängigen Variablen ist. Gilt das auch für abhängige Variablen?

13 mean non-independent

4

Wie interpretiere ich eine ROC-Kurve?

Ich habe die logistische Regression auf meine SAS-Daten angewendet. Hier sind die ROC-Kurve und die Klassifizierungstabelle. Ich bin mit den Zahlen in der Klassifikationstabelle einverstanden, weiß aber nicht genau, wie die ROC-Kurve und die Fläche darunter aussehen. Jede Erklärung wäre sehr dankbar.

13 regression logistic classification roc

1

Grenzwahrscheinlichkeit aus der Gibbs-Ausgabe

Ich reproduziere die Ergebnisse in Abschnitt 4.2.1 von Grund auf Grenzwahrscheinlichkeit aus der Gibbs-Ausgabe Siddhartha Chib Journal of the American Statistical Association, Bd. 90, Nr. 432 (Dez. 1995), S. 1313-1321. Es ist eine Mischung aus Normalmodellen mit einer bekannten Anzahl von Komponenten. k ≥ 1k≥1k\geq 1f( x ≤ w , …

13 bayesian mixture gibbs