Statistiken und Big Data regression

1

Warum ist Lasso in Matlab viel langsamer als Glmnet in R (10 min gegenüber ~ 1 s)?

Ich habe festgestellt, dass die Funktion Lasso in MATLAB relativ langsam ist. Ich habe viele Regressionsprobleme mit normalerweise 1 bis 100 Prädiktoren und 200 bis 500 Beobachtungen. In einigen Fällen erwies sich Lasso als extrem langsam (um ein Regressionsproblem zu lösen, dauerte es einige Minuten). Ich entdeckte, dass dies der …

9 regression feature-selection regularization

2

AIC-Formel in Einführung in das statistische Lernen

Ich bin ein wenig verwirrt über eine Formel, die in Hasties "Einführung in das statistische Lernen" vorgestellt wird. In Kapitel 6, Seite 212 (sechster Druck, hier verfügbar ) heißt es: A ichC.= R S.S.n σ^2+ 2 dnAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Für lineare Modelle mit Gaußschem Rauschen ist die Anzahl …

9 regression machine-learning aic

3

Was bedeutet es (intuitiv), andere Variablen in der Regression konstant zu halten?

Ich suche sowohl eine 1) mechanische als auch eine 2) intuitive Erklärung dafür, wie die Auswirkungen einzelner Variablen bestimmt werden, indem andere Variablen konstant gehalten werden. Was genau bedeutet es in einem Beispiel mit Umfragedaten zu sagen: "Bei konstantem Alter, Geschlecht und Einkommen ist der Effekt der Bildung ___" Mein …

9 regression interpretation

2

Wie lässt sich richtig bestimmen, welche Merkmale am meisten zur Vorhersage eines bestimmten Eingabevektors beigetragen haben?

Ich verwende die logistische Regression für die binäre Klassifizierung. Ich habe einen großen Datensatz (zufällig sehr unausgeglichen: 19: 1). Also benutze ich Scikit-Learns LogisticRegression(), um 80% meiner beschrifteten Daten zu trainieren, und validierte dann mit den anderen 20% (ich habe mir den Bereich unter ROC sowie den Präzisionsrückruf angesehen, weil …

9 regression logistic regression-coefficients

1

Verwenden eines rollierenden Fensters in der Zeitreihenregression

Ich lerne etwas über Regression. Ich habe einige Querschnittsregressionen durchgeführt, die in Ordnung sind. Ich habe kürzlich eine einfache Zeitreihenregression durchgeführt. Ich habe also ay & x Vektoren, die jeweils 1000 Beobachtungen enthalten. Ich habe eine einfache alte Regression in Excel durchgeführt, die ich für in Ordnung hielt. Mein Online-Tutor …

9 regression time-series descriptive-statistics

1

Wie gehe ich mit Faktoren mit seltenen Niveaus bei der Kreuzvalidierung um?

Angenommen, in einer Regressionsanalyse in R habe ich eine faktortypunabhängige Variable mit 3 Ebenen in meinem Zugdatensatz. Im Testdatensatz hat dieselbe Faktorvariable jedoch 5 Ebenen. Daher kann ich die Antwortwerte für den Testdatensatz nicht vorhersagen. Was ist in diesem Fall zu tun?

9 r regression categorical-data cross-validation rare-events

2

Wie soll ich eine stetige abhängige Variable im Bereich

Ich habe eine abhängige Variable, die von 0 bis unendlich reichen kann, wobei Nullen tatsächlich korrekte Beobachtungen sind. Ich verstehe zensieren und Tobit Modelle gelten nur , wenn der tatsächliche Wert von ist teilweise unbekannt ist oder fehlt, wobei in diesem Fall Daten , die abgeschnitten werden. Weitere Informationen zu …

9 regression censoring truncation tobit-regression

1

Vergleichen von Residuen zwischen OLS- und Nicht-OLS-Regressionen

Angenommen, Sie möchten ein lineares Modell schätzen: ( Beobachtungen der Antwort und Prädiktoren) nnnp+1p+1p+1E ( yich) = β0+ ∑j = 1pβjxi jE.(yich)=β0+∑j=1pβjxichj\mathbb{E}(y_i) = \beta_0 + \sum_{j=1}^p \beta_j x_{ij} Eine Möglichkeit, dies zu tun, ist die OLS-Lösung, dh wählen Sie die Koeffizienten so, dass die Summe der quadratischen Fehler minimal ist: …

9 regression loss-functions

2

Multiple Regression in der Richtungs- / Zirkularstatistik?

Ich versuche, ein Vorhersagemodell für eine winkelabhängige Variable (auf zu entwickeln, indem ich mehrere unabhängige Messungen - auch Winkelvariablen auf - als Prädiktoren verwende. Jeder Prädiktor ist signifikant, aber nicht extrem stark mit der abhängigen Variablen korreliert. Wie kann ich die Prädiktoren kombinieren, um ein Vorhersagemodell für die abhängige Variable …

9 regression multiple-regression circular-statistics

4

Bewertung eines Regressionsmodells

Für Klassifizierungsprobleme habe ich neuronale Netze verwendet und Fehler vom Typ I und II unter Verwendung der Verwirrungsmatrix und ihrer Maße gemäß dieser Ressource ( Spiegel ) gemessen , was ziemlich einfach ist. Wie würde man bei einem Schätzungsproblem die Modellleistung bewerten? Angenommen, es gibt keine Klassen und die Ausgabe …

9 regression machine-learning estimation model-evaluation

1

Was ist der intuitive Sinn hinter dem Zweck und der Mechanik ausreichender Statistiken?

Die Definition einer ausreichenden Statistik lautet: Sei eine Zufallsstichprobe aus einer Verteilung, die durch einen Parameter indiziert ist . Sei eine Statistik. Angenommen, für jedes und jeden möglichen Wert von hängt die bedingte gemeinsame Verteilung von , dass nur von , nicht aber von abhängt . Dann ist eine ausreichende …

9 regression sufficient-statistics

5

Die lineare Regression passt nicht gut

Ich mache eine lineare Regression mit der R lm-Funktion: x = log(errors) plot(x,y) lm.result = lm(formula = y ~ x) abline(lm.result, col="blue") # showing the "fit" in blue aber es passt nicht gut. Leider kann ich das Handbuch nicht verstehen. Kann mich jemand in die richtige Richtung weisen, um besser …

9 r regression

1

Verwirrt durch Ableitung der Regressionsfunktion

Ich habe gerade eine Kopie von The Elements of Statistical Learning von Hastie, Tibshirani und Friedman erhalten. In Kapitel 2 (Überblick über betreutes Lernen), Abschnitt 4 (Statistische Entscheidungstheorie) gibt er eine Ableitung der Regressionsfunktion. Lassen bezeichnet einen reellen Zufallseingangsvektor geschätzt und einer reellen Zufallsausgangsgröße bewertet, mit gemeinsamer Verteilung . Wir …

9 regression statistical-learning

3

Lineares Modell: Vergleich der Vorhersagekraft zweier verschiedener Messmethoden

Ich interessiere mich für Vorhersagen Yund studiere verschiedene zwei Messtechniken X1und X2. Es könnte zum Beispiel sein, dass ich den Geschmack einer Banane vorhersagen möchte, indem ich entweder messe, wie lange sie auf dem Tisch liegt, oder indem ich die Anzahl der braunen Flecken auf der Banane messe. Ich möchte …

9 regression linear-model mixed-model

2

Regression durch den Ursprung

Wir haben die folgenden Punkte: Wie können wir die am besten passende Linie durch die Punkte finden? Mein Rechner hat die Option, die am besten passende Linie durch diese Punkte zu finden, nämlich:y = a x y = a x + b( 0 , 0 ) ( 1 , 51,8 …

9 regression intercept

Als «regression» getaggte Fragen