Statistiken und Big Data feature-selection

5

Müssen wir immer noch Features auswählen, während wir Regularisierungsalgorithmen verwenden?

Ich habe eine Frage zum Erfordernis, Merkmalsauswahlmethoden (Wichtigkeitswert für zufällige Gesamtstrukturen oder Auswahlmethoden für univariate Merkmale usw.) zu verwenden, bevor ein statistischer Lernalgorithmus ausgeführt wird. Wir wissen, dass wir Regularisierungsstrafen für die Gewichtsvektoren einführen können, um eine Überanpassung zu vermeiden. Wenn ich also eine lineare Regression durchführen möchte, könnte ich …

20 regression machine-learning feature-selection lasso regularization

2

Signifikanztest oder Kreuzvalidierung?

Zwei gängige Ansätze zur Auswahl korrelierter Variablen sind Signifikanztests und Kreuzvalidierung. Welches Problem versucht jeder zu lösen und wann würde ich eins dem anderen vorziehen?

20 cross-validation feature-selection

2

Wie macht es Sinn, OLS nach der LASSO-Variablenauswahl durchzuführen?

Kürzlich habe ich festgestellt, dass es in der angewandten ökonometrischen Literatur nicht ungewöhnlich ist, LASSO durchzuführen, gefolgt von einer OLS-Regression unter Verwendung der ausgewählten Variablen. Ich habe mich gefragt, wie wir die Gültigkeit eines solchen Verfahrens beurteilen können. Wird es Probleme wie ausgelassene Variablen verursachen? Gibt es Beweise dafür, dass …

20 regression feature-selection econometrics least-squares lasso

1

Was ist aus dieser Lasso-Handlung (glmnet) zu schließen?

Es folgt die Darstellung von glmnet mit dem Standard-Alpha (1, daher Lasso) unter Verwendung des mtcarsDatensatzes in R mit mpgals DV und anderen als Prädiktorvariablen. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Was können wir aus dieser Handlung in Bezug auf verschiedene Variablen schließen, vor allem am, cylund wt(rot, schwarz und hellblaue Linien)? Wie würden …

19 regression feature-selection lasso glmnet

2

Bedeutung des kategorialen Prädiktors in der logistischen Regression

Ich habe Probleme bei der Interpretation der z-Werte für kategoriale Variablen in der logistischen Regression. Im folgenden Beispiel habe ich eine kategoriale Variable mit 3 Klassen und gemäß dem z-Wert ist CLASS2 möglicherweise relevant, während die anderen nicht relevant sind. Aber was heißt das jetzt? Dass ich die anderen Klassen …

19 r logistic categorical-data feature-selection categorical-encoding

2

Leidet LASSO an den gleichen Problemen wie die schrittweise Regression?

Stufenweise algorithmische Variablenauswahlmethoden neigen dazu, Modelle auszuwählen, die mehr oder weniger jede Schätzung in Regressionsmodellen beeinflussen ( s und ihre SEs, p- Werte, F- Statistiken usw.), und schließen mit etwa der gleichen Wahrscheinlichkeit echte Prädiktoren aus wie schließen falsche Prädiktoren gemäß einer einigermaßen ausgereiften Simulationsliteratur ein.ββ\beta Leidet der LASSO bei …

18 regression feature-selection lasso regression-strategies stepwise-regression

2

Geschwindigkeit, Rechenaufwand von PCA, LASSO, elastisches Netz

Ich versuche, die rechnerische Komplexität / Schätzgeschwindigkeit von drei Gruppen von Methoden für die lineare Regression zu vergleichen, wie sie in Hastie et al. "Elemente des statistischen Lernens" (2. Aufl.), Kapitel 3: Auswahl der Teilmenge Schrumpfmethoden Methoden mit abgeleiteten Eingaberichtungen (PCR, PLS) Der Vergleich kann sehr grob sein, nur um …

18 machine-learning estimation feature-selection algorithms time-complexity

1

Paradox bei der Modellauswahl (AIC, BIC, zu erklären oder vorherzusagen?)

Nachdem ich Galit Shmuelis "To Explain or to Predict" (2010) gelesen habe, wundere ich mich über einen offensichtlichen Widerspruch. Es gibt drei Räumlichkeiten, AIC versus BIC-basierte Modellauswahl (Ende S. 300 - Beginn S. 301): Einfach ausgedrückt, AIC sollte zur Auswahl eines Modells verwendet werden, das zur Vorhersage vorgesehen ist , …

18 forecasting model-selection feature-selection aic bic

4

Wie berechnet man die Anzahl der Features basierend auf der Bildauflösung?

Wir haben gerade Andrew Ngs nichtlineare Hypothese neuronaler Netze behandelt und hatten eine Multiple-Choice-Frage zur Bestimmung der Anzahl von Merkmalen für ein Bild mit einer Auflösung von 100 x 100 der Intensität von Greskalen . Und die Antwort war 50 Millionen, x10 755510710710^7 Früher jedoch für ein 50 x 50 …

18 feature-selection image-processing

5

Variabilität der cv.glmnet-Ergebnisse

Ich benutze cv.glmnet, um Prädiktoren zu finden. Das Setup, das ich verwende, ist wie folgt: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Um sicherzustellen, dass die Ergebnisse reproduzierbar sind, habe ich set.seed(1). Die Ergebnisse sind sehr unterschiedlich. Ich habe genau den gleichen Code 100 ausgeführt, um zu sehen, wie variabel die Ergebnisse …

18 r cross-validation feature-selection glmnet

3

Ist das Erstellen eines Klassifikators für mehrere Klassen besser als das Erstellen mehrerer binärer Klassifikatoren?

Ich muss URLs in Kategorien einteilen. Angenommen, ich habe 15 Kategorien, für die ich vorhabe, jede URL auf null zu setzen. Ist ein 15-Wege-Klassifikator besser? Wobei ich 15 Labels habe und Features für jeden Datenpunkt generiere. Oder bauen Sie 15 binäre Klassifizierer auf, sagen Sie: Film oder Nicht-Film, und verwenden …

18 machine-learning classification categorical-data svm feature-selection

5

Verstehen, welche Funktionen für die logistische Regression am wichtigsten waren

Ich habe einen logistischen Regressionsklassifikator erstellt, der für meine Daten sehr genau ist. Jetzt möchte ich besser verstehen, warum es so gut funktioniert. Im Einzelnen möchte ich klassifizieren, welche Features den größten Beitrag leisten (welche Features am wichtigsten sind) und im Idealfall quantifizieren, wie viel jedes Feature zur Genauigkeit des …

17 machine-learning logistic feature-selection importance

3

Inferenz nach Verwendung von Lasso zur Variablenauswahl

Ich verwende Lasso für die Merkmalsauswahl in einer relativ niedrigen Maßeinstellung (n >> p). Nach dem Anpassen eines Lasso-Modells möchte ich die Kovariaten mit Koeffizienten ungleich Null verwenden, um ein Modell ohne Abzug anzupassen. Ich mache das, weil ich unvoreingenommene Schätzungen haben möchte, die Lasso mir nicht geben kann. Ich …

17 regression feature-selection lasso unbiased-estimator

1

Ist in einer zufälligen Gesamtstruktur% IncMSE größer besser oder schlechter?

Nachdem ich in R ein (Regressions-) Zufallsgesamtstrukturmodell erstellt habe, rf$importancewerden mir durch den Aufruf zwei Kennzahlen für jede Prädiktorvariable %IncMSEund angezeigt IncNodePurity. Ist die Interpretation, dass Prädiktorvariablen mit kleineren %IncMSEWerten vorliegen, wichtiger als Prädiktorvariablen mit größeren %IncMSEWerten? Wie wäre es mit für IncNodePurity?

17 r feature-selection random-forest

1

Was ist "Feature Space"?

Was ist die Definition von "Feature Space"? Wenn ich zum Beispiel über SVMs lese, lese ich über "Zuordnung zu Feature-Space". Wenn ich über CART lese, lese ich über "Partitionierung, um Raum zu kennzeichnen". Ich verstehe, was gerade im WARENKORB vor sich geht, aber ich denke, dass es eine Definition gibt, …

17 machine-learning svm feature-selection cart feature-construction

Als «feature-selection» getaggte Fragen